Halo, pengguna Apidog! 👋 Selama setahun terakhir, kami telah membangun platform pengujian otomatis yang komprehensif berpusat pada Skenario Uji—yaitu urutan alur kerja yang dapat digunakan kembali yang merangkai beberapa permintaan API menjadi alur bisnis yang lengkap. Skenario Uji memecahkan masalah "bagaimana cara menguji", tetapi kami telah mendengar umpan balik yang konsisten dari tim tentang tantangan yang berbeda: "bagaimana cara mengatur apa yang akan diuji."
Tim memberi tahu kami bahwa mereka memiliki ratusan kasus uji yang diatur berdasarkan modul bisnis, tetapi ketika tiba waktunya untuk regresi rilis, mereka hanya ingin menjalankan kasus P0 mereka—bukan semuanya. Saat ini, mereka harus mencari dan memilih setiap kasus secara manual. Beberapa tim lain mempertahankan kasus uji positif dan negatif, tetapi ingin pengujian smoke hanya mencakup alur positif. Dan ketika kasus baru ditambahkan, mereka sering terlupakan dalam daftar regresi.
Hari ini, kami memperkenalkan Test Suites (Rangkaian Uji): jenis sumber daya baru yang memungkinkan Anda mengatur dan menjalankan pengujian berdasarkan aturan, bukan dengan pemilihan individual. Test Suites menghadirkan tiga kemampuan inti untuk alur kerja pengujian Anda:
- Perutean uji dinamis: Tentukan aturan pemfilteran sekali—berdasarkan tag, direktori, atau tingkat prioritas—dan kasus yang cocok akan secara otomatis disertakan saat runtime. Kasus baru yang memenuhi kriteria Anda ditambahkan tanpa pemeliharaan manual.
- Eksekusi paralel: Beralih antara mode serial dan paralel dengan satu klik. Sistem secara otomatis mengoptimalkan konkurensi berdasarkan sumber daya yang tersedia, mengurangi regresi berjam-jam menjadi hitungan menit.
- Laporan uji terstruktur: Lihat hasil yang dikelompokkan berdasarkan logika organisasi Anda—berdasarkan modul, prioritas, atau tag—alih-alih menggulir daftar datar. Kasus yang gagal akan langsung muncul dengan konteks yang jelas.
Berikut adalah tinjauan lebih dekat tentang cara kerja setiap kemampuan.
Perutean uji dinamis
Permintaan paling umum yang kami dengar dari tim QA adalah: "Saya ingin menjalankan semua kasus P0 di modul pembayaran tanpa memilihnya satu per satu." Test Suites memecahkan masalah ini dengan memisahkan penulisan uji dari organisasi uji.
Skenario Uji tetap menjadi blok bangunan Anda—setiap skenario mewakili alur kerja bisnis yang lengkap (login, membuat pesanan, membayar, memverifikasi status). Test Suites memungkinkan Anda mengelompokkan skenario ini berdasarkan kondisi: tag, direktori, tingkat prioritas, atau kombinasi apa pun. Saat Anda menjalankan suite, itu secara otomatis menyertakan semua kasus yang cocok pada waktu eksekusi.
Ini menjadi semakin penting karena alat pengembangan bertenaga AI mempercepat pembuatan kode dan pengujian. Dengan suite dinamis, Anda tidak perlu memperbarui daftar regresi secara manual setiap kali kasus baru ditambahkan. Tulis kasusnya, terapkan tag yang tepat, dan suite akan menangani sisanya.
Kami mendukung dua mode untuk memenuhi kebutuhan pengujian yang berbeda:
Mode statis memberi Anda daftar kasus yang tetap. Anda memilih dengan tepat skenario mana yang akan disertakan, dan daftar tersebut tetap tidak berubah sampai Anda memodifikasinya. Ini berfungsi dengan baik untuk pengujian smoke—sekumpulan 5-15 skenario kritis yang jarang berubah tetapi sering dijalankan.
Mode dinamis menggunakan aturan untuk secara otomatis menyertakan kasus yang cocok. Tentukan kondisi (semua kasus di direktori "Pembayaran" dengan prioritas P0), dan suite tetap terkini seiring dengan berkembangnya pustaka pengujian Anda. Ini berfungsi dengan baik untuk regresi modul, di mana jumlah kasus berubah secara teratur.
Dalam antarmuka produk, kami memandu Anda melalui pilihan ini tanpa mengharuskan Anda memahami terminologi di awal. Ketika Anda memilih mode statis, kotak centang muncul untuk pemilihan individual. Ketika Anda memilih mode dinamis, Anda akan melihat pratinjau kasus yang cocok yang bersifat hanya-baca dengan catatan: "Kasus baru yang sesuai dengan kondisi ini akan secara otomatis disertakan."
Eksekusi paralel
Ketika suite pengujian Anda bertambah hingga ratusan kasus, eksekusi serial menjadi hambatan. Regresi penuh yang membutuhkan waktu satu jam untuk diselesaikan menunda pipeline rilis Anda dan memperlambat deteksi masalah dalam pemantauan produksi.
Test Suites mendukung eksekusi paralel secara langsung. Cukup beralih antara mode serial dan paralel—sistem secara otomatis menentukan konkurensi optimal berdasarkan sumber daya yang tersedia di mesin Anda. Tidak diperlukan penyetelan manual. Ini mengurangi regresi 60 menit menjadi kurang dari 30 menit tanpa mengubah logika pengujian Anda.
Eksekusi paralel menangani isolasi dependensi secara otomatis. Setiap skenario berjalan dalam konteksnya sendiri, memastikan bahwa variabel bersama atau status lingkungan dari satu skenario tidak mengganggu yang lain. Untuk skenario yang benar-benar bergantung satu sama lain, Anda dapat mengelompokkannya menjadi satu skenario dengan langkah-langkah berurutan.
Laporan uji terstruktur
Laporan uji tradisional mencantumkan hasil satu per satu. Ketika Anda menjalankan suite dengan 200 kasus di beberapa modul, menemukan kegagalan yang penting menjadi membosankan.
Laporan Test Suite terstruktur berdasarkan logika organisasi Anda. Hasil dikelompokkan berdasarkan kondisi yang Anda definisikan—berdasarkan modul, berdasarkan prioritas, berdasarkan tag. Anda dapat langsung melihat bahwa "Modul Pembayaran: 45/47 berhasil" dan "Modul Pengguna: 32/32 berhasil" tanpa menggulir entri individual.
Setiap grup dapat diperluas untuk menunjukkan hasil skenario individual dengan waktu eksekusi, jumlah pernyataan, dan detail kegagalan. Skenario yang gagal muncul di bagian atas dengan konteks kesalahan yang jelas, sehingga Anda dapat melakukan triase masalah tanpa mencari-cari di log.
Laporan juga menyertakan metadata eksekusi: durasi total, efisiensi paralel (waktu yang dihemat dibandingkan dengan eksekusi serial), dan konfigurasi lingkungan yang digunakan. Ini membantu Anda mengoptimalkan konfigurasi suite seiring waktu dan menyediakan jejak audit untuk persyaratan kepatuhan.
Konfigurasi terpadu dengan penggantian yang fleksibel
Setiap Skenario Uji mungkin memiliki konfigurasi eksekusinya sendiri: lingkungan, jumlah perulangan, dan pengaturan lainnya. Ketika Anda mengelompokkan beberapa skenario ke dalam suite, Anda perlu memutuskan konfigurasi mana yang diutamakan.
Secara default, setiap skenario berjalan dengan konfigurasi yang disimpan—perilaku yang paling intuitif. Khusus untuk pengaturan lingkungan, suite menyediakan pemilih lingkungan terpadu yang dapat diwarisi oleh skenario. Ini memungkinkan Anda untuk beralih seluruh suite regresi Anda dari staging ke produksi dengan satu perubahan.
Jika Anda memerlukan kontrol penuh, Anda dapat menentukan konfigurasi kustom yang menimpa semua pengaturan tingkat skenario. Opsi ini tersedia di pengaturan lanjutan untuk menjaga jalur umum tetap sederhana.
Test Suites vs. Eksekusi batch direktori
Apidog sudah mendukung eksekusi batch di tingkat direktori. Test Suites memiliki tujuan yang berbeda.
Direktori mengatur kasus berdasarkan struktur fisik. Satu kasus termasuk dalam satu folder.
Test Suites mengatur kasus berdasarkan aturan logis. Satu kasus dapat termasuk dalam beberapa suite secara bersamaan.
Misalnya: Kasus uji pembayaran P0 dapat muncul di "Regresi Modul Pembayaran" (semua kasus P0/P1 yang ditandai pembayaran) dan "Uji Smoke Penuh" (semua kasus P0 di seluruh sistem). Fleksibilitas ini memungkinkan Anda untuk membangun unit eksekusi uji yang dapat digunakan kembali untuk skenario yang berbeda—pengujian smoke yang dipicu pada setiap commit, regresi penuh sebelum rilis, dan pemeriksaan kesehatan terjadwal dalam produksi.
Kemampuan | Tujuan | Terbaik untuk |
|---|---|---|
Skenario Uji | Orkestrasi alur bisnis | Mendefinisikan alur kerja uji individual |
Direktori | Organisasi fisik | Kolaborasi tim, manajemen kasus |
Eksekusi batch direktori | Eksekusi cepat | Pengujian eksplorasi, regresi ad-hoc |
Test Suite | Unit eksekusi yang dapat digunakan kembali | Regresi rilis, pengujian smoke, pemantauan terjadwal |
Apa yang akan kami bangun selanjutnya
Kami sedang mengevaluasi penyusunan suite bertingkat (menggabungkan suite dari suite lain) dan percobaan ulang otomatis saat terjadi kegagalan. Mode dinamis sudah menangani sebagian besar kebutuhan komposisi, dan kami ingin menghindari penutupan kegagalan yang sebenarnya dengan percobaan ulang. Kami akan meninjau kembali berdasarkan pola penggunaan.
Cara memulai
Test Suites kini tersedia di Apidog. Buat suite pertama Anda dari modul Pengujian Otomatis, pilih mode statis atau dinamis, tentukan kondisi Anda, dan jalankan. Integrasikan dengan pipeline CI/CD Anda menggunakan CLI untuk memicu suite pada penggabungan kode atau jadwal.
Bergabunglah dalam Percakapan
Kami ingin mendengar bagaimana Test Suites sesuai dengan alur kerja Anda. Berikan umpan balik di saluran komunitas kami. Terhubung dengan sesama insinyur API dan tim Apidog:
- Discord: Bergabunglah dengan komunitas kami untuk diskusi real-time dan strategi pengujian
- X (Twitter): Ikuti kami untuk pembaruan produk terbaru dan wawasan API
- LinkedIn: Terhubung dengan kami untuk pembaruan profesional dan perspektif industriJelajahi detail lengkap semua pembaruan ini di Apidog Changelog! 🚀
Selamat melakukan pengujian!