Alternatif Load Testing ReadyAPI untuk API Modern

TL;DR

ReadyAPI menyertakan LoadUI Pro untuk pengujian beban, tetapi biayanya digabungkan dalam lisensi per pengguna yang sudah mahal, dan alatnya dirancang ketika REST masih baru. Untuk tim yang menguji API REST dan GraphQL modern, k6 dan Gatling adalah alternatif gratis yang lebih mumpuni. Apidog menangani lapisan pengujian fungsional API yang berpasangan secara alami dengan k6 untuk pengujian kinerja.

Pendahuluan

Pengujian beban bukanlah pilihan bagi API yang melayani pengguna nyata. Anda perlu tahu apa yang terjadi ketika 100 pengguna secara bersamaan mencapai titik akhir pencarian Anda, atau ketika pekerjaan latar belakang memicu 500 penulisan database bersamaan. Mengetahuinya dengan cara yang sulit, di lingkungan produksi, akan mahal.

ReadyAPI memiliki pengujian beban yang terpasang melalui komponen LoadUI Pro. Untuk tim yang sudah menggunakan ReadyAPI untuk pengujian fungsional, kemampuan pengujian beban terintegrasi sangat menarik: gunakan alat yang sama, gunakan kembali definisi pengujian yang sama, kelola semuanya di satu tempat.

Dalam praktiknya, gambaran ini lebih rumit. LoadUI Pro memiliki filosofi desain dan serangkaian kompromi khusus. Untuk beberapa tim, ini adalah pilihan yang tepat. Untuk yang lain, alternatif sumber terbuka modern lebih mumpuni, lebih hemat biaya, dan lebih selaras dengan cara kerja pengembang saat ini.

Artikel ini membahas apa yang dilakukan LoadUI Pro, bagaimana perbandingannya dengan k6 dan Gatling, serta bagaimana Apidog terintegrasi dengan alur kerja pengujian beban modern.

Apa yang sebenarnya dilakukan LoadUI Pro

LoadUI Pro adalah modul pengujian beban ReadyAPI. Ini memperluas kemampuan pengujian fungsional ReadyAPI dengan memungkinkan Anda menjalankan kasus uji dalam skala besar, dengan jumlah pengguna virtual yang dapat dikonfigurasi, profil ramp-up, dan pengaturan durasi.

Kemampuan utama LoadUI Pro:

Mengubah pengujian fungsional menjadi pengujian beban. Anda dapat mengambil kasus uji ReadyAPI yang ada dan menjalankannya di bawah beban tanpa menuliskannya kembali sebagai pengujian beban. Ini adalah fitur LoadUI Pro yang paling menarik: jika Anda sudah menulis pengujian fungsional, Anda dapat menggunakannya secara langsung.

Profil dan skenario beban. LoadUI Pro mendukung berbagai strategi simulasi beban: penskalaan pengguna virtual sederhana, beban burst, ramp-up seiring waktu, dan profil kustom. Anda mengonfigurasi ini melalui GUI.

Metrik waktu respons dan throughput. Selama uji beban, LoadUI Pro menampilkan metrik langsung untuk waktu respons, tingkat kesalahan, throughput, dan jumlah pengguna virtual. Setelah dijalankan, ini menghasilkan laporan.

Pernyataan di bawah beban. Anda dapat mendefinisikan pernyataan yang harus berlaku selama pengujian beban, seperti waktu respons persentil ke-95 di bawah 2000ms, dan menggagalkan pengujian jika dilanggar.

Keterbatasan LoadUI Pro:

Secara default, ia berjalan dari satu mesin. Pengujian beban terdistribusi, di mana Anda perlu menghasilkan beban dari beberapa lokasi geografis atau pada jumlah pengguna virtual yang lebih tinggi daripada yang dapat ditopang oleh satu mesin, tidak didukung atau memerlukan infrastruktur tambahan.

Pendekatan berbasis GUI tidak cocok untuk definisi pengujian yang ditinjau kode. Konfigurasi pengujian beban disimpan dalam format file proyek ReadyAPI, bukan dalam file kode yang dikontrol versi.

Model scripting menggunakan Groovy. Mengustomisasi perilaku pengujian beban memerlukan Groovy, yang tidak diketahui oleh sebagian besar pengembang.

Kinerja dibandingkan dengan alat pengujian beban modern dibatasi oleh model threading JVM yang digunakan ReadyAPI. Alat seperti k6 dapat mensimulasikan lebih banyak pengguna virtual pada perangkat keras yang sama dengan overhead yang lebih rendah.

k6: alternatif sumber terbuka modern

k6 adalah alat pengujian beban sumber terbuka yang dikembangkan oleh Grafana Labs dan dirilis di bawah AGPL-3.0. Ini telah menjadi alat pengujian beban modern yang dominan untuk tim yang menguji API REST.

Mengapa k6 menarik:

Pengujian beban adalah kode. Pengujian k6 adalah file JavaScript. Mereka berada di repositori Git Anda bersama dengan kode aplikasi Anda. Mereka melalui tinjauan kode. Pengembang dapat membaca dan memodifikasinya tanpa mempelajari alat khusus.

import http from 'k6/http';
import { check, sleep } from 'k6';

export const options = {
  vus: 50,
  duration: '30s',
};

export default function () {
  const res = http.get('https://api.example.com/users');
  check(res, {
    'status is 200': (r) => r.status === 200,
    'response time under 500ms': (r) => r.timings.duration < 500,
  });
  sleep(1);
}

Pengujian ini menjalankan 50 pengguna virtual selama 30 detik, masing-masing membuat permintaan GET dan menegaskan kode status dan waktu respons. Seluruh pengujian adalah 18 baris JavaScript.

Kinerja k6. k6 ditulis dalam Go dengan runtime JavaScript. Ini sangat efisien. Satu laptop yang menjalankan k6 dapat menghasilkan ribuan pengguna virtual dengan overhead sumber daya yang lebih rendah daripada alat berbasis JVM pada tingkat beban yang setara.

Ambang batas. Sistem ambang batas k6 memungkinkan Anda mendefinisikan kriteria lulus/gagal yang terintegrasi secara alami dengan CI/CD:

export const options = {
  thresholds: {
    http_req_duration: ['p(95)<500'],
    http_req_failed: ['rate<0.01'],
  },
};

Pengujian ini gagal jika waktu respons persentil ke-95 melebihi 500ms atau jika lebih dari 1% permintaan gagal. k6 keluar dengan kode bukan nol jika ambang batas dilanggar, membuatnya ramah CI.

Grafana k6 Cloud. Untuk pengujian beban terdistribusi dari beberapa wilayah geografis, Grafana menawarkan k6 Cloud sebagai layanan berbayar. Alat sumber terbuka menangani eksekusi lokal. Layanan cloud menangani distribusi global. Anda menggunakan skrip pengujian yang sama untuk keduanya.

Harga k6. Alat sumber terbuka gratis. Harga k6 Cloud mulai sekitar $49/bulan untuk rencana pengujian kecil dan meningkat seiring dengan jam pengguna virtual.

Gatling: pengujian kinerja untuk tim Java

Gatling adalah alat pengujian beban sumber terbuka yang dibuat untuk perusahaan Java dan Scala. Ini memiliki DSL simulasi (dalam Scala) dan API Java untuk tim yang lebih memilih Java.

Kelebihan Gatling:

Model simulasi Gatling sangat kuat untuk skenario kompleks dengan protokol stateful, variabel sesi, dan perjalanan pengguna yang kompleks. Alur pembayaran yang memerlukan login, menjelajahi produk, menambahkan ke keranjang, dan menyelesaikan pembelian secara alami diekspresikan dalam DSL Gatling.

Laporan HTML sangat baik. Pelaporan bawaan Gatling menghasilkan dasbor HTML yang terperinci dan mudah dibaca tanpa alat tambahan.

Perekam dapat menangkap lalu lintas browser dan menghasilkan simulasi Gatling, mirip dengan bagaimana ReadyAPI dapat merekam lalu lintas REST.

Gatling Enterprise. Gatling menawarkan Gatling Enterprise (sebelumnya FrontLine) untuk eksekusi terdistribusi, integrasi CI/CD, dan fitur kolaborasi tim. Ini adalah produk berbayar. Untuk tim yang hanya membutuhkan pengujian beban lokal, versi sumber terbuka sudah cukup.

Perbandingan Gatling dengan k6. Gatling lebih cocok untuk tim dengan latar belakang Java/Scala. k6 lebih cocok untuk tim yang banyak menggunakan JavaScript. Keduanya lebih ramah pengembang daripada pendekatan Groovy berbasis GUI LoadUI Pro.

LoadUI Pro vs k6: perbandingan langsung

Satu keuntungan jelas yang dimiliki LoadUI Pro dibandingkan k6 adalah kemampuan untuk menggunakan kembali kasus uji fungsional ReadyAPI secara langsung sebagai uji beban. Jika Anda memiliki suite uji ReadyAPI yang besar dan ingin menjalankannya di bawah beban tanpa menulis ulang pengujian, ini penting.

Untuk tim yang baru memulai atau bermigrasi ke tumpukan modern, model JavaScript k6, keramahan Git, dan efisiensi adalah keuntungan yang menarik.

Bagaimana Apidog + k6 Menggantikan ReadyAPI + LoadUI Pro

Kombinasi ReadyAPI + LoadUI Pro mencakup pengujian API fungsional dan pengujian beban dalam satu alat. Menggantinya memerlukan dua alat yang bekerja sama.

Apidog untuk pengujian fungsional. Apidog menangani desain API, pengujian REST/GraphQL/gRPC/WebSocket, Smart Mock, dan dokumentasi. Skrip pengujian menggunakan JavaScript. Integrasi CI/CD melalui Apidog CLI. Ini menggantikan kemampuan pengujian fungsional ReadyAPI untuk tim yang tidak bergantung pada SOAP/WS-Security.

k6 untuk pengujian beban. k6 menangani pengujian beban dan kinerja. Pengujian adalah file JavaScript. Mereka berjalan secara lokal atau di k6 Cloud. Integrasi CI/CD melalui k6 CLI.

Kedua alat bekerja dari sumber kebenaran yang sama: spesifikasi OpenAPI Anda. Apidog mengimpor spesifikasi untuk pengujian fungsional. Skrip k6 memanggil titik akhir yang sama untuk pengujian beban. Ketika API berubah, kedua suite pengujian merujuk skema yang sama.

Contoh alur kerja CI/CD:

stages:
  - functional-tests
  - load-tests

functional-tests:
  stage: functional-tests
  script:
    - apidog run collection.json --environment staging
  only:
    - merge_requests

load-tests:
  stage: load-tests
  script:
    - k6 run load-tests/api-load.js --env BASE_URL=$STAGING_URL
  only:
    - main

Pengujian fungsional berjalan pada setiap permintaan penggabungan (merge request). Pengujian beban berjalan ketika kode bergabung ke main. Pola ini memberikan umpan balik yang cepat untuk regresi fungsional dan validasi beban berkala untuk penerapan produksi.

Perbandingan biaya:

ReadyAPI + LoadUI Pro (10 pengguna): sekitar $7.490 hingga $20.000 per tahun tergantung pada konfigurasi.

Apidog Basic (10 pengguna) + k6 sumber terbuka: sekitar $1.080 per tahun.

Apidog Basic (10 pengguna) + k6 Cloud (paket dasar): sekitar $1.080 + $588 = $1.668 per tahun.

Bahkan termasuk k6 Cloud, tumpukan modern jauh lebih murah daripada ReadyAPI dengan LoadUI Pro.

FAQ

Apakah k6 mendukung pengujian beban SOAP?k6 dapat mengirim permintaan HTTP POST dengan badan XML, yang secara teknis berfungsi untuk layanan SOAP. Tidak ada impor WSDL atau alat khusus SOAP. Untuk pengujian beban API REST modern, k6 sangat baik. Untuk pengujian beban SOAP, LoadUI Pro tetap lebih kuat.

Bisakah saya mengonversi konfigurasi pengujian beban ReadyAPI yang ada ke k6?Tidak ada konverter otomatis. Anda perlu menulis ulang skenario pengujian beban Anda sebagai skrip k6. Ini biasanya beberapa jam per skenario untuk pengembang berpengalaman. Model skrip k6 lebih sederhana daripada Groovy dalam kebanyakan kasus.

Berapa banyak pengguna virtual yang dapat dijalankan k6 pada laptop standar?k6 cukup efisien untuk menjalankan 1.000 hingga 10.000 pengguna virtual pada laptop modern, tergantung pada skenario pengujian dan laju permintaan. ReadyAPI/LoadUI Pro biasanya mencapai maksimum beberapa ratus pengguna virtual sebelum overhead memori JVM menjadi kendala.

Apakah Gatling mendukung pengujian beban gRPC?Gatling memiliki dukungan gRPC eksperimental sejak versi 3.10+. k6 memiliki dukungan gRPC di API JavaScript intinya, membuatnya lebih matang untuk pengujian beban gRPC pada tahun 2026.

Apakah ada cara untuk menjalankan pengujian k6 tanpa layanan cloud?Ya, alat sumber terbuka k6 berjalan sepenuhnya secara lokal. Anda tidak memerlukan Grafana k6 Cloud untuk pengujian beban satu mesin. Layanan cloud menambahkan eksekusi terdistribusi dan penyimpanan hasil historis.

Apakah LoadUI Pro dihitung dalam jumlah lisensi per pengguna ReadyAPI?LoadUI Pro dibundel ke dalam edisi ReadyAPI tertentu. Hitungan per pengguna berlaku untuk bundel tersebut. Jika Anda memiliki 10 pengguna ReadyAPI dengan LoadUI Pro, itu berarti 10 pengguna berlisensi. Eksekusi pengujian beban itu sendiri biasanya dapat berjalan pada agen CI tanpa dihitung terhadap lisensi pengguna bernama, tetapi konfirmasikan ini dengan kontrak SmartBear Anda.

LoadUI Pro dari ReadyAPI adalah alat pengujian beban yang mumpuni untuk tim yang sudah berinvestasi dalam ekosistem ReadyAPI. Untuk tim yang mengevaluasi pilihan mereka atau memulai dari awal, k6 menawarkan pendekatan yang lebih ramah pengembang, hemat biaya, dan terukur untuk pengujian beban API. Memasangkan k6 dengan Apidog untuk pengujian fungsional memberi Anda tumpukan pengujian API modern yang lengkap dengan biaya sebagian kecil dari ReadyAPI dengan LoadUI Pro.