Load Testing Alternative für moderne APIs mit ReadyAPI

TL;DR

ReadyAPI umfasst LoadUI Pro für Lasttests, aber die Kosten sind in einer bereits teuren Pro-Benutzer-Lizenz gebündelt, und die Tools wurden entwickelt, als REST noch neuer war. Für Teams, die moderne REST- und GraphQL-APIs testen, sind k6 und Gatling leistungsfähigere, kostenlose Alternativen. Apidog übernimmt die funktionale API-Testschicht, die sich natürlich mit k6 für Performance-Tests kombinieren lässt.

Einleitung

Lasttests sind für APIs, die echte Benutzer bedienen, nicht optional. Sie müssen wissen, was passiert, wenn 100 Benutzer gleichzeitig Ihren Such-Endpunkt aufrufen oder wenn ein Hintergrundjob 500 gleichzeitige Datenbank-Schreibvorgänge auslöst. Dies auf die harte Tour in der Produktion herauszufinden, ist teuer.

ReadyAPI verfügt über integrierte Lasttests durch seine LoadUI Pro Komponente. Für Teams, die ReadyAPI bereits für funktionale Tests verwenden, ist die integrierte Lasttestfähigkeit attraktiv: dasselbe Tool verwenden, dieselben Testdefinitionen wiederverwenden, alles an einem Ort verwalten.

In der Praxis ist das Bild komplizierter. LoadUI Pro hat eine spezifische Designphilosophie und eine Reihe von Kompromissen. Für einige Teams ist es die richtige Wahl. Für andere sind moderne Open-Source-Alternativen leistungsfähiger, kostengünstiger und besser auf die heutige Arbeitsweise von Entwicklern abgestimmt.

Dieser Artikel behandelt, was LoadUI Pro leistet, wie es sich im Vergleich zu k6 und Gatling schlägt und wie Apidog in einen modernen Lasttest-Workflow integriert wird.

Was LoadUI Pro tatsächlich leistet

LoadUI Pro ist das Lasttestmodul von ReadyAPI. Es erweitert die funktionalen Testfähigkeiten von ReadyAPI, indem es Ihnen ermöglicht, Testfälle in großem Umfang auszuführen, mit konfigurierbaren virtuellen Benutzerzahlen, Ramp-up-Profilen und Dauer-Einstellungen.

Wichtige Funktionen von LoadUI Pro:

Umwandlung funktionaler Tests in Lasttests. Sie können einen bestehenden ReadyAPI-Testfall nehmen und ihn unter Last ausführen, ohne ihn als Lasttest neu schreiben zu müssen. Dies ist die überzeugendste Funktion von LoadUI Pro: Wenn Sie bereits funktionale Tests geschrieben haben, können Sie diese direkt verwenden.

Lastprofile und Szenarien. LoadUI Pro unterstützt verschiedene Lastsimulationsstrategien: einfache Skalierung virtueller Benutzer, Burstdauer, Ramp-up über die Zeit und benutzerdefinierte Profile. Sie konfigurieren diese über die GUI.

Antwortzeit- und Durchsatzmetriken. Während eines Lasttests zeigt LoadUI Pro Live-Metriken für Antwortzeiten, Fehlerraten, Durchsatz und die Anzahl der virtuellen Benutzer an. Nach dem Durchlauf wird ein Bericht erstellt.

Assertionen unter Last. Sie können Assertionen definieren, die während eines Lasttests gelten müssen, z. B. eine 95. Perzentil-Antwortzeit unter 2000 ms, und den Test fehlschlagen lassen, wenn diese verletzt werden.

Einschränkungen von LoadUI Pro:

Es läuft standardmäßig auf einer einzigen Maschine. Verteiltes Lasttesten, bei dem Sie Last von mehreren geografischen Standorten oder mit höheren virtuellen Benutzerzahlen erzeugen müssen, als eine einzelne Maschine bewältigen kann, wird entweder nicht unterstützt oder erfordert zusätzliche Infrastruktur.

Der GUI-gesteuerte Ansatz eignet sich nicht für code-geprüfte Testdefinitionen. Lasttestkonfigurationen werden im Projektdateiformat von ReadyAPI gespeichert, nicht in versionskontrollierten Code-Dateien.

Das Skripting-Modell verwendet Groovy. Die Anpassung des Lasttestverhaltens erfordert Groovy, was die meisten Entwickler nicht kennen.

Die Leistung im Vergleich zu modernen Lasttest-Tools wird durch das von ReadyAPI verwendete JVM-Threading-Modell eingeschränkt. Tools wie k6 können mehr virtuelle Benutzer auf derselben Hardware mit weniger Overhead simulieren.

k6: die moderne Open-Source-Alternative

k6 ist ein Open-Source-Lasttest-Tool, das von Grafana Labs entwickelt und unter AGPL-3.0 veröffentlicht wurde. Es hat sich zum dominanten modernen Lasttest-Tool für Teams entwickelt, die REST-APIs testen.

Warum k6 überzeugend ist:

Lasttests sind Code. k6-Tests sind JavaScript-Dateien. Sie liegen zusammen mit Ihrem Anwendungscode in Ihrem Git-Repository. Sie durchlaufen Code-Reviews. Entwickler können sie lesen und ändern, ohne ein spezielles Tool lernen zu müssen.

import http from 'k6/http';
import { check, sleep } from 'k6';

export const options = {
  vus: 50,
  duration: '30s',
};

export default function () {
  const res = http.get('https://api.example.com/users');
  check(res, {
    'status is 200': (r) => r.status === 200,
    'response time under 500ms': (r) => r.timings.duration < 500,
  });
  sleep(1);
}

Dieser Test führt 50 virtuelle Benutzer für 30 Sekunden aus, wobei jeder eine GET-Anfrage stellt und den Statuscode sowie die Antwortzeit überprüft. Der gesamte Test besteht aus 18 Zeilen JavaScript.

k6-Performance. k6 ist in Go mit einer JavaScript-Laufzeitumgebung geschrieben. Es ist extrem effizient. Ein einzelner Laptop, auf dem k6 läuft, kann Tausende von virtuellen Benutzern mit geringerem Ressourcen-Overhead als JVM-basierte Tools bei äquivalenten Laststufen generieren.

Schwellenwerte (Thresholds). Das Schwellenwertsystem von k6 ermöglicht es Ihnen, Pass/Fail-Kriterien zu definieren, die sich natürlich in CI/CD integrieren lassen:

export const options = {
  thresholds: {
    http_req_duration: ['p(95)<500'],
    http_req_failed: ['rate<0.01'],
  },
};

Dieser Test schlägt fehl, wenn die 95. Perzentil-Antwortzeit 500 ms überschreitet oder wenn mehr als 1 % der Anfragen fehlschlagen. k6 beendet sich mit einem Nicht-Null-Code, wenn Schwellenwerte verletzt werden, was es CI-freundlich macht.

Grafana k6 Cloud. Für verteiltes Lasttesten aus mehreren geografischen Regionen bietet Grafana k6 Cloud als kostenpflichtigen Dienst an. Das Open-Source-Tool übernimmt die lokale Ausführung. Der Cloud-Dienst übernimmt die globale Verteilung. Sie verwenden dieselben Testskripte für beide.

k6-Preise. Das Open-Source-Tool ist kostenlos. Die k6 Cloud-Preise beginnen bei etwa 49 $/Monat für einen kleinen Testplan und skalieren mit den virtuellen Benutzerstunden.

Gatling: Performance-Tests für Java-Teams

Gatling ist ein Open-Source-Lasttest-Tool, das für Java- und Scala-Umgebungen entwickelt wurde. Es verfügt über eine Simulations-DSL (in Scala) und eine Java-API für Teams, die Java bevorzugen.

Gatling-Stärken:

Das Gatling-Simulationsmodell ist leistungsstark für komplexe Szenarien mit zustandsbehafteten Protokollen, Sitzungsvariablen und komplexen Benutzerpfaden. Ein Checkout-Fluss, der das Einloggen, das Durchsuchen von Produkten, das Hinzufügen zum Warenkorb und das Abschließen eines Kaufs erfordert, lässt sich natürlich in Gatlings DSL ausdrücken.

HTML-Berichte sind ausgezeichnet. Die integrierte Berichtsfunktion von Gatling generiert detaillierte, lesbare HTML-Dashboards ohne zusätzliche Tools.

Der Recorder kann Browser-Traffic erfassen und eine Gatling-Simulation generieren, ähnlich wie ReadyAPI REST-Traffic aufzeichnen kann.

Gatling Enterprise. Gatling bietet Gatling Enterprise (ehemals FrontLine) für verteilte Ausführung, CI/CD-Integration und Teamkollaborationsfunktionen an. Es ist ein kostenpflichtiges Produkt. Für Teams, die nur lokale Lasttests benötigen, ist die Open-Source-Version ausreichend.

Gatling im Vergleich zu k6. Gatling ist besser für Teams mit Java/Scala-Hintergrund geeignet. k6 ist besser für JavaScript-lastige Teams geeignet. Beide sind entwicklerfreundlicher als der GUI-gesteuerte Groovy-Ansatz von LoadUI Pro.

LoadUI Pro vs. k6: direkter Vergleich

Der einzige klare Vorteil, den LoadUI Pro gegenüber k6 hat, ist die Möglichkeit, ReadyAPI-Funktionstestfälle direkt als Lasttests wiederzuverwenden. Wenn Sie eine große ReadyAPI-Testsuite haben und diese unter Last ausführen möchten, ohne Tests neu schreiben zu müssen, ist dies relevant.

Für Teams, die neu starten oder zu einem modernen Stack migrieren, sind das JavaScript-Modell, die Git-Freundlichkeit und die Effizienz von k6 überzeugende Vorteile.

Wie Apidog + k6 ReadyAPI + LoadUI Pro ersetzt

Die Kombination ReadyAPI + LoadUI Pro deckt funktionale API-Tests und Lasttests in einem Tool ab. Ihr Ersatz erfordert zwei Tools, die zusammenarbeiten.

Apidog für funktionale Tests. Apidog übernimmt API-Design, REST/GraphQL/gRPC/WebSocket-Tests, Smart Mock und Dokumentation. Testskripte verwenden JavaScript. Die CI/CD-Integration erfolgt über die Apidog CLI. Dies ersetzt die funktionalen Testfähigkeiten von ReadyAPI für Teams, die nicht von SOAP/WS-Security abhängig sind.

k6 für Lasttests. k6 übernimmt Last- und Performance-Tests. Tests sind JavaScript-Dateien. Sie laufen lokal oder in der k6 Cloud. Die CI/CD-Integration erfolgt über die k6 CLI.

Die beiden Tools arbeiten auf Basis einer gemeinsamen Quelle der Wahrheit: Ihrer OpenAPI-Spezifikation. Apidog importiert die Spezifikation für funktionale Tests. k6-Skripte rufen dieselben Endpunkte für Lasttests auf. Wenn sich die API ändert, verweisen beide Testsuiten auf dasselbe Schema.

Beispiel einer CI/CD-Pipeline:

stages:
  - functional-tests
  - load-tests

functional-tests:
  stage: functional-tests
  script:
    - apidog run collection.json --environment staging
  only:
    - merge_requests

load-tests:
  stage: load-tests
  script:
    - k6 run load-tests/api-load.js --env BASE_URL=$STAGING_URL
  only:
    - main

Funktionale Tests werden bei jeder Merge-Anfrage ausgeführt. Lasttests werden ausgeführt, wenn Code in den Hauptzweig (main) zusammengeführt wird. Dieses Muster liefert schnelles Feedback bei funktionalen Regressionen und eine periodische Lastvalidierung für Produktionsbereitstellungen.

Kostenvergleich:

ReadyAPI + LoadUI Pro (10 Benutzer): etwa 7.490 $ bis 20.000 $ pro Jahr, abhängig von der Konfiguration.

Apidog Basic (10 Benutzer) + k6 Open Source: etwa 1.080 $ pro Jahr.

Apidog Basic (10 Benutzer) + k6 Cloud (Basistarif): etwa 1.080 $ + 588 $ = 1.668 $ pro Jahr.

Selbst mit k6 Cloud kostet der moderne Stack deutlich weniger als ReadyAPI mit LoadUI Pro.

Häufig gestellte Fragen (FAQ)

Unterstützt k6 SOAP-Lasttests? k6 kann HTTP-POST-Anfragen mit XML-Bodies senden, was technisch für SOAP-Dienste funktioniert. Es gibt keinen WSDL-Import oder SOAP-spezifische Tools. Für Lasttests moderner REST-APIs ist k6 ausgezeichnet. Für SOAP-Lasttests bleibt LoadUI Pro stärker.

Kann ich bestehende ReadyAPI-Lasttestkonfigurationen in k6 konvertieren? Es gibt keinen automatischen Konverter. Sie müssen Ihre Lasttestszenarien als k6-Skripte neu schreiben. Dies dauert für erfahrene Entwickler typischerweise ein paar Stunden pro Szenario. Das k6-Skripting-Modell ist in den meisten Fällen einfacher als Groovy.

Wie viele virtuelle Benutzer kann k6 auf einem Standard-Laptop ausführen? k6 ist effizient genug, um 1.000 bis 10.000 virtuelle Benutzer auf einem modernen Laptop auszuführen, abhängig vom Testszenario und der Anfragerate. ReadyAPI/LoadUI Pro erreicht typischerweise ein Maximum von einigen hundert virtuellen Benutzern, bevor der JVM-Speicher-Overhead zu einer Einschränkung wird.

Unterstützt Gatling gRPC-Lasttests? Gatling verfügt ab Version 3.10+ über experimentelle gRPC-Unterstützung. k6 hat gRPC-Unterstützung in seiner Kern-JavaScript-API, was es ab 2026 reifer für gRPC-Lasttests macht.

Gibt es eine Möglichkeit, k6-Tests ohne Cloud-Dienst auszuführen? Ja, das Open-Source-Tool von k6 läuft vollständig lokal. Sie benötigen Grafana k6 Cloud nicht für Lasttests auf einer einzelnen Maschine. Der Cloud-Dienst ergänzt die verteilte Ausführung und die Speicherung historischer Ergebnisse.

Wird LoadUI Pro auf die Pro-Benutzer-Lizenzanzahl von ReadyAPI angerechnet? LoadUI Pro ist in bestimmten ReadyAPI-Editionen gebündelt. Die Pro-Benutzer-Anzahl gilt für das Bundle. Wenn Sie 10 ReadyAPI-Benutzer mit LoadUI Pro haben, sind das 10 lizenzierte Benutzer. Die Lasttestausführung selbst kann typischerweise auf einem CI-Agenten laufen, ohne auf benannte Benutzerlizenzen angerechnet zu werden, aber bestätigen Sie dies mit Ihrem SmartBear-Vertrag.

LoadUI Pro von ReadyAPI ist ein leistungsfähiges Lasttest-Tool für Teams, die bereits im ReadyAPI-Ökosystem investiert sind. Für Teams, die ihre Optionen prüfen oder neu starten, bietet k6 einen entwicklerfreundlicheren, kostengünstigeren und skalierbareren Ansatz für API-Lasttests. Die Kombination von k6 mit Apidog für funktionale Tests bietet Ihnen einen kompletten modernen API-Test-Stack zu einem Bruchteil dessen, was ReadyAPI mit LoadUI Pro kostet.