Hallo, Apidog-Nutzer! 👋 Im vergangenen Jahr haben wir eine umfassende automatisierte Testplattform rund um Testszenarien entwickelt – wiederverwendbare Workflow-Sequenzen, die mehrere API-Anfragen zu vollständigen Geschäftsprozessen verketten. Testszenarien lösen das Problem des „Wie testet man“, aber wir haben immer wieder Feedback von Teams zu einer anderen Herausforderung erhalten: „Wie organisiert man, was getestet werden soll.“
Teams berichten uns, dass sie Hunderte von Testfällen nach Geschäftsmodulen organisiert haben, aber bei der Release-Regression nur ihre P0-Fälle ausführen möchten – nicht alles. Derzeit müssen sie jeden einzelnen manuell suchen und auswählen. Andere pflegen sowohl positive als auch negative Testfälle, möchten aber, dass Smoke Tests nur positive Abläufe abdecken. Und wenn neue Fälle hinzugefügt werden, werden sie oft in den Regressionslisten vergessen.
Heute stellen wir Test Suites vor: einen neuen Ressourcentyp, mit dem Sie Tests nach Regeln anstatt durch individuelle Auswahl organisieren und ausführen können. Test Suites bringen drei Kernfunktionen in Ihren Test-Workflow:
- Dynamisches Test-Routing: Definieren Sie Filterregeln einmal – nach Tags, Verzeichnissen oder Prioritätsstufen – und passende Fälle werden zur Laufzeit automatisch einbezogen. Neue Fälle, die Ihre Kriterien erfüllen, werden ohne manuellen Wartungsaufwand hinzugefügt.
- Parallele Ausführung: Wechseln Sie mit einem Klick zwischen seriellem und parallelem Modus. Das System optimiert die Parallelität automatisch basierend auf verfügbaren Ressourcen und reduziert stundenlange Regressionen auf Minuten.
- Strukturierte Testberichte: Zeigen Sie Ergebnisse gruppiert nach Ihrer Organisationslogik an – nach Modul, Priorität oder Tag – anstatt durch flache Listen zu scrollen. Fehlgeschlagene Fälle werden sofort mit klarem Kontext angezeigt.
Hier ist ein genauerer Blick darauf, wie jede Funktion arbeitet.
Dynamisches Test-Routing
Die häufigste Anfrage, die wir von QA-Teams hören, ist: „Ich möchte alle P0-Fälle im Zahlungsmodul ausführen, ohne sie einzeln auswählen zu müssen.“ Test Suites lösen dies, indem sie die Testerstellung von der Testorganisation trennen.
Testszenarien bleiben Ihre Bausteine – jedes repräsentiert einen vollständigen Geschäftsprozess (Anmelden, Bestellung erstellen, Bezahlen, Status überprüfen). Mit Test Suites können Sie diese Szenarien nach Bedingungen gruppieren: Tags, Verzeichnisse, Prioritätsstufen oder eine beliebige Kombination davon. Wenn Sie eine Suite ausführen, werden zur Ausführungszeit automatisch alle passenden Fälle einbezogen.
Dies wird zunehmend wichtiger, da KI-gestützte Entwicklungstools die Code- und Testerstellung beschleunigen. Mit dynamischen Suiten müssen Sie die Regressionslisten nicht jedes Mal manuell aktualisieren, wenn ein neuer Fall hinzugefügt wird. Schreiben Sie den Fall, wenden Sie die richtigen Tags an, und die Suite erledigt den Rest.
Wir unterstützen zwei Modi, um verschiedenen Testanforderungen gerecht zu werden:
Der statische Modus bietet Ihnen eine feste Liste von Fällen. Sie wählen genau aus, welche Szenarien einbezogen werden sollen, und diese Liste bleibt unverändert, bis Sie sie ändern. Dies eignet sich gut für Smoke Tests – eine kuratierte Sammlung von 5-15 kritischen Szenarien, die sich selten ändern, aber häufig ausgeführt werden.
Der dynamische Modus verwendet Regeln, um passende Fälle automatisch einzubeziehen. Definieren Sie eine Bedingung (alle Fälle im Verzeichnis „Zahlung“ mit P0-Priorität), und die Suite bleibt aktuell, während sich Ihre Testbibliothek entwickelt. Dies eignet sich gut für Modulregressionen, bei denen sich die Anzahl der Fälle regelmäßig ändert.
In der Produktoberfläche führen wir Sie durch diese Auswahl, ohne dass Sie die Terminologie im Voraus verstehen müssen. Wenn Sie den statischen Modus auswählen, erscheinen Kontrollkästchen für die individuelle Auswahl. Wenn Sie den dynamischen Modus auswählen, sehen Sie eine schreibgeschützte Vorschau der passenden Fälle mit einem Hinweis: „Neue Fälle, die diese Bedingungen erfüllen, werden automatisch eingeschlossen.“
Parallele Ausführung
Wenn Ihre Testsuite auf Hunderte von Fällen anwächst, wird die serielle Ausführung zu einem Engpass. Eine vollständige Regression, die eine Stunde dauert, verzögert Ihre Release-Pipeline und verlangsamt die Fehlererkennung im Produktionsmonitoring.
Test Suites unterstützen von Haus aus die parallele Ausführung. Wechseln Sie einfach zwischen seriellem und parallelem Modus – das System ermittelt automatisch die optimale Parallelität basierend auf den verfügbaren Ressourcen Ihres Rechners. Keine manuelle Anpassung erforderlich. Dies reduziert eine 60-minütige Regression auf unter 30 Minuten, ohne Ihre Testlogik zu ändern.
Die parallele Ausführung übernimmt die Abhängigkeitsisolation automatisch. Jedes Szenario läuft in seinem eigenen Kontext ab, um sicherzustellen, dass gemeinsame Variablen oder Umgebungszustände aus einem Szenario nicht mit einem anderen interferieren. Für Szenarien, die tatsächlich voneinander abhängen, können Sie diese zu einem einzigen Szenario mit sequentiellen Schritten zusammenfassen.
Strukturierte Testberichte
Traditionelle Testberichte listen die Ergebnisse einzeln auf. Wenn Sie eine Suite mit 200 Fällen über mehrere Module hinweg ausführen, wird es mühsam, die relevanten Fehler zu finden.
Test Suite Berichte sind nach Ihrer Organisationslogik strukturiert. Die Ergebnisse werden nach den von Ihnen definierten Bedingungen gruppiert – nach Modul, nach Priorität, nach Tag. Sie können sofort sehen, dass „Zahlungsmodul: 45/47 bestanden“ und „Benutzermodul: 32/32 bestanden“, ohne durch einzelne Einträge scrollen zu müssen.
Jede Gruppe lässt sich erweitern, um individuelle Szenarioergebnisse mit Ausführungszeit, Assertionsanzahl und Fehlerdetails anzuzeigen. Fehlgeschlagene Szenarien werden mit klarem Fehlerkontext nach oben verschoben, sodass Sie Probleme beheben können, ohne Protokolle durchsuchen zu müssen.
Berichte enthalten auch Ausführungsmetadaten: Gesamtdauer, parallele Effizienz (im Vergleich zur seriellen Ausführung eingesparte Zeit) und verwendete Umgebungskonfiguration. Dies hilft Ihnen, die Suite-Konfiguration im Laufe der Zeit zu optimieren und bietet Audit-Trails für Compliance-Anforderungen.
Einheitliche Konfiguration mit flexiblen Überschreibungen
Jedes Testszenario kann seine eigene Ausführungskonfiguration haben: Umgebung, Schleifenzahl und andere Einstellungen. Wenn Sie mehrere Szenarien zu einer Suite gruppieren, müssen Sie entscheiden, welche Konfiguration Vorrang hat.
Standardmäßig läuft jedes Szenario mit seiner gespeicherten Konfiguration – dem intuitivsten Verhalten. Speziell für Umgebungseinstellungen bietet die Suite einen einheitlichen Umgebungsselektor, den Szenarien erben können. So können Sie Ihre gesamte Regression Suite mit einer einzigen Änderung von Staging auf Produktion umstellen.
Wenn Sie die volle Kontrolle benötigen, können Sie eine benutzerdefinierte Konfiguration angeben, die alle szenariobezogenen Einstellungen überschreibt. Diese Option ist in den erweiterten Einstellungen verfügbar, um den allgemeinen Pfad einfach zu halten.
Test Suites vs. Verzeichnis-Batch-Läufe
Apidog unterstützt bereits Batch-Läufe auf Verzeichnisebene. Test Suites dienen einem anderen Zweck.
Verzeichnisse organisieren Fälle nach physikalischer Struktur. Ein Fall gehört zu einem Ordner.
Test Suites organisieren Fälle nach logischen Regeln. Ein Fall kann gleichzeitig zu mehreren Suiten gehören.
Zum Beispiel: Ein P0-Zahlungs-Testfall kann sowohl in der „Payment Module Regression“ (alle mit Zahlung getaggten P0/P1-Fälle) als auch im „Full Smoke Test“ (alle P0-Fälle im gesamten System) erscheinen. Diese Flexibilität ermöglicht es Ihnen, wiederverwendbare Testausführungseinheiten für verschiedene Szenarien zu erstellen – Smoke Tests, die bei jedem Commit ausgelöst werden, vollständige Regressionen vor Releases und geplante Gesundheitsprüfungen in der Produktion.
Funktion | Zweck | Am besten geeignet für |
|---|---|---|
Testszenario | Geschäftsprozess-Orchestrierung | Definieren individueller Test-Workflows |
Verzeichnis | Physische Organisation | Teamzusammenarbeit, Fallverwaltung |
Verzeichnis-Batch-Lauf | Schnelle Ausführung | Exploratives Testen, Ad-hoc-Regression |
Test Suite | Wiederverwendbare Ausführungseinheit | Release-Regression, Smoke Tests, geplantes Monitoring |
Was wir als Nächstes entwickeln
Wir prüfen die Verschachtelung von Suiten (Zusammensetzen von Suiten aus anderen Suiten) und die automatische Wiederholung bei Fehlern. Der dynamische Modus deckt bereits die meisten Kompositionsanforderungen ab, und wir möchten vermeiden, echte Fehler durch Wiederholungen zu verschleiern. Wir werden dies basierend auf den Nutzungsmustern erneut prüfen.
So starten Sie
Test Suites sind jetzt in Apidog verfügbar. Erstellen Sie Ihre erste Suite im Modul „Automatisiertes Testen“, wählen Sie den statischen oder dynamischen Modus, definieren Sie Ihre Bedingungen und führen Sie sie aus. Integrieren Sie sie in Ihre CI/CD-Pipeline über die CLI, um Suiten bei Code-Merges oder nach Zeitplan auszulösen.
Diskutieren Sie mit
Wir würden gerne hören, wie Test Suites in Ihren Workflow passen. Teilen Sie Ihr Feedback in unseren Community-Kanälen. Verbinden Sie sich mit anderen API-Ingenieuren und dem Apidog-Team:
- Discord: Treten Sie unserer Community bei für Echtzeit-Diskussionen und Teststrategien
- X (Twitter): Folgen Sie uns für die neuesten Produktaktualisierungen und API-Einblicke
- LinkedIn: Verbinden Sie sich mit uns für professionelle Updates und Branchenperspektiven. Erkunden Sie die vollständigen Details all dieser Updates im Apidog Changelog! 🚀
Viel Spaß beim Testen!