Wenn die Endpunkt-Testfälle und Testszenarien in einem Projekt ständig wachsen, steigen die Kosten für deren individuelle Verwaltung und Ausführung stark an. Was eigentlich die Qualität sichern sollte – automatisiertes Testen – kann selbst zu einem Wartungsaufwand werden.
Traditionell wählen Teams Testfälle manuell aus. Wenn ein Projekt viele Fälle und Testszenarien angesammelt hat, wird die manuelle Entscheidung, welche einbezogen und welche für die Regression ausgeführt werden sollen, zu einer mühsamen manuellen Arbeit.
Apidog Test-Suites begegnen diesem Problem mit einem dynamischen Ansatz. Anstatt IDs starr zu speichern, speichert eine Suite eine Reihe von Filterregeln – zum Beispiel nach Ordner, Tag, Priorität oder einer Kombination von Bedingungen.
Vor jeder Ausführung stellt die Test-Suite automatisch alle Testfälle und Testszenarien zusammen, die diesen Regeln entsprechen. Sie können sich auf das Schreiben von Tests und das Anwenden von Tags konzentrieren; neue Test-Assets werden automatisch übernommen und fließen in Ihre CI/CD-Pipeline für eine wirklich unbeaufsichtigte kontinuierliche Integration.
Alle Ausführungsergebnisse werden dann in einem einzigen zusammengefassten Bericht zur einfacheren Analyse und Fehlerbehebung zusammengefasst.
Ihre erste Test-Suite erstellen und orchestrieren
Nachdem Sie Apidog auf die neueste Version aktualisiert haben, öffnen Sie das Tests-Modul und finden Sie den Abschnitt Test-Suite. Klicken Sie auf das ...-Menü daneben und wählen Sie Test-Suite erstellen.
Geben Sie im Pop-up-Fenster einen aussagekräftigen Namen ein und legen Sie Optionen wie Priorität oder Tags fest. Eine leere Test-Suite wird erstellt.
Fügen Sie als Nächstes Inhalte zur Suite hinzu. Eine Test-Suite kann einzelne Endpunkt-Testfälle oder Testszenarien enthalten, die aus mehreren Testschritten bestehen.
Testinhalte hinzufügen: Statisch und Dynamisch
Wenn Sie auf Endpunkt-Testfall hinzufügen oder Testszenario hinzufügen klicken, können Sie den Statischen oder Dynamischen Modus wählen. Diese Modi bestimmen, wie die Suite entscheidet, was ausgeführt werden soll, und dienen unterschiedlichen Wartungs- und Testzielen.
Der statische Modus legt den genauen Satz von Elementen fest, die ausgeführt werden sollen. Wenn Sie im statischen Modus bestimmte Fälle auswählen, speichert das System die eindeutigen IDs dieser Fälle. Wenn später neue Fälle zum selben Ordner hinzugefügt oder Fälle verschoben werden, ändert sich der Ausführungsumfang der Suite nicht. Das Verhalten ist deterministisch und bei jeder Ausführung gleich.
Der dynamische Modus funktioniert anders. Er speichert keine spezifischen Fall-IDs; er speichert Filterregeln, wie z.B. "alle Fälle in einem bestimmten Ordner" oder "alle Fälle mit dem Tag 'semantic-valid'" oder "alle Testszenarien mit P0-Priorität".
Im dynamischen Modus scannt das System bei jeder Ausführung der Test-Suite das Projekt anhand dieser Regeln neu und schließt alle Fälle ein, die derzeit übereinstimmen. Jeder Testfall oder jedes Szenario, dessen Attribute (Ordner, Tags, Priorität) den Regeln entsprechen, wird automatisch einbezogen.
Statischer vs. Dynamischer Modus: Wie wählt man?
Keiner der Modi ist universell besser; sie dienen unterschiedlichen Anforderungen. Die Wahl hängt davon ab, wie sich die Suite im Laufe der Zeit verhalten soll.
Für eng gefasste, dedizierte Tests (z.B. ein fester Regressionssatz) ist der statische Modus vorhersehbarer. Für fortlaufende Iterationen und "Auto-Onboarding"-Regressionen oder Smoke-Tests reduziert der dynamische Modus den Wartungsaufwand erheblich.
Für einen schnellen Vergleich der beiden Modi siehe die Tabelle unten:
| Aspekt | Statischer Modus | Dynamischer Modus |
|---|---|---|
| Kernlogik | Speichert spezifische Fall-IDs | Speichert Filterregeln (Ordner, Tags, Priorität usw.) |
| Inhalt im Laufe der Zeit | Fest, es sei denn, Sie ändern es manuell | Wird automatisch aktualisiert, wenn passende Fälle hinzugefügt oder entfernt werden |
| Wartungskosten | Höher; neue Fälle müssen manuell hinzugefügt werden | Niedriger; Regeln einmal festlegen, dann bleiben die Ausführungen synchron |
| Typische Verwendung | Fehlerbehebungsüberprüfung, Kernpfadstabilität, Kompatibilitätstests | Vollständige Regression, Smoke-Tests, Freigabeakzeptanz |
Ausführungsreihenfolge und erweiterte Konfiguration
Nachdem Sie Inhalte hinzugefügt haben, können Sie die Elemente in der Orchestrierungsliste per Drag & Drop neu anordnen.
Für jedes Ausführungselement (z.B. Testszenario) können Sie das Ausführungsverhalten detaillierter über die Optionen auf der rechten Seite steuern.
Zum Beispiel können Sie unter Bei Fehler wählen, ob fortgefahren, die aktuelle Runde übersprungen oder die gesamte Ausführung gestoppt werden soll, wenn ein Schritt fehlschlägt. Iterationen ermöglicht es Ihnen, die gesamte Suite mehrmals für einfache Stabilitätsprüfungen auszuführen. Zusammen machen diese Optionen eine Test-Suite nicht nur zu einer Sammlung von Fällen, sondern zu einem kontrollierbaren Ausführungsablauf.
Test-Suites ausführen
Sobald die Test-Suite eingerichtet ist, können Sie sie auf verschiedene Weisen ausführen: von lokalen manuellen Ausführungen bis hin zur Cloud-basierten Automatisierung, je nach Ihrer Phase und Umgebung.
Test-Suites lokal ausführen
Der direkteste Weg ist, im Apidog-Client auf Ausführen zu klicken. Die Ausführung erfolgt von Ihrem lokalen Rechner aus und eignet sich für kleine, schnelle Überprüfungen während der Entwicklung und Fehlerbehebung. In der Ausführungskonfiguration können Sie die Ausführungsumgebung wechseln und eine Benachrichtigung einstellen, wenn die Ausführung abgeschlossen ist.
Wenn die Ausführung abgeschlossen ist, generiert Apidog einen Testbericht und zeigt ihn in der Benutzeroberfläche an. Der Bericht listet jeden Endpunkt-Testfall und jedes Testszenario in Ausführungsreihenfolge auf, mit einem klaren Bestanden-/Fehlgeschlagen-Status. Sie können einzelne Elemente für weitere Details öffnen.
Test-Suites über CLI ausführen
Für größere Testsets oder Headless-Umgebungen (z.B. Server ohne GUI) ist die Apidog CLI die bessere Option. Sie bringt die Testausführung von Apidog in jedes Terminal.
Um über CLI auszuführen, installieren Sie Apidog CLI und stellen Sie sicher, dass es aktuell ist. Verwenden Sie dann auf der Registerkarte CI/CD der Test-Suite den generierten Befehl:
Kopieren Sie diesen Befehl in Ihr Terminal, um die Suite auszuführen und den gleichen Ablauf und die gleichen Ergebnisse wie in der Benutzeroberfläche zu sehen.
Wenn die Ausführung abgeschlossen ist, wird im aktuellen Verzeichnis ein Ordner namens apidog-reports/ erstellt, der den HTML-Testbericht enthält.
Die Ausführung über CLI ist die Grundlage für die CI/CD-Integration. Sie können diesen Befehl in Jenkins, GitLab CI oder GitHub Actions einbinden und Regressionstests an wichtigen Punkten wie der Code-Zusammenführung auslösen.
Test-Suites über geplante Aufgaben ausführen
Apidog unterstützt Geplante Aufgaben. Erstellen Sie auf der Registerkarte Geplante Aufgaben der Test-Suite eine Aufgabe und legen Sie deren Ausführungszeitplan und -umgebung fest.
Im Gegensatz zu lokalen Ausführungen müssen geplante Aufgaben auf einem selbst gehosteten Runner ausgeführt werden.
Der Runner ist ein leichtgewichtiges Programm, das Ihr Team auf einem internen Server bereitstellen kann. Die Verwendung eines Runners vermeidet Ausfälle, wenn lokale Maschinen ausgeschaltet oder unerreichbar sind, und ermöglicht es Ihnen, die Ressourcen des Servers für größere Testläufe zu nutzen.
Nachdem eine geplante Aufgabe konfiguriert wurde, führt Apidog die Test-Suite zu den angegebenen Zeiten auf dem Runner aus und lädt die Ausführungshistorie und Berichte hoch. Sie können auch Fehlermeldungen konfigurieren, sodass bei einem Problem die richtigen Personen schnell benachrichtigt werden.
Zusammenfassung
Mit statischer und dynamischer Orchestrierung können Sie dedizierte Tests eng gefasst halten und Regressions-Suites automatisch mit Ihrem Projekt wachsen lassen, ohne ständige manuelle Aktualisierungen. In Kombination mit lokalen Ausführungen, CLI-Integration und geplanten Aufgaben können Test-Suites in jede Phase Ihres Workflows passen – von schnellen Überprüfungen während der Entwicklung über automatisierte Regression in CI/CD bis hin zu geplanten Überprüfungen in der Produktion.
Weitere Informationen zu Test-Suites finden Sie in der Apidog-Dokumentation. Versuchen Sie, Ihre erste Test-Suite zu erstellen, Ihre bestehenden Tests zu orchestrieren und Schritt für Schritt eine nachhaltige automatisierte Regressionseinrichtung aufzubauen.