Dies ist eine 10-teilige Serie, die zeigt, wie Apidog das Apidog CLI entwickelt hat, ein Befehlszeilentool für API-Tests und das API-Lebenszyklusmanagement. Lesen Sie sie der Reihe nach oder springen Sie zu einem Beitrag, der Sie interessiert:
| Titel | Fokus | |
|---|---|---|
| 1 | Wir haben 126 MCP-Tools entwickelt. Aber es ist nicht die beste Lösung für Agenten | Problemerkennung |
| 2 | Warum wir das brandneue Apidog CLI entwickelt haben | Architekturentwicklung |
| 3 | Die goldene Regel: CLI liefert Fakten, das Modell handelt nach Fakten | Kernphilosophie |
| 4 | agentHints: CLIs beibringen, mit Agenten zu sprechen |
Strukturierte Ausgabe |
| 5 | SKILL: Operative Erfahrung als Code bereitstellen | Operative Erfahrung |
| 6 | Die Zahlen lügen nicht: 30 % weniger Tool-Aufrufe, 25 % weniger Token | Quantitative Ergebnisse |
| 7 | Vom PRD zum Test-Loop: Ein kompletter Agenten-Workflow mit Apidog CLI | Praktisches Tutorial |
| 8 | Warum CI/CD-Kompatibilität für Agenten-Tools unerlässlich ist | DevOps-Perspektive |
| 9 | AI Branch: Sicherere Projektänderungen mit KI-Agenten | Sicherheitsebene |
| 10 | Spec-First war gestern. Willkommen bei Skill-First. | Vision & Zukunft |
Traditionelle CLI-Ausgabe ist für Menschen. Agenten benötigen strukturierte Ergebnisse, Fehlerursachen und Vorschläge für nächste Schritte. agentHints wandelt Produktexpertise in maschinenlesbare Anleitungen um.
Die Lücke in der CLI-Ausgabe
Traditionelle CLI-Ausgabe ist für **Menschen** konzipiert.
| Erfolg | Fehler |
|---|---|
| Druckt "Erfolg" oder "Fertig" | Druckt Fehlermeldung |
| Zeigt eventuell erstellte Ressource | Zeigt eventuell Stack-Trace |
| Mensch liest und entscheidet nächsten Schritt | Mensch liest und debuggt |
Das funktioniert für Menschen. Menschen können:
- Vage Nachrichten interpretieren
- Entscheiden, was als Nächstes zu tun ist
- Kontext aus früheren Befehlen erinnern
- Domänenwissen anwenden, um fortzufahren
**Aber Agenten arbeiten anders.**
Was Agenten wirklich brauchen
Agenten lesen nicht nur Ergebnisse. Sie müssen **Ergebnisse mit der nächsten Aufgabenkette verbinden.**
| Agentenbedarf | Warum |
|---|---|
| **Strukturierte Ergebnisse** | Muss Ausgabe programmatisch parsen |
| **Fehlerursachen** | Benötigt spezifische Details, nicht generische Nachrichten |
| **Vorschläge für nächste Schritte** | Benötigt Anleitung, was danach zu tun ist |
Ein Mensch sieht "Ressource erfolgreich erstellt" und weiß: "Ich sollte wahrscheinlich überprüfen, was erstellt wurde, und dann vielleicht einige Tests durchführen."
Ein Agent sieht "Ressource erfolgreich erstellt" und... hat keine Ahnung, was als Nächstes zu tun ist.
agentHints: Die Lösung
Apidog CLI fügt `agentHints` zu seiner Ausgabe hinzu.
So sieht eine typische Antwort aus:
{
"success": true,
"data": {
"id": "12345",
"name": "Health Check Test Case"
},
"agentHints": {
"summary": "Test case created successfully.",
"nextSteps": [
"Read the created test case back to confirm structure.",
"Add assertions if the test case needs response validation.",
"Add the test case to a test scenario for integration testing.",
"Run related tests after adding to scenario."
]
}
}**Drei Komponenten:**
| Komponente | Zweck |
|---|---|
| `success` + `data` | Das tatsächliche Ergebnis |
| `summary` | Für Menschen lesbare Zusammenfassung |
| `nextSteps` | Maschinenlesbare Vorschläge für nächste Schritte |
Das Problem der Ausführungsträgheit
Hier ist ein reales Problem, das wir beobachtet haben:
**Nach dem erfolgreichen Erstellen einer Ressource fährt das Modell oft direkt damit fort, den nächsten Schreibvorgang zu generieren.**
Beispiel:
Agent: Erstellt Testfall
CLI: Meldet Erfolg
Agent: Erstellt sofort Testszenario (ohne Rücklesen)
Agent: Führt sofort Tests aus
Ergebnis: Szenario hat falsche Struktur, Tests schlagen fehlIn komplexen Geschäftsprozessen ist eine **mechanische kontinuierliche Ausführung nicht angemessen.**
Der korrekteste Ansatz ist oft:
- Ressource erstellen
- **Zuerst zurücklesen**
- Struktur bestätigen
- Dann fortfahren
Warum das Rücklesen wichtig ist
Das Überspringen des Rücklesens verursacht reale Probleme:
| Problem | Ursache |
|---|---|
| Falsche Standardwerte | Server füllt Standardwerte, die der Agent nicht angegeben hat |
| Fehlende zugeordnete IDs | Import kann neue interne IDs generieren |
| Strukturelle Varianten | Frontend kann von spezifischem Parsing abhängen |
| Falsche Annahmen | Agent fährt basierend auf "Imagination" fort |
Wenn die tatsächliche Struktur nicht zurückgelesen wird, fährt der Agent leicht damit fort, basierend auf seiner eigenen Vermutung zu schreiben – nicht auf tatsächlichen Daten.
agentHints als Navigator
agentHints wandelt Produktexpertise in maschinenlesbare Vorschläge für nächste Schritte um.
Es erscheint **genau dort, wo der Agent Entscheidungen treffen muss.**
Beispiel nach dem Erstellen eines Testfalls:
{
"agentHints": {
"nextSteps": [
"Read back the created test case with --with-case-detail flag.",
"Validate any updates with cli-schema before writing.",
"Run tests after completing test scenario."
]
}
}Der Agent:
- Liest die Ausgabe
- Parst `agentHints`
- Folgt `nextSteps[0]`: liest den Testfall zurück
- Bestätigt die tatsächliche Struktur
- Fährt dann mit genauen Informationen fort
CLI Rollentransformation
Dies verändert, was CLI im Agenten-Workflow bedeutet.
| Alte Rolle | Neue Rolle |
|---|---|
| Befehlsausführer | Workflow-Navigator |
| Ergebnis drucken | Nächsten Schritt anleiten |
| Für Menschen lesbare Ausgabe | Für Agenten lesbare Struktur |
| Einmalige Antwort | Kontinuierliche Anleitung |
**CLI wird zu einem leichtgewichtigen Zustandsnavigator.**
Integrierte Workflow-Bäume
Apidog CLI verfügt über **Tausende von baumstrukturierten Workflows.**
Das sind nicht nur fest kodierte Vorschläge. Sie sind:
| Funktion | Beschreibung |
|---|---|
| Kontextsensitiv | Vorschläge passen zur spezifischen Operation |
| Ressourcenspezifisch | Unterschiedliche Hinweise für Endpunkte, Testfälle, Szenarien |
| Workflow-bewusst | Vorschläge spiegeln typische Sequenzen wider |
| Fehlerinformiert | Unterschiedliche Vorschläge bei Erfolg vs. Misserfolg |
Beispiel nach erfolgreicher Aktualisierung des Testszenarios:
{
"agentHints": {
"summary": "Test scenario updated successfully.",
"nextSteps": [
"Run the test scenario to verify changes.",
"Check the test report for any failures.",
"If failures occur, read back scenario steps for debugging."
]
}
}Beispiel nach Validierungsfehler:
{
"success": false,
"error": {
"code": "VALIDATION_ERROR",
"message": "Field 'comparator' has invalid value",
"details": [...]
},
"agentHints": {
"summary": "Validation failed. Fix the errors and re-validate.",
"nextSteps": [
"Review the error details in the output.",
"Adjust the JSON file based on error suggestions.",
"Re-run cli-schema validate before writing."
]
}
}**Selbst Fehler werden navigierbar.**
Der sicherere Loop mit agentHints
Verfolgen wir einen vollständigen Workflow mit agentHints:
Schritt 1: Agent erstellt Testfall
↓
CLI-Ausgabe: success + agentHints
↓
agentHints.nextSteps[0]: "Lesen Sie den erstellten Testfall zurück"
↓
Schritt 2: Agent liest zurück (mit tatsächlicher Struktur)
↓
CLI-Ausgabe: Testfallstruktur + agentHints
↓
agentHints.nextSteps[0]: "Assertions hinzufügen, falls benötigt"
↓
Schritt 3: Agent fügt Assertions hinzu (basierend auf tatsächlicher Struktur)
↓
CLI-Ausgabe: success + agentHints
↓
agentHints.nextSteps[0]: "Tests ausführen"
↓
Schritt 4: Agent führt Tests aus
↓
CLI-Ausgabe: Testbericht**Jeder Schritt wird geführt. Keine blinden Sprünge. Keine Annahmen.**
Vergleich: Mit und ohne agentHints
| Szenario | Ohne agentHints | Mit agentHints |
|---|---|---|
| Nach Erstellung | Agent fährt mit dem nächsten Schreibvorgang fort | Agent liest zuerst zurück |
| Nach Aktualisierung | Agent nimmt Erfolg an | Agent überprüft Struktur |
| Nach erfolgreicher Validierung | Agent schreibt sofort | Agent schreibt, dann liest zurück |
| Nach Validierungsfehler | Agent ist verwirrt über Fehler | Agent erhält spezifische Korrekturvorschläge |
| Nach Testlauf | Agent sieht Erfolg/Misserfolg | Agent erhält Debugging-Anleitung |
Was kommt als Nächstes
Nachdem CLI Agenten durch nächste Schritte führen kann, bleibt die Frage:
**Woher wissen Agenten überhaupt, welchem Workflow sie folgen sollen?**
In Teil 5, SKILL: Operative Erfahrung als Code bereitstellen, werden wir untersuchen, wie SKILL Workflow-Wissen verpackt – wann Befehle zu verwenden sind, welche Reihenfolge einzuhalten ist und welche Felder nicht geraten werden sollten.
Wichtige Erkenntnisse
- Traditionelle CLI-Ausgabe ist menschenzentriert; Agenten benötigen strukturierte Anleitung
- agentHints liefert eine Zusammenfassung + Vorschläge für nächste Schritte in der JSON-Ausgabe
- Ausführungsträgheit führt dazu, dass Agenten das Rücklesen überspringen; agentHints verhindert dies
- CLI wandelt sich vom Ausführenden zum Navigator
- Integrierte Workflow-Bäume machen jeden Schritt navigierbar
- Selbst Fehler werden mit agentHints handhabbar
Laden Sie Apidog herunter, um APIs in einem einzigen Arbeitsbereich zu entwerfen, zu simulieren, zu testen und zu dokumentieren. Erfahren Sie mehr über das Apidog CLI für Befehlszeilen-API-Tests, CI-Automatisierung und KI-Agenten-Workflows.
