Dies ist eine 10-teilige Serie, die zeigt, wie Apidog Apidog CLI entwickelt hat, ein Befehlszeilentool für API-Tests und API-Lebenszyklusmanagement. Lesen Sie die Beiträge der Reihe nach oder springen Sie zu einem beliebigen Beitrag, der Sie interessiert:
| Titel | Fokus | |
|---|---|---|
| 1 | Wir haben 126 MCP-Tools entwickelt. Aber es ist nicht die beste Lösung für Agenten | Problemerkennung |
| 2 | Warum wir die brandneue Apidog CLI entwickelt haben | Architekturentwicklung |
| 3 | Die Goldene Regel: CLI erzeugt Fakten, Modell agiert auf Fakten | Kernphilosophie |
| 4 | agentHints: CLIs beibringen, mit Agenten zu sprechen |
Strukturierte Ausgabe |
| 5 | SKILL: Operative Erfahrung als Code ausliefern | Operative Erfahrung |
| 6 | Die Zahlen lügen nicht: 30 % weniger Tool-Aufrufe, 25 % weniger Tokens | Quantitative Ergebnisse |
| 7 | Vom PRD zum Test-Loop: Ein vollständiger Agent-Workflow mit Apidog CLI | Praktisches Tutorial |
| 8 | Warum CI/CD-Kompatibilität für Agent-Tools nicht verhandelbar ist | DevOps-Perspektive |
| 9 | KI-Zweig: Sicherere Projektänderungen mit KI-Agenten | Sicherheitsebene |
| 10 | Spec-First war gestern. Willkommen bei Skill-First. | Vision & Zukunft |
Wir haben MCP vs. CLI + SKILL bei typischen Benutzeraufgaben verglichen. Die Ergebnisse: Weniger Tool-Aufrufe, weniger Token-Verschwendung, bessere Fehlerbehebung – und die Daten erklären warum.
Die Frage, die zählt
All die Philosophie und Designprinzipien, die wir geteilt haben – funktionieren sie tatsächlich?
Wir haben intern viele typische Benutzeraufgaben über beide Ansätze hinweg verglichen:
| Aufgabentyp | Beschreibung |
|---|---|
| Testfall hinzufügen + Verifikation | Testfall für Endpunkt erstellen, Tests ausführen |
| Testszenarien pflegen | Komplexe mehrstufige Szenarien aktualisieren |
| Projektressourcen importieren/verifizieren | Daten importieren, Struktur bestätigen, Tests ausführen |
Die Ergebnisse waren nicht nur subjektive Verbesserungen. Es waren messbare Reduzierungen.
Aufgabe 1: Testfall basierend auf Endpunkt hinzufügen
Benutzeranfrage:
„Füge einen Test für diesen Endpunkt hinzu und führe eine Überprüfung durch.“
MCP-Route
| Phase | Was passiert |
|---|---|
| Tool-Entdeckung | Agent durchsucht Tool-Liste |
| Tool-Auswahl | Mehrere Runden zur Auswahl des richtigen Tools |
| Feld-Entdeckung | Agent liest Tool-Schema |
| Feld-Raten | Agent rät erforderliche Felder |
| Schreibversuch | Agent ruft Erstellungs-Tool auf |
| Fehlerantwort | Server lehnt ab (falsches Feld/erforderliches fehlt) |
| Wiederholung | Agent passt an, versucht erneut |
| Weitere Wiederholungen | Wiederholen bis Erfolg |
| Tests ausführen | Agent findet Ausführungs-Tool, führt aus |
Typisches Muster:
Tools suchen → Tool auswählen → Schema lesen → Felder raten → Schreiben → Fehler → Wiederholen → Schreiben → Fehler → Wiederholen → Erfolg → Ausführungs-Tool finden → AusführenCLI + SKILL-Route
| Phase | Was passiert |
|---|---|
| SKILL-Anleitung | SKILL identifiziert Aufgabentyp, liefert Workflow |
| Endpunkt lesen | CLI liest Endpunkt-Fakten |
| Testfall generieren | Agent generiert basierend auf tatsächlichen Endpunktdaten |
| Lokal validieren | cli-schema validiert vor dem Schreiben |
| Schreiben | CLI erstellt Testfall |
| Zurücklesen | CLI gibt erstellte Struktur + agentHints zurück |
| Tests ausführen | agentHints schlägt Ausführung vor, Agent folgt |
Typisches Muster:
SKILL führt → Endpunkt lesen → Generieren → Validieren → Schreiben → Zurücklesen → AusführenErgebnisse
| Metrik | MCP-Route | CLI + SKILL | Verbesserung |
|---|---|---|---|
| Tool-Aufruf-Schritte | ~15-20 | ~10-12 | ↓ ~30% |
| Tokens aus Beschreibungen | ~50.000 geladen | ~2.000 geladen | ↓ ~96% |
| Tokens aus Wiederholungen | ~5.000+ verschwendet | ~500 verschwendet | ↓ ~90% |
| Gesamte Token-Verschwendung | ~55.000 | ~2.500 | ↓ ~25% |
Die Schritte der Tool-Aufrufe verringerten sich um etwa 30 %. Der Token-Verbrauch durch ungültige Tool-Beschreibungen und Fehler-Wiederholungen verringerte sich um etwa 25 %.
Aufgabe 2: Strukturierte Schreibvorgänge (Prozessor, Assertion, Extraktor)
Benutzeranfrage:
„Füge diesem Testfall Post-Operation-Assertions und Variablenextraktion hinzu.“
MCP-Route
| Phase | Was passiert |
|---|---|
| Feldnamen raten | Agent kennt genaue Namen nicht |
| Enum-Werte raten | Agent rät Vergleicher, Typ |
| Schreibversuch | Server lehnt falsche Werte ab |
| Netzwerk-Wiederholung | Roundtrip für jeden Fehler |
| Mehrere Versuche | 3-5 Wiederholungen üblich |
Häufige Fehler:
| Falsche Annahme | Korrekter Wert | Anzahl der Wiederholungen |
|---|---|---|
comparator: "contains" |
comparator: "include" |
1-2 |
type: "global" |
type: "globals" |
1-2 |
subject: "responseBody" |
subject: "responseJson" |
1-2 |
Jeder Fehler = 1 Netzwerk-Roundtrip + Antwort + Agenten-Verarbeitung.
CLI + SKILL-Route
| Phase | Was passiert |
|---|---|
| Testfall lesen | CLI erhält tatsächliche Struktur |
| Ergänzungen generieren | Agent generiert basierend auf realem Format |
| Lokal validieren | cli-schema fängt Fehler vor dem Netzwerk ab |
| Lokal beheben | Agent passt basierend auf Validierungsausgabe an |
| Erneut validieren | Korrektur bestätigen |
| Schreiben | Nur gültige Schreibvorgänge gehen an den Server |
Alle Fehler werden lokal abgefangen. Keine Netzwerk-Wiederholungen bei Feldfehlern.
Ergebnisse
| Metrik | MCP-Route | CLI + SKILL | Verbesserung |
|---|---|---|---|
| Netzwerk-Wiederholungen aufgrund struktureller Fehler | 3-5 | 0 | ↓ ~100% |
| Tokens aus Fehlerantworten | ~2.000 | ~0 | ↓ ~100% |
| Gesamtzahl wiederholter Aufrufe | ~5 | ~1 | ↓ ~40% |
Wiederholte Aufrufe aufgrund struktureller Fehler sanken um etwa 40 %.
Aufgabe 3: Kontinuierliche Operationen nach der Erstellung
Benutzeranfrage:
„Erstelle ein Testszenario mit diesen Endpunkten.“
MCP-Route
| Phase | Was passiert |
|---|---|
| Szenario erstellen | Agent ruft Erstellungs-Tool auf |
| Erfolgreiche Antwort | Agent sieht "erstellt" |
| Weiter schreiben | Agent aktualisiert/fügt sofort mehr hinzu |
| Rücklesen überspringen | Agent liest tatsächliche Struktur nicht |
| Schreiben basierend auf Annahme | Agent schreibt mit geratenen IDs/Struktur |
| Fehlerhaft oder unvollständig | Ergebnis entspricht nicht der Erwartung |
Problem: Ausführungsträgheit.
Das Modell neigt dazu, nach Erfolg direkt fortzufahren und den Rückleseschritt zu überspringen.
CLI + SKILL-Route
| Phase | Was passiert |
|---|---|
| Szenario erstellen | CLI erstellt Szenario |
| Erfolg + agentHints | CLI gibt Erfolg + Vorschläge für nächste Schritte zurück |
agentHints: "Zuerst zurücklesen" |
Agent sieht Vorschlag |
| Vorschlag folgen | Agent liest zurück |
| Mit realer Struktur arbeiten | Agent fährt mit präzisen Daten fort |
agentHints schlägt explizit das Zurücklesen vor. Agent folgt.
Ergebnisse
| Metrik | MCP-Route | CLI + SKILL | Verbesserung |
|---|---|---|---|
| Anteil, der vor dem Fortfahren zurückgelesen hat | ~20% | ~85% | ↑ ~425% |
| Fehler-Wiederholungen durch direkte Sprünge | ~3-5 | ~0-1 | ↓ ~21% |
Der Anteil der Agenten, die proaktiv zurücklesen, validieren und die Verifikation durchführen, stieg signifikant. Fehler-Wiederholungen durch direktes Überspringen zum nächsten Schritt sanken um etwa 21 %.
Zusammenfassung: Woher die Einsparungen kommen
| Quelle der Einsparungen | Erklärung |
|---|---|
| Tool-Entdeckung | CLI-Befehle haben klare Namen; SKILL leitet die Auswahl |
| Schema-Validierung | Lokale Validierung fängt Fehler vor dem Netzwerkaufruf ab |
| Fehlerbehebung | agentHints liefert umsetzbare Vorschläge, nicht nur "fehlgeschlagen" |
| Anleitung zum Zurücklesen | Verhindert annahmebasierte Schreibvorgänge |
| Workflow-Sequenz | SKILL reduziert Entscheidungspunkte |
Die wahre Kostenanalyse
Wichtige Erkenntnis:
Die Agenten-Ermöglichung von Produkten bedeutet nicht: je mehr Tools, desto besser.
Was das Modell tatsächlich verbraucht:
| Kostenart | MCP-Belastung | CLI + SKILL-Belastung |
|---|---|---|
| Kontext | Tool-Beschreibungen, Schemata | Nur aufgabenfokussiertes SKILL |
| Aufmerksamkeit | Auswahl aus vielen Tools | Verfolgen eines geführten Workflows |
| Pfadauswahl | Reihenfolgen raten | SKILL-definierte Reihenfolge |
| Token-Kosten des Benutzers | Wiederholungen, fehlgeschlagene Aufrufe | Validierte Schreibvorgänge, weniger Aufrufe |
Nachdem die Tool-Anzahl gestiegen ist, verbraucht das Modell nicht die API-Aufrufmöglichkeiten, sondern muss Kompromisse zwischen Kontext, Aufmerksamkeit, Pfadauswahl und Benutzer-Token-Kosten eingehen.
Das Ingenieurprinzip
Ziel:
Diese Kosten aus dem Modellkontext herausnehmen und in Positionen verschieben, die das Ingenieursystem tragen kann.
| Kosten | MCP-Ort | CLI + SKILL-Ort |
|---|---|---|
| Tool-Entdeckung | Modell muss suchen | SKILL stellt bereit |
| Feld-Validierung | Modell muss wissen | cli-schema validiert |
| Anleitung für nächste Schritte | Modell muss entscheiden | agentHints schlägt vor |
| Produktsemantik | Modell muss verstehen | CLI übernimmt |
Das Ingenieursystem absorbiert Komplexität. Das Modell konzentriert sich auf Generierung und Beurteilung.
Was diese Zahlen bedeuten
Die Zahlen erklären ein spezifischeres Problem:
| Erkenntnis | Implikation |
|---|---|
| 30 % weniger Tool-Aufrufe | Komplexität von der Entdeckung zur Anleitung verlagert |
| 25 % weniger verschwendete Tokens | Fehler vor dem Netzwerk abgefangen |
| 40 % weniger strukturelle Wiederholungen | Validierungsgate funktioniert |
| 21 % weniger Sprungfehler | agentHints verhindert blindes Fortfahren |
CLI + SKILL ist nicht nur architektonische Eleganz. Es ist messbare Effizienz.
Was kommt als Nächstes
Nachdem wir den Ansatz mit Zahlen validiert haben, sehen wir ihn uns in Aktion an.
In Teil 7, Vom PRD zum Test-Loop: Ein vollständiger Agent-Workflow, gehen wir ein reales Beispiel durch – ein Team hat ein "Bestellrückerstattungs"-PRD, und der Agent verwendet CLI + SKILL, um OpenAPI zu generieren, Tests zu erstellen, zu validieren und zu verifizieren.
Wichtigste Erkenntnisse
- Die Schritte der Tool-Aufrufe sanken um ca. 30 %.
- Die Token-Verschwendung durch Beschreibungen und Wiederholungen sanken um ca. 25 %.
- Die Wiederholungen bei strukturellen Fehlern sanken um ca. 40 %.
- Die Sprungfehler durch das Überspringen des Zurücklesens sanken um ca. 21 %.
- Einsparungen resultieren aus: geführter Entdeckung, lokaler Validierung, umsetzbaren Hinweisen.
- Komplexität wurde vom Kontext in das Ingenieursystem verlagert.
Laden Sie Apidog herunter, um APIs in einem einzigen Arbeitsbereich zu entwerfen, zu simulieren, zu testen und zu dokumentieren. Erfahren Sie mehr über Apidog CLI für API-Tests über die Befehlszeile, CI-Automatisierung und AI-Agenten-Workflows.