数字は嘘をつかない：ツール呼び出し30%削減、トークン25%削減

ApidogがAPIテストおよびAPIライフサイクル管理用のコマンドラインツールであるApidog CLIをどのように開発したかについて、全10回の連載でお届けします。順番に読むことも、興味のある投稿に直接飛ぶこともできます：

私たちは、一般的なユーザー作業において、MCPとCLI + SKILLを比較しました。結果として、ツール呼び出しの回数が減り、トークンの無駄が減り、エラー回復が改善されました。その理由をデータが説明しています。

重要な問い

これまで共有してきたすべての哲学と設計原則は、実際に機能するのでしょうか？

私たちは内部で、両方のアプローチにわたって多くの一般的なユーザー作業を比較しました：

結果は単なる主観的な改善ではありませんでした。それは**測定可能な削減**でした。

タスク1：エンドポイントに基づいたテストケースの追加

ユーザー要求：

「このエンドポイントのテストを追加し、検証を実行してください」

MCPルート

一般的なパターン：

ツール検索 → ツール選択 → スキーマ読み込み → フィールド推測 → 書き込み → エラー → 再試行 → 書き込み → エラー → 再試行 → 成功 → 実行ツール検索 → 実行

CLI + SKILLルート

一般的なパターン：

SKILLがガイド → エンドポイント読み込み → 生成 → 検証 → 書き込み → 読み戻し → 実行

結果

ツール呼び出しステップは約30%減少しました。無効なツール記述とエラー再試行によるトークン消費は約25%減少しました。

タスク2：構造化書き込み（プロセッサー、アサーション、エクストラクター）

ユーザー要求：

「このテストケースに、事後操作のアサーションと変数抽出を追加してください」

MCPルート

一般的なエラー：

各エラーは、1回のネットワーク往復 + 応答 + Agent処理を意味します。

CLI + SKILLルート

すべてのエラーはローカルで捕捉されます。フィールドエラーによるネットワーク再試行はありません。

結果

構造エラーによる繰り返しの呼び出しは約40%減少しました。

タスク3：作成後の連続操作

ユーザー要求：

「これらのエンドポイントを使ってテストシナリオを作成してください」

MCPルート

問題：実行慣性。

モデルは成功後すぐに続行する傾向があり、読み戻しステップをスキップします。

CLI + SKILLルート

agentHintsは明示的に読み戻しを提案します。Agentはそれに従います。

結果

Agentが積極的に読み戻し、検証し、検証を実行する割合が大幅に増加しました。次のステップに直接ジャンプすることによるエラー再試行は約21%減少しました。

要約：削減の源泉

真のコスト分析

重要な洞察：

製品のAgent有効化は、ツールが多ければ多いほど良いというものではない。

モデルが実際に消費するもの：

ツール数が増加した後、モデルが本当に消費するのはAPI呼び出し機能ではなく、コンテキスト、注意、パス選択、およびユーザーのトークンコスト間のトレードオフです。

エンジニアリングの原則

目標：

これらのコストをモデルのコンテキストから取り除き、エンジニアリングシステムが負担できる位置に戻すこと。

エンジニアリングシステムが複雑さを吸収します。モデルは生成と判断に集中します。

これらの数字が意味するもの

これらの数字は、より具体的な問題を説明しています：

CLI + SKILLは単なるアーキテクチャの優雅さではありません。それは測定可能な効率です。

次は何でしょう

数値でアプローチが検証されたので、実際に動作を見てみましょう。

パート7、PRDからテストループまで：完全なAgentワークフローでは、実際の例を見ていきます。あるチームが「注文払い戻し」のPRDを持っており、AgentがCLI + SKILLを使用してOpenAPIを生成し、テストを作成し、検証します。

重要なポイント

• ツール呼び出しステップが約30%減少
• 記述と再試行によるトークンの無駄が約25%減少
• 構造エラーの再試行が約40%減少
• 読み戻しをスキップすることによるジャンプエラーが約21%減少
• 削減の源泉は、ガイド付き発見、ローカル検証、実行可能なヒントにある
• 複雑さがコンテキストからエンジニアリングシステムへ移行

Apidogをダウンロードして、一つのワークスペースでAPIの設計、モック、テスト、ドキュメント化を行いましょう。 コマンドラインAPIテスト、CI自動化、AI Agentワークフローに関するApidog CLIの詳細についてはこちらをご覧ください。