実行するすべてのエージェントループは、同じ冒頭を毎回送信します。システムプロンプト、ツール定義、OpenAPI仕様、リポジトリの規約。モデルは今日すでにそのプレフィックスを何百回も見ており、あなたは毎回それに対して満額の入力料金を支払っています。
規模が大きくなると、その請求額は無視できなくなります。OpenAIによれば、同社の中央値の研究者はコーディングエージェントに1日600ドル以上を費やし、90パーセンタイルでは1日7,000ドルを費やしています。これは1つのラボの内部ツールを動かしている人々であり、顧客にサービスを提供する本番APIではありません。
2026年9月22日、GPT-6 SolとGPT-6 Lunaとともに、OpenAIはまさにこの問題を狙ったプロンプトキャッシュのリリースを出荷しました。キャッシュされた入力の読み取りは90%割引され、ヒット率はデフォルトで高くなり、最も一般的なキャッシュ破壊変更のうち2つはもはやキャッシュを破壊せず、明示的なブレークポイントを配置でき、さらに実際に何が起きているかを確認するためのPrompt Caching Dashboardと診断ツールが追加されました。これを本番環境で運用しているGitHubは、数十億のリクエストにわたって、新たに処理が必要なプロンプトトークンが50%以上減少したと報告しています。
このガイドでは、何が変わったのか、割引が実際の金額でどれほどの価値があるのか、キャッシュが実際にヒットするようにプロンプトをどう配置するか、そして誰かがシステムプロンプトをリファクタリングした後もヒットし続けるかをどうテストするかを扱います。
出荷された内容
| 変更 | コードにとっての意味 |
|---|---|
| キャッシュされた入力読み取りの90%割引 | 繰り返されるプレフィックスは入力レートの10分の1で請求される |
| デフォルトでより高いヒット率 | 既存の統合はコード変更なしでその一部を得られる |
| 推論エフォートの変更がキャッシュを壊さなくなる | セッション途中でlowからmaxへ引き上げてもプレフィックスをウォームに保てる |
| ツール可用性の変更がキャッシュを壊さなくなる | コールドプレフィックスのコストを払わずにツールを追加・削除できる |
| 明示的なブレークポイント | 推測ではなく、キャッシュされるプレフィックスがどこで終わるかを自分で決められる |
| Prompt Caching Dashboardと診断ツール | ヒット率は仮定するものではなく、測定するものになる |
最初の3つはエージェントにとって最も重要です。最後の1つは、先月の請求書を説明しなければならないエンジニアにとって最も重要です。
計算
プロンプトキャッシュは入力トークンにのみ影響します。出力価格は変動しないため、短いプロンプトから長い回答を書くエージェントはほとんど気づかないでしょう。大きな安定したコンテキストを読み、短い判定を出力するエージェントは大きな違いに気づくでしょう。
割引が2つの新モデルの公開料金に与える影響は次のとおりです:
| モデル | 100万あたりの入力 | 100万あたりのキャッシュ読み取り | 100万あたりの出力 | コンテキスト |
|---|---|---|---|---|
GPT-6 Sol (gpt-6-sol) |
$2.00 | $0.20 | $10.00 | 872k |
GPT-6 Luna (gpt-6-luna) |
$0.10 | $0.01 | $0.50 | 1M |
キャッシュ読み取り列は、公開入力レートに90%割引を適用したものです。予算をこれに基づいて組む前に、実際の料金ページで確認してください。
では具体的なワークロードを考えます。コードレビューエージェントを実行するとします: 40,000トークンの安定したプレフィックス(システムプロンプト、ツールスキーマ、サービスのOpenAPIドキュメント、API規約)に加えて、実行ごとに約2,000トークンの差分、1日500回の実行です。
| Sol、キャッシュヒットなし | Sol、プレフィックスキャッシュあり | Luna、キャッシュヒットなし | Luna、プレフィックスキャッシュあり | |
|---|---|---|---|---|
| 1日あたりのプレフィックストークン | 20M × $2.00 = $40.00 | 20M × $0.20 = $4.00 | 20M × $0.10 = $2.00 | 20M × $0.01 = $0.20 |
| 1日あたりの新規トークン | 1M × $2.00 = $2.00 | 1M × $2.00 = $2.00 | 1M × $0.10 = $0.10 | 1M × $0.10 = $0.10 |
| 1日あたりの入力コスト | $42.00 | $6.00 | $2.10 | $0.30 |
これは、形がまったく変わっていないワークロードにおいて、Solの入力請求額がおよそ86%オフになるということです。変わったのは、呼び出し間でプレフィックスがバイト単位で同一に保たれたかどうかだけです。
これと並べて見る価値があります: Claude Opus 5.5は、入力$4.00に対してキャッシュ読み取りを100万あたり$0.20と記載しており、キャッシュ書き込みは100万あたり$5.00です。読み取り価格はSolと同じ水準に落ち着き、Anthropicはキャッシュ書き込みに対して明示的なプレミアムを課しています。OpenAIのリリースではSolまたはLunaのキャッシュ書き込みレートが示されておらず、これはこの記事の最後にある未解決の疑問の1つです。単一の数値ではなく請求書全体を比較しているなら、私たちの2026年9月のモデル価格戦争の内訳が3つのリリースすべてを1つの表にまとめています。
キャッシュミスはたいてい自分のせいだった理由
プロンプトキャッシュはプレフィックスで照合します。キャッシュはリクエストの先頭からのトークン列をキーにするため、前回の呼び出しと異なる最初のバイトが、それ以降のすべてを無効にします。間違った場所にある1文字が、40,000トークンの割引全体を台無しにします。よくある原因を、実際のコードで現れる頻度の概算順に挙げると:
- システムプロンプトに注入されたタイムスタンプ、リクエストID、またはトレースID。
- 静的な指示の下ではなく上に配置されたユーザー名、組織ID、またはロケール。
- ツール定義の前に挿入された取得済みコンテキスト。そのため、新しい取得のたびにプレフィックス全体がずれる。
- セットまたは辞書から構築されたツール配列。そのため、プロセス間でJSONキーの順序が入れ替わる。
- 多様性のためにリクエストごとにローテーションされるFew-shot例。
さらに2つが以前はこのリストにあり、今は外れています。推論エフォートの変更はもはやキャッシュを壊さないため、簡単なターンではlowで実行し、難しいターンではmaxに引き上げるエージェントは、引き上げ中もウォームなプレフィックスを維持します。ツール可用性の変更も同様に壊さないため、危険なツールを権限チェックの背後に置いても、その上のすべてがコールド読み取りになることはもうありません。これら2つのパターンはエージェントフレームワークで非常に一般的であり、これまでは最もコストがかかるまさにそのターンで、静かにキャッシュをゼロにしていました。
プロンプトは安定しているものを先に、変動するものを最後に配置する
この規律は将来のあらゆる価格変更にも耐えます: コンテキストを変化の頻度で並べ、最も安定したものを上にします。
- すべてのユーザーで同一のシステムまたは開発者向け指示。
- 固定順序でシリアライズされたツールおよび関数スキーマ。
- 長く共有される参照資料: OpenAPIドキュメント、スタイルガイド、データベーススキーマ。
- めったに変わらないテナント単位またはプロジェクト単位のコンテキスト。
- クエリごとに変わる取得済みチャンク。
- ユーザーターンと、時計を含むあらゆるもの。
レイヤー1から3がキャッシュです。タイムスタンプをどうしてもプロンプトに入れなければならない場合は、システムメッセージではなくユーザーターンに入れてください。ツールリストを動的に組み立てる場合は、並べ替えてJSONキー順を固定し、2つのプロセスが同一にシリアライズするようにしてください。
from openai import OpenAI
client = OpenAI()
STATIC_PREFIX = [
{"role": "developer", "content": SYSTEM_INSTRUCTIONS}, # never changes
{"role": "developer", "content": OPENAPI_DOCUMENT}, # changes on deploy
]
response = client.responses.create(
model="gpt-6-sol",
reasoning={"effort": "low"},
tools=SORTED_TOOL_SCHEMAS,
prompt_cache_key="review-agent:v7",
input=STATIC_PREFIX + [
{"role": "user", "content": f"Review this diff:\n{diff}"}, # volatile, last
],
)
print(response.usage)
このリリースの明示的なブレークポイントにより、プラットフォームに推論させるのではなく、そのキャッシュされたプレフィックスがどこで終わるかをマークできます。これはレイヤー4が大きい場合に最も有用です: ある顧客には安定していて次の顧客には異なるテナント単位のブロックで、ヒューリスティックが選んだ任意のトークンではなく、境界を意図的に引きたい場合です。
上記のreview-agent:v7のように、キャッシュキー自体をバージョン管理してください。意図的にプレフィックスを変更するときはバージョンを上げると、コストが跳ね上がった理由を不思議に思う代わりに、メトリクスでコールド期間を確認できます。
検証せよ、仮定するな
すべてのレスポンスのusageオブジェクトは、何個の入力トークンがキャッシュから提供されたかを示します。それを読み、ログに記録し、アラートを設定してください。おおよその形は次のとおりです:
usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens
print(f"cache hit rate: {cached / total_in:.0%} billed fresh: {total_in - cached}")
上記のスニペットのフィールド名は、リリース発表ではなく現在のOpenAI APIの形に基づいています。出荷前にリファレンスで確認してください。原則は変わりません: レスポンスが真実を教えてくれるので、その数値をダッシュボードに載せてください。
新しいPrompt Caching Dashboardと診断ツールは、フリートレベルのビューをカバーしており、そこでGitHubが報告するパターンを確認できます: 数十億のリクエストにわたって、プロンプトトークンの50%以上が新たな処理を必要としなくなったというものです。これはプラットフォーム全体の測定値であり、自分の数値を知る唯一の方法はそれを測定することです。
障害モードはサイレントです。キャッシュがヒットしなくなっても何もエラーになりません。チームメイトがデバッグのためにシステムプロンプトにリクエストIDを追加し、プレフィックスがコールドになり、唯一のシグナルは、3週間後の請求書に現れる、じわじわと増えた1行だけです。
つまりこれは監視の問題ではなく、リグレッションテストです。依存する他のAPIと同じようにモデルエンドポイントを扱ってください: リクエストをApidogに保存し、シナリオ内の2回目の呼び出しでusage.input_tokens_details.cached_tokensが下限を超えることをアサートし、CIでスケジュール実行します。連続する2回の呼び出し、1回はウォーム用、1回はアサート用がテストのすべてであり、キャッシュを殺すプロンプトリファクタリングは、請求書ではなくプルリクエストで失敗するようになります。
レイテンシに関する脚注
キャッシュは最初のトークンの前に行われる作業を削減するため、通常はコストだけでなく最初のトークンまでの時間にも役立ちます。ただし、推論モードを救済することを期待しないでください。
第三者であるArtificial Analysisは、GPT-6 Solの「max」推論バリアントで最初のトークンまでの時間を102.15秒、GPT-6 Lunaで124.23秒と測定しています。これらはlowエフォートで目にする数値ではなく、ベンダーの数値でもないため、方向性を示すものとして扱ってください。いずれにせよ要点は変わりません: どのキャッシュ割引も、2分の思考予算をインタラクティブなものには変えません。応答時間を約束する前に、エフォートレベルごとにレイテンシを測定してください。私たちのGPT-6 Astra APIガイドでは、エフォートレベルをより詳しく扱っています。
今回のリリースが答えていないこと
設計をこれにコミットする前に確認する価値のある4つの点:
- SolとLunaでキャッシュ書き込みに料金がかかるかどうか、またそのレート。
- トラフィックがない状態でキャッシュされたプレフィックスがどれだけ存続するか、またGPT-5.6時代の保持制御が変更なく引き継がれるかどうか。
- GPT-6 Astraのキャッシュ読み取りレートが同じ90%割引に移行したかどうか。リリース資料は新モデルを対象にしているため。
- 明示的なブレークポイントの正確なパラメータ名。発表ではフィールドではなく機能によって説明されている。
どれも配置作業を妨げるものではありません。安定優先の順序、バージョン管理されたキャッシュキー、キャッシュされたトークンに対するアサーションは、どの答えであっても報われます。
短いまとめ
プロンプトを変動性で並べ、時計をシステムメッセージから排除してください。意図的な変更が見えるようにキャッシュキーをバージョン管理してください。すべてのレスポンスでcached_tokensを読み、CIでその下限を設定してください。推論エフォートを引き上げたりツールを自由に切り替えたりできるようになりました。どちらももはやプレフィックスのコストにならないためです。仕組み自体の背景については、プロンプトキャッシュの仕組みに関する私たちの解説が基本を扱っています。
これらのモデルの価格はまた動くでしょう。いつもそうです。プロンプト配置の規律は、次のリリースが表のすべての数値をリセットした後も報われ続ける部分です。
