Setiap loop agen yang Anda jalankan mengirim ulang pembukaan yang sama. System prompt, definisi tool, spesifikasi OpenAPI, konvensi repo. Model sudah melihat prefiks itu ratusan kali hari ini, dan Anda membayar harga input penuh untuknya setiap kali.
Dalam skala besar, tagihan itu menjadi besar. OpenAI menyebut peneliti median mereka sendiri menghabiskan lebih dari $600 sehari untuk agen coding, dan persentil ke-90 menghabiskan $7.000 sehari. Mereka adalah orang-orang yang menjalankan alat internal satu lab, bukan API produksi yang melayani pelanggan.
Bersamaan dengan GPT-6 Sol dan GPT-6 Luna pada 22 September 2026, OpenAI merilis prompt caching yang menyasar tepat hal ini. Pembacaan input yang di-cache mendapat diskon 90%, hit rate lebih tinggi secara default, dua perubahan yang paling umum merusak cache kini tidak lagi merusaknya, Anda dapat menempatkan breakpoint eksplisit, dan kini ada Prompt Caching Dashboard plus alat diagnostik untuk melihat apa yang sebenarnya terjadi. GitHub, yang menjalankannya di produksi, melaporkan lebih dari 50% lebih sedikit token prompt yang perlu diproses ulang di miliaran permintaan.
Panduan ini membahas apa yang berubah, berapa nilai diskonnya dalam uang nyata, bagaimana menyusun prompt agar cache benar-benar kena, dan bagaimana menguji bahwa cache tetap kena setelah seseorang merombak system prompt Anda.
Apa yang dirilis
| Perubahan | Artinya bagi kode Anda |
|---|---|
| Diskon 90% untuk pembacaan input yang di-cache | Prefiks yang berulang ditagih sepersepuluh dari tarif input |
| Hit rate lebih tinggi secara default | Integrasi yang sudah ada mendapat sebagiannya tanpa perubahan kode |
| Mengubah reasoning effort tidak lagi merusak cache | Anda dapat menaikkan dari low ke max di tengah sesi dan menjaga prefiks tetap hangat |
| Mengubah ketersediaan tool tidak lagi merusak cache | Menambah atau menghapus tool tanpa membayar prefiks yang dingin |
| Breakpoint eksplisit | Anda yang menentukan di mana prefiks yang di-cache berakhir, bukan menebak |
| Prompt Caching Dashboard dan alat diagnostik | Hit rate menjadi sesuatu yang Anda ukur, bukan sesuatu yang Anda asumsikan |
Tiga yang pertama paling penting untuk agen. Yang terakhir paling penting bagi engineer yang harus menjelaskan tagihan bulan lalu.
Hitungannya
Prompt caching hanya menyentuh token input. Harga output tidak berubah, jadi agen yang menulis jawaban panjang dari prompt pendek hampir tidak akan merasakannya. Agen yang membaca konteks besar yang stabil dan mengeluarkan kesimpulan singkat akan merasakan perbedaan besar.
Berikut efek diskon terhadap tarif yang dipublikasikan untuk kedua model baru:
| Model | Input per 1M | Pembacaan cache per 1M | Output per 1M | Konteks |
|---|---|---|---|---|
GPT-6 Sol (gpt-6-sol) |
$2.00 | $0.20 | $10.00 | 872k |
GPT-6 Luna (gpt-6-luna) |
$0.10 | $0.01 | $0.50 | 1M |
Kolom pembacaan cache adalah diskon 90% yang diterapkan pada tarif input yang dipublikasikan. Pastikan terhadap halaman harga yang live sebelum Anda menyusun anggaran berdasarkan ini.
Sekarang beban kerja yang konkret. Katakanlah Anda menjalankan agen code-review: 40.000 token prefiks stabil (system prompt, skema tool, dokumen OpenAPI layanan, konvensi API Anda) plus sekitar 2.000 token diff per eksekusi, 500 eksekusi sehari.
| Sol, tanpa cache hit | Sol, prefiks di-cache | Luna, tanpa cache hit | Luna, prefiks di-cache | |
|---|---|---|---|---|
| Token prefiks per hari | 20M dengan $2.00 = $40.00 | 20M dengan $0.20 = $4.00 | 20M dengan $0.10 = $2.00 | 20M dengan $0.01 = $0.20 |
| Token segar per hari | 1M dengan $2.00 = $2.00 | 1M dengan $2.00 = $2.00 | 1M dengan $0.10 = $0.10 | 1M dengan $0.10 = $0.10 |
| Biaya input harian | $42.00 | $6.00 | $2.10 | $0.30 |
Itu sekitar 86% lebih murah dari tagihan input pada Sol untuk beban kerja yang bentuknya sama sekali tidak berubah. Satu-satunya hal yang berubah adalah apakah prefiks tetap identik byte demi byte antar panggilan.
Layak dibandingkan: Claude Opus 5.5 mencantumkan pembacaan cache seharga $0.20 per juta terhadap input $4.00, dengan cache write seharga $5.00 per juta. Harga pembacaannya berada di tempat yang sama dengan Sol, dan Anthropic mengenakan premi eksplisit untuk menulis cache. Peluncuran OpenAI tidak menyebutkan tarif cache write untuk Sol atau Luna, yang merupakan salah satu pertanyaan terbuka di akhir artikel ini. Jika Anda membandingkan seluruh tagihan alih-alih angka tunggal, rincian perang harga model September 2026 kami menempatkan ketiga peluncuran dalam satu tabel.
Mengapa cache miss biasanya salah Anda sendiri
Prompt caching mencocokkan berdasarkan prefiks. Cache dikunci pada rentetan token di awal permintaan Anda, jadi byte pertama yang berbeda dari panggilan sebelumnya membatalkan semua yang setelahnya. Satu karakter di tempat yang salah membuat Anda kehilangan diskon 40.000 token itu seluruhnya. Pelaku klasiknya, dalam urutan kasar seberapa sering muncul di kode nyata:
- Timestamp, request ID, atau trace ID yang disuntikkan ke system prompt.
- Nama pengguna, org ID, atau locale yang ditempatkan di atas instruksi statis alih-alih di bawahnya.
- Konteks hasil retrieval yang disisipkan sebelum definisi tool, sehingga setiap retrieval baru menggeser seluruh prefiks.
- Array tool yang dibangun dari set atau dictionary, sehingga urutan kunci JSON berubah-ubah antar proses.
- Contoh few-shot yang diputar per permintaan demi variasi.
Dua hal lagi dulu ada dalam daftar itu dan sekarang tidak. Mengubah reasoning effort tidak lagi merusak cache, jadi agen yang berjalan pada low di giliran mudah dan naik ke max di giliran sulit tetap menjaga prefiks hangatnya selama eskalasi. Mengubah ketersediaan tool juga tidak lagi merusaknya, jadi membatasi tool berbahaya di balik pemeriksaan izin tidak lagi memaksa pembacaan dingin atas semua yang di atasnya. Kedua pola itu sangat umum di framework agen, dan sampai sekarang keduanya diam-diam menihilkan cache tepat pada giliran yang paling mahal.
Susun prompt: yang stabil di depan, yang volatil di belakang
Disiplin ini bertahan melewati setiap perubahan harga di masa depan: urutkan konteks Anda berdasarkan seberapa sering ia berubah, yang paling stabil di atas.
- Instruksi system atau developer yang identik untuk setiap pengguna.
- Skema tool dan function, diserialkan dalam urutan tetap.
- Materi referensi bersama yang panjang: dokumen OpenAPI, style guide, skema database.
- Konteks per-tenant atau per-proyek yang jarang berubah.
- Potongan hasil retrieval, yang berubah per kueri.
- Giliran pengguna dan apa pun yang mengandung jam.
Lapisan satu sampai tiga adalah cache Anda. Jika timestamp harus ada di prompt, letakkan di giliran pengguna, bukan di pesan sistem. Jika daftar tool Anda dirakit secara dinamis, urutkan dan bekukan urutan kunci JSON agar dua proses menyerialkannya secara identik.
from openai import OpenAI
client = OpenAI()
STATIC_PREFIX = [
{"role": "developer", "content": SYSTEM_INSTRUCTIONS}, # never changes
{"role": "developer", "content": OPENAPI_DOCUMENT}, # changes on deploy
]
response = client.responses.create(
model="gpt-6-sol",
reasoning={"effort": "low"},
tools=SORTED_TOOL_SCHEMAS,
prompt_cache_key="review-agent:v7",
input=STATIC_PREFIX + [
{"role": "user", "content": f"Review this diff:\n{diff}"}, # volatile, last
],
)
print(response.usage)
Breakpoint eksplisit dalam rilis ini memungkinkan Anda menandai di mana prefiks yang di-cache berakhir alih-alih mengandalkan platform untuk menyimpulkannya. Itu paling berguna ketika lapisan empat besar: blok per-tenant yang stabil untuk satu pelanggan dan berbeda untuk pelanggan berikutnya, di mana Anda ingin batasnya ditarik dengan sengaja alih-alih pada token mana pun yang dipilih heuristik.
Beri versi cache key-nya sendiri, seperti pada review-agent:v7 di atas. Ketika Anda mengubah prefiks dengan sengaja, naikkan versinya, dan Anda akan melihat periode dingin di metrik Anda alih-alih bertanya-tanya mengapa biaya melonjak.
Verifikasi, jangan berasumsi
Objek usage pada setiap respons memberi tahu Anda berapa banyak token input yang dilayani dari cache. Bacalah, catat di log, dan pasang alert untuknya. Bentuk kasarnya:
usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens
print(f"cache hit rate: {cached / total_in:.0%} billed fresh: {total_in - cached}")
Nama field dalam cuplikan di atas berasal dari bentuk API OpenAI saat ini, bukan dari pengumuman peluncuran, jadi periksa terhadap referensinya sebelum Anda merilis. Prinsipnya tidak berubah: respons memberi tahu Anda kebenarannya, jadi taruh angka itu di dashboard.
Prompt Caching Dashboard dan alat diagnostik yang baru mencakup tampilan tingkat fleet, di mana Anda akan melihat pola yang dilaporkan GitHub: lebih dari 50% token prompt tidak lagi perlu diproses ulang di miliaran permintaan. Itu pengukuran tingkat platform, dan satu-satunya cara mengetahui angka Anda sendiri adalah dengan mengukurnya.
Mode kegagalannya sunyi. Tidak ada yang error ketika cache berhenti kena. Seorang rekan menambahkan request ID ke system prompt untuk debugging, prefiks menjadi dingin, dan satu-satunya sinyal adalah garis yang lambat naik pada tagihan tiga minggu kemudian.
Itu menjadikannya regression test, bukan masalah monitoring. Perlakukan endpoint model seperti API lain yang Anda andalkan: simpan permintaan di Apidog, pastikan bahwa usage.input_tokens_details.cached_tokens melewati batas minimum pada panggilan kedua dalam sebuah skenario, dan jalankan sesuai jadwal di CI. Dua panggilan berurutan, satu untuk menghangatkan dan satu untuk memastikan, adalah keseluruhan tesnya, dan refactor prompt yang mematikan cache akan gagal di pull request alih-alih di tagihan.
Catatan kaki tentang latensi
Caching memangkas pekerjaan yang dilakukan sebelum token pertama, jadi biasanya membantu time to first token sekaligus biaya. Jangan berharap ini menyelamatkan mode reasoning.
Artificial Analysis, pihak ketiga, mengukur time to first token pada 102,15 detik untuk GPT-6 Sol dan 124,23 detik untuk GPT-6 Luna pada varian reasoning "max" mereka. Itu bukan angka yang akan Anda lihat pada effort low, dan itu bukan angka dari vendor, jadi perlakukan sebagai indikasi arah. Intinya tetap sama: tidak ada diskon caching yang mengubah anggaran berpikir dua menit menjadi interaktif. Ukur latensi per level effort sebelum Anda menjanjikan waktu respons. Panduan API GPT-6 Astra kami membahas level effort lebih detail.
Apa yang tidak dijawab oleh peluncuran ini
Ada empat hal yang layak dikonfirmasi sebelum Anda mengunci desain pada ini:
- Apakah cache write dikenakan biaya pada Sol dan Luna, dan berapa tarifnya.
- Berapa lama prefiks yang di-cache bertahan tanpa trafik, dan apakah kontrol retensi dari era GPT-5.6 berlaku sama tanpa perubahan.
- Apakah tarif pembacaan cache GPT-6 Astra berpindah ke diskon 90% yang sama, karena materi peluncuran hanya mencakup model baru.
- Nama parameter yang tepat untuk breakpoint eksplisit, yang dijelaskan pengumuman berdasarkan kemampuan, bukan berdasarkan field.
Tidak satu pun menghambat pekerjaan penyusunan tata letak. Urutan stabil-di-depan, cache key berversi, dan assertion pada cached tokens tetap menguntungkan dalam jawaban apa pun.
Versi singkatnya
Urutkan prompt Anda berdasarkan volatilitas dan jauhkan jam dari pesan sistem. Beri versi cache key agar perubahan yang disengaja terlihat. Baca cached_tokens pada setiap respons dan pasang batas minimum untuknya di CI. Naikkan reasoning effort dan aktif-matikan tool dengan bebas sekarang, karena keduanya tidak lagi merugikan prefiks Anda. Untuk latar belakang mekanismenya sendiri, penjelasan kami tentang cara kerja prompt caching membahas dasarnya.
Harga model-model ini akan berubah lagi. Selalu begitu. Disiplin penyusunan prompt adalah bagian yang terus membayar setelah peluncuran berikutnya mereset setiap angka di tabel.
