Cache Prompt GPT-6: Diskon 90% untuk Pembacaan Cache dan Cara Benar-benar Memanfaatkannya

Caching prompt GPT-6: diskon 90% untuk pembacaan input yang di-cache, tingkat hit lebih tinggi secara default, upaya penalaran dan perubahan alat yang aman terhadap cache, breakpoint eksplisit, dan cara menguji tingkat hit Anda di CI.

Ashley Goolam

Ashley Goolam

2 November 2026

Cache Prompt GPT-6: Diskon 90% untuk Pembacaan Cache dan Cara Benar-benar Memanfaatkannya

Apidog untuk Perusahaan

Penerapan On-Premises

SSO & RBAC

Sesuai SOC 2

Jelajahi Apidog Enterprise

Setiap loop agen yang Anda jalankan mengirim ulang pembukaan yang sama. System prompt, definisi tool, spesifikasi OpenAPI, konvensi repo. Model sudah melihat prefiks itu ratusan kali hari ini, dan Anda membayar harga input penuh untuknya setiap kali.

Dalam skala besar, tagihan itu menjadi besar. OpenAI menyebut peneliti median mereka sendiri menghabiskan lebih dari $600 sehari untuk agen coding, dan persentil ke-90 menghabiskan $7.000 sehari. Mereka adalah orang-orang yang menjalankan alat internal satu lab, bukan API produksi yang melayani pelanggan.

Bersamaan dengan GPT-6 Sol dan GPT-6 Luna pada 22 September 2026, OpenAI merilis prompt caching yang menyasar tepat hal ini. Pembacaan input yang di-cache mendapat diskon 90%, hit rate lebih tinggi secara default, dua perubahan yang paling umum merusak cache kini tidak lagi merusaknya, Anda dapat menempatkan breakpoint eksplisit, dan kini ada Prompt Caching Dashboard plus alat diagnostik untuk melihat apa yang sebenarnya terjadi. GitHub, yang menjalankannya di produksi, melaporkan lebih dari 50% lebih sedikit token prompt yang perlu diproses ulang di miliaran permintaan.

button

Panduan ini membahas apa yang berubah, berapa nilai diskonnya dalam uang nyata, bagaimana menyusun prompt agar cache benar-benar kena, dan bagaimana menguji bahwa cache tetap kena setelah seseorang merombak system prompt Anda.

Apa yang dirilis

Perubahan Artinya bagi kode Anda
Diskon 90% untuk pembacaan input yang di-cache Prefiks yang berulang ditagih sepersepuluh dari tarif input
Hit rate lebih tinggi secara default Integrasi yang sudah ada mendapat sebagiannya tanpa perubahan kode
Mengubah reasoning effort tidak lagi merusak cache Anda dapat menaikkan dari low ke max di tengah sesi dan menjaga prefiks tetap hangat
Mengubah ketersediaan tool tidak lagi merusak cache Menambah atau menghapus tool tanpa membayar prefiks yang dingin
Breakpoint eksplisit Anda yang menentukan di mana prefiks yang di-cache berakhir, bukan menebak
Prompt Caching Dashboard dan alat diagnostik Hit rate menjadi sesuatu yang Anda ukur, bukan sesuatu yang Anda asumsikan

Tiga yang pertama paling penting untuk agen. Yang terakhir paling penting bagi engineer yang harus menjelaskan tagihan bulan lalu.

Hitungannya

Prompt caching hanya menyentuh token input. Harga output tidak berubah, jadi agen yang menulis jawaban panjang dari prompt pendek hampir tidak akan merasakannya. Agen yang membaca konteks besar yang stabil dan mengeluarkan kesimpulan singkat akan merasakan perbedaan besar.

Berikut efek diskon terhadap tarif yang dipublikasikan untuk kedua model baru:

Model Input per 1M Pembacaan cache per 1M Output per 1M Konteks
GPT-6 Sol (gpt-6-sol) $2.00 $0.20 $10.00 872k
GPT-6 Luna (gpt-6-luna) $0.10 $0.01 $0.50 1M

Kolom pembacaan cache adalah diskon 90% yang diterapkan pada tarif input yang dipublikasikan. Pastikan terhadap halaman harga yang live sebelum Anda menyusun anggaran berdasarkan ini.

Sekarang beban kerja yang konkret. Katakanlah Anda menjalankan agen code-review: 40.000 token prefiks stabil (system prompt, skema tool, dokumen OpenAPI layanan, konvensi API Anda) plus sekitar 2.000 token diff per eksekusi, 500 eksekusi sehari.

Sol, tanpa cache hit Sol, prefiks di-cache Luna, tanpa cache hit Luna, prefiks di-cache
Token prefiks per hari 20M dengan $2.00 = $40.00 20M dengan $0.20 = $4.00 20M dengan $0.10 = $2.00 20M dengan $0.01 = $0.20
Token segar per hari 1M dengan $2.00 = $2.00 1M dengan $2.00 = $2.00 1M dengan $0.10 = $0.10 1M dengan $0.10 = $0.10
Biaya input harian $42.00 $6.00 $2.10 $0.30

Itu sekitar 86% lebih murah dari tagihan input pada Sol untuk beban kerja yang bentuknya sama sekali tidak berubah. Satu-satunya hal yang berubah adalah apakah prefiks tetap identik byte demi byte antar panggilan.

Layak dibandingkan: Claude Opus 5.5 mencantumkan pembacaan cache seharga $0.20 per juta terhadap input $4.00, dengan cache write seharga $5.00 per juta. Harga pembacaannya berada di tempat yang sama dengan Sol, dan Anthropic mengenakan premi eksplisit untuk menulis cache. Peluncuran OpenAI tidak menyebutkan tarif cache write untuk Sol atau Luna, yang merupakan salah satu pertanyaan terbuka di akhir artikel ini. Jika Anda membandingkan seluruh tagihan alih-alih angka tunggal, rincian perang harga model September 2026 kami menempatkan ketiga peluncuran dalam satu tabel.

Mengapa cache miss biasanya salah Anda sendiri

Prompt caching mencocokkan berdasarkan prefiks. Cache dikunci pada rentetan token di awal permintaan Anda, jadi byte pertama yang berbeda dari panggilan sebelumnya membatalkan semua yang setelahnya. Satu karakter di tempat yang salah membuat Anda kehilangan diskon 40.000 token itu seluruhnya. Pelaku klasiknya, dalam urutan kasar seberapa sering muncul di kode nyata:

Dua hal lagi dulu ada dalam daftar itu dan sekarang tidak. Mengubah reasoning effort tidak lagi merusak cache, jadi agen yang berjalan pada low di giliran mudah dan naik ke max di giliran sulit tetap menjaga prefiks hangatnya selama eskalasi. Mengubah ketersediaan tool juga tidak lagi merusaknya, jadi membatasi tool berbahaya di balik pemeriksaan izin tidak lagi memaksa pembacaan dingin atas semua yang di atasnya. Kedua pola itu sangat umum di framework agen, dan sampai sekarang keduanya diam-diam menihilkan cache tepat pada giliran yang paling mahal.

Susun prompt: yang stabil di depan, yang volatil di belakang

Disiplin ini bertahan melewati setiap perubahan harga di masa depan: urutkan konteks Anda berdasarkan seberapa sering ia berubah, yang paling stabil di atas.

  1. Instruksi system atau developer yang identik untuk setiap pengguna.
  2. Skema tool dan function, diserialkan dalam urutan tetap.
  3. Materi referensi bersama yang panjang: dokumen OpenAPI, style guide, skema database.
  4. Konteks per-tenant atau per-proyek yang jarang berubah.
  5. Potongan hasil retrieval, yang berubah per kueri.
  6. Giliran pengguna dan apa pun yang mengandung jam.

Lapisan satu sampai tiga adalah cache Anda. Jika timestamp harus ada di prompt, letakkan di giliran pengguna, bukan di pesan sistem. Jika daftar tool Anda dirakit secara dinamis, urutkan dan bekukan urutan kunci JSON agar dua proses menyerialkannya secara identik.

from openai import OpenAI

client = OpenAI()

STATIC_PREFIX = [
    {"role": "developer", "content": SYSTEM_INSTRUCTIONS},   # never changes
    {"role": "developer", "content": OPENAPI_DOCUMENT},      # changes on deploy
]

response = client.responses.create(
    model="gpt-6-sol",
    reasoning={"effort": "low"},
    tools=SORTED_TOOL_SCHEMAS,
    prompt_cache_key="review-agent:v7",
    input=STATIC_PREFIX + [
        {"role": "user", "content": f"Review this diff:\n{diff}"},  # volatile, last
    ],
)

print(response.usage)

Breakpoint eksplisit dalam rilis ini memungkinkan Anda menandai di mana prefiks yang di-cache berakhir alih-alih mengandalkan platform untuk menyimpulkannya. Itu paling berguna ketika lapisan empat besar: blok per-tenant yang stabil untuk satu pelanggan dan berbeda untuk pelanggan berikutnya, di mana Anda ingin batasnya ditarik dengan sengaja alih-alih pada token mana pun yang dipilih heuristik.

Beri versi cache key-nya sendiri, seperti pada review-agent:v7 di atas. Ketika Anda mengubah prefiks dengan sengaja, naikkan versinya, dan Anda akan melihat periode dingin di metrik Anda alih-alih bertanya-tanya mengapa biaya melonjak.

Verifikasi, jangan berasumsi

Objek usage pada setiap respons memberi tahu Anda berapa banyak token input yang dilayani dari cache. Bacalah, catat di log, dan pasang alert untuknya. Bentuk kasarnya:

usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens

print(f"cache hit rate: {cached / total_in:.0%}  billed fresh: {total_in - cached}")

Nama field dalam cuplikan di atas berasal dari bentuk API OpenAI saat ini, bukan dari pengumuman peluncuran, jadi periksa terhadap referensinya sebelum Anda merilis. Prinsipnya tidak berubah: respons memberi tahu Anda kebenarannya, jadi taruh angka itu di dashboard.

Prompt Caching Dashboard dan alat diagnostik yang baru mencakup tampilan tingkat fleet, di mana Anda akan melihat pola yang dilaporkan GitHub: lebih dari 50% token prompt tidak lagi perlu diproses ulang di miliaran permintaan. Itu pengukuran tingkat platform, dan satu-satunya cara mengetahui angka Anda sendiri adalah dengan mengukurnya.

Mode kegagalannya sunyi. Tidak ada yang error ketika cache berhenti kena. Seorang rekan menambahkan request ID ke system prompt untuk debugging, prefiks menjadi dingin, dan satu-satunya sinyal adalah garis yang lambat naik pada tagihan tiga minggu kemudian.

Itu menjadikannya regression test, bukan masalah monitoring. Perlakukan endpoint model seperti API lain yang Anda andalkan: simpan permintaan di Apidog, pastikan bahwa usage.input_tokens_details.cached_tokens melewati batas minimum pada panggilan kedua dalam sebuah skenario, dan jalankan sesuai jadwal di CI. Dua panggilan berurutan, satu untuk menghangatkan dan satu untuk memastikan, adalah keseluruhan tesnya, dan refactor prompt yang mematikan cache akan gagal di pull request alih-alih di tagihan.

Catatan kaki tentang latensi

Caching memangkas pekerjaan yang dilakukan sebelum token pertama, jadi biasanya membantu time to first token sekaligus biaya. Jangan berharap ini menyelamatkan mode reasoning.

Artificial Analysis, pihak ketiga, mengukur time to first token pada 102,15 detik untuk GPT-6 Sol dan 124,23 detik untuk GPT-6 Luna pada varian reasoning "max" mereka. Itu bukan angka yang akan Anda lihat pada effort low, dan itu bukan angka dari vendor, jadi perlakukan sebagai indikasi arah. Intinya tetap sama: tidak ada diskon caching yang mengubah anggaran berpikir dua menit menjadi interaktif. Ukur latensi per level effort sebelum Anda menjanjikan waktu respons. Panduan API GPT-6 Astra kami membahas level effort lebih detail.

Apa yang tidak dijawab oleh peluncuran ini

Ada empat hal yang layak dikonfirmasi sebelum Anda mengunci desain pada ini:

Tidak satu pun menghambat pekerjaan penyusunan tata letak. Urutan stabil-di-depan, cache key berversi, dan assertion pada cached tokens tetap menguntungkan dalam jawaban apa pun.

Versi singkatnya

Urutkan prompt Anda berdasarkan volatilitas dan jauhkan jam dari pesan sistem. Beri versi cache key agar perubahan yang disengaja terlihat. Baca cached_tokens pada setiap respons dan pasang batas minimum untuknya di CI. Naikkan reasoning effort dan aktif-matikan tool dengan bebas sekarang, karena keduanya tidak lagi merugikan prefiks Anda. Untuk latar belakang mekanismenya sendiri, penjelasan kami tentang cara kerja prompt caching membahas dasarnya.

Harga model-model ini akan berubah lagi. Selalu begitu. Disiplin penyusunan prompt adalah bagian yang terus membayar setelah peluncuran berikutnya mereset setiap angka di tabel.

button

Mengembangkan API dengan Apidog

Apidog adalah alat pengembangan API yang membantu Anda mengembangkan API dengan lebih mudah dan efisien.