GPT-6 prompt önbellekleme: Önbellek okumalarında %90 indirim ve önbelleği gerçekten nasıl isabet ettirirsiniz

GPT-6 istem önbellekleme: önbelleğe alınmış girdi okumalarında %90 indirim, varsayılan olarak daha yüksek isabet oranları, önbellek açısından güvenli akıl yürütme çabası ve araç değişiklikleri, açık kesme noktaları ve CI'da isabet oranınızı nasıl test edeceğiniz.

Ashley Goolam

Ashley Goolam

2 November 2026

GPT-6 prompt önbellekleme: Önbellek okumalarında %90 indirim ve önbelleği gerçekten nasıl isabet ettirirsiniz

Kurumsal İçin Apidog

Şirket İçi (On-Premises) Dağıtım

SSO ve RBAC

SOC 2 Uyumlu

Apidog Enterprise'ı Keşfedin

Çalıştırdığınız her ajan döngüsü aynı açılışı yeniden gönderir. Sistem istemi, araç tanımları, OpenAPI spesifikasyonu, depo kuralları. Model bu öneki bugün zaten yüz kez gördü ve siz her seferinde tam girdi fiyatını ödediniz.

Ölçekte bu fatura yüksek sesle kendini gösterir. OpenAI, kendi medyan araştırmacısının kodlama ajanlarına günde 600 dolardan fazla harcadığını, 90. yüzdelik dilimin ise günde 7.000 dolar harcadığını söylüyor. Bunlar müşterilere hizmet veren bir üretim API'si değil, bir laboratuvarın iç araçlarını çalıştıran kişiler.

OpenAI, 22 Eylül 2026'da GPT-6 Sol ve GPT-6 Luna'nın yanı sıra tam da bunu hedefleyen bir prompt önbelleğe alma sürümü yayınladı. Önbelleğe alınmış girdi okumaları %90 indirimli, isabet oranları varsayılan olarak daha yüksek, önbelleği bozan en yaygın değişikliklerden ikisi artık önbelleği bozmuyor, açık kesme noktaları yerleştirebiliyorsunuz ve artık gerçekte ne olduğunu görmek için bir Prompt Önbelleğe Alma Panosu ile bir tanılama aracı var. Bunu üretimde çalıştıran GitHub, milyarlarca istek genelinde taze işlenmesi gereken prompt token'larında %50'den fazla azalma bildiriyor.

button

Bu kılavuz nelerin değiştiğini, indirimin gerçek parada ne kadar değerli olduğunu, önbelleğin gerçekten isabet etmesi için bir prompt'un nasıl düzenleneceğini ve birileri sistem isteminizi yeniden düzenledikten sonra isabet etmeye devam ettiğinin nasıl test edileceğini ele alıyor.

Neler yayınlandı

Değişiklik Kodunuz için ne anlama gelir
Önbelleğe alınmış girdi okumalarında %90 indirim Tekrarlanan önek, girdi ücretinin onda biri fiyatından faturalandırılır
Varsayılan olarak daha yüksek isabet oranları Mevcut entegrasyonlar kod değişikliği olmadan bunun bir kısmını elde eder
Akıl yürütme çabasını değiştirmek artık önbelleği bozmuyor Oturum ortasında low'dan max'a yükseltebilir ve öneki sıcak tutabilirsiniz
Araç kullanılabilirliğini değiştirmek artık önbelleği bozmuyor Soğuk bir önek için ödeme yapmadan araç ekleyin veya kaldırın
Açık kesme noktaları Tahmin etmek yerine önbelleğe alınmış önekin nerede biteceğine siz karar verirsiniz
Prompt Önbelleğe Alma Panosu ve bir tanılama aracı İsabet oranı varsaydığınız bir şey değil, ölçtüğünüz bir şey haline gelir

İlk üçü ajanlar için en çok önem taşır. Sonuncusu ise geçen ayın faturasını açıklamak zorunda kalan mühendis için en çok önem taşır.

Aritmetik

Prompt önbelleğe alma yalnızca girdi token'larına dokunur. Çıktı fiyatlandırması değişmez, bu yüzden kısa bir prompt'tan uzun yanıtlar yazan bir ajan bunu neredeyse fark etmez. Büyük ve sabit bir bağlam okuyup kısa bir karar üreten bir ajan ise çok fark eder.

İndirimin iki yeni model için yayınlanan fiyatlara etkisi şöyle:

Model 1M başına girdi 1M başına önbellek okuma 1M başına çıktı Bağlam
GPT-6 Sol (gpt-6-sol) $2.00 $0.20 $10.00 872k
GPT-6 Luna (gpt-6-luna) $0.10 $0.01 $0.50 1M

Önbellek okuma sütunu, yayınlanan girdi fiyatına uygulanan %90 indirimdir. Bütçenizi buna dayandırmadan önce canlı fiyatlandırma sayfasından doğrulayın.

Şimdi somut bir iş yükü. Bir kod inceleme ajanı çalıştırdığınızı varsayalım: 40.000 token sabit önek (sistem istemi, araç şemaları, servisin OpenAPI belgesi, API kurallarınız) artı çalıştırma başına yaklaşık 2.000 token diff, günde 500 çalıştırma.

Sol, önbellek isabeti yok Sol, önek önbellekte Luna, önbellek isabeti yok Luna, önek önbellekte
Günlük önek token'ı 20M $2.00 üzerinden = $40.00 20M $0.20 üzerinden = $4.00 20M $0.10 üzerinden = $2.00 20M $0.01 üzerinden = $0.20
Günlük taze token 1M $2.00 üzerinden = $2.00 1M $2.00 üzerinden = $2.00 1M $0.10 üzerinden = $0.10 1M $0.10 üzerinden = $0.10
Günlük girdi maliyeti $42.00 $6.00 $2.10 $0.30

Bu, şekli hiç değişmeyen bir iş yükü için Sol'da girdi faturasından kabaca %86 indirim demektir. Değişen tek şey, önekin çağrılar arasında bayt bayt aynı kalıp kalmadığıdır.

Yanına koymaya değer: Claude Opus 5.5, önbellek okumalarını milyon başına $0.20 olarak listeliyor; girdi $4.00, önbellek yazmaları ise milyon başına $5.00. Okuma fiyatı Sol'unkinin aynısı noktaya denk geliyor ve Anthropic önbelleği yazmak için açık bir prim alıyor. OpenAI'nın lansmanı Sol veya Luna için bir önbellek yazma oranı belirtmiyor; bu da bu yazının sonundaki açık sorulardan biri. Tek tek sayılar yerine tüm faturaları karşılaştırıyorsanız, Eylül 2026 model fiyat savaşı dökümümüz üç lansmanı da tek bir tabloda topluyor.

Önbellek ıskaları neden genellikle kendi hatanızdı

Prompt önbelleğe alma bir önek üzerinde eşleşir. Önbellek, isteğinizdeki baştaki token dizisine göre anahtarlanır; bu nedenle önceki çağrıdan farklı olan ilk bayt, sonrasındaki her şeyi geçersiz kılar. Yanlış yerdeki tek bir karakter size 40.000 token'lık indirimin tamamına mal olur. Gerçek kodda görülme sıklığına göre kabaca sıralanmış klasik suçlular:

Eskiden bu listede olan iki şey artık listede değil. Akıl yürütme çabasını değiştirmek artık önbelleği bozmuyor; böylece kolay turlarda low çalışan ve zor olanda max'a yükselen bir ajan, yükseltme boyunca sıcak önekini korur. Araç kullanılabilirliğini değiştirmek de artık onu bozmuyor; böylece tehlikeli bir aracı bir izin kontrolünün arkasına koymak, artık onun üstündeki her şeyin soğuk okunmasını zorlamıyor. Bu iki kalıp ajan çerçevelerinde son derece yaygındır ve şimdiye kadar tam da en pahalıya mal olan turlarda önbelleği sessizce sıfırlıyordu.

Prompt'u önce sabit, en son değişken olacak şekilde düzenleyin

Bu disiplin gelecekteki her fiyatlandırma değişikliğinden sağ çıkar: bağlamınızı ne sıklıkla değiştiğine göre sıralayın, en sabit en üstte.

  1. Her kullanıcı için aynı olan sistem veya geliştirici talimatları.
  2. Sabit bir sırada serileştirilmiş araç ve fonksiyon şemaları.
  3. Uzun paylaşılan referans materyali: OpenAPI belgesi, stil kılavuzu, veritabanı şeması.
  4. Nadiren değişen kiracı başına veya proje başına bağlam.
  5. Sorgu başına değişen getirilmiş parçalar.
  6. Kullanıcı turu ve içinde saat olan her şey.

Bir ile üç arası katmanlar sizin önbelleğinizdir. Eğer bir zaman damgasının prompt'ta olması gerekiyorsa, onu sistem mesajına değil kullanıcı turuna koyun. Araç listeniz dinamik olarak birleştiriliyorsa, sıralayın ve iki sürecin de aynı şekilde serileştirmesi için JSON anahtar sırasını sabitleyin.

from openai import OpenAI

client = OpenAI()

STATIC_PREFIX = [
    {"role": "developer", "content": SYSTEM_INSTRUCTIONS},   # never changes
    {"role": "developer", "content": OPENAPI_DOCUMENT},      # changes on deploy
]

response = client.responses.create(
    model="gpt-6-sol",
    reasoning={"effort": "low"},
    tools=SORTED_TOOL_SCHEMAS,
    prompt_cache_key="review-agent:v7",
    input=STATIC_PREFIX + [
        {"role": "user", "content": f"Review this diff:\n{diff}"},  # volatile, last
    ],
)

print(response.usage)

Bu sürümdeki açık kesme noktaları, platformun bunu çıkarsamasına güvenmek yerine önbelleğe alınmış önekin nerede bittiğini işaretlemenizi sağlar. Bu en çok dördüncü katman büyük olduğunda işe yarar: bir müşteri için sabit, bir sonraki için farklı olan kiracı başına bir blok; burada sınırın sezgisel yöntemin seçtiği herhangi bir token'da değil, kasıtlı olarak çizilmesini istersiniz.

Önbellek anahtarının kendisini sürümleyin, yukarıdaki review-agent:v7 gibi. Öneki bilerek değiştirdiğinizde sürümü yükseltin; o zaman maliyetler neden fırladı diye merak etmek yerine soğuk dönemi metriklerinizde görürsünüz.

Doğrulayın, varsaymayın

Her yanıttaki usage nesnesi, kaç girdi token'ının önbellekten sunulduğunu söyler. Okuyun, günlüğe kaydedin ve üzerine alarm kurun. Kabaca şöyle:

usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens

print(f"cache hit rate: {cached / total_in:.0%}  billed fresh: {total_in - cached}")

Yukarıdaki parçacıklardaki alan adları, lansman duyurusundan değil mevcut OpenAI API yapılarından geliyor; bu yüzden yayına almadan önce bunları referansa göre kontrol edin. İlke değişmez: yanıt size gerçeği söyler, o halde o sayıyı bir panoya koyun.

Yeni Prompt Önbelleğe Alma Panosu ve tanılama aracı, GitHub'ın bildirdiği örüntüyü fark edeceğiniz filo düzeyindeki görünümü kapsar: milyarlarca istek genelinde prompt token'larının %50'den fazlasının artık taze işlemeye ihtiyaç duymaması. Bu platform çapında bir ölçümdür ve kendi rakamınızı bilmenin tek yolu onu ölçmektir.

Arıza modu sessizdir. Önbellek isabet etmeyi bıraktığında hiçbir şey hata vermez. Bir ekip arkadaşı hata ayıklama için sistem istemine bir istek kimliği ekler, önek soğur ve tek sinyal üç hafta sonra faturadaki yavaş bir satırdır.

Bu da bunu bir izleme sorunu değil, bir regresyon testi haline getirir. Model uç noktasına, bağlı olduğunuz diğer API'ler gibi davranın: isteği Apidog içinde kaydedin, bir senaryodaki ikinci çağrıda usage.input_tokens_details.cached_tokens değerinin bir taban değeri aştığını doğrulayın ve CI'da bir zamanlamayla çalıştırın. Sırayla iki çağrı, biri ısıtmak ve biri doğrulamak için, tüm test budur; önbelleği öldüren bir prompt yeniden düzenlemesi o zaman faturada değil, pull request'te başarısız olur.

Gecikme dipnotu

Önbelleğe alma, ilk token'dan önce yapılan işi azaltır; bu yüzden genellikle maliyetin yanı sıra ilk token'a kadar geçen süreye de yardımcı olur. Ancak akıl yürütme modlarını kurtarmasını beklemeyin.

Üçüncü bir taraf olan Artificial Analysis, "max" akıl yürütme varyantlarında GPT-6 Sol için ilk token'a kadar geçen süreyi 102.15 saniye ve GPT-6 Luna için 124.23 saniye olarak ölçüyor. Bunlar low çabada göreceğiniz sayılar değil ve satıcı rakamları da değil, bu yüzden onları yön gösterici olarak ele alın. Sonuç her iki durumda da geçerli: hiçbir önbelleğe alma indirimi iki dakikalık bir düşünme bütçesini etkileşimli hale getirmez. Bir yanıt süresi vaat etmeden önce gecikmeyi çaba düzeyine göre ölçün. GPT-6 Astra API kılavuzumuz çaba düzeylerini daha ayrıntılı ele alıyor.

Lansmanın yanıtlamadığı şeyler

Bir tasarımı buna bağlamadan önce doğrulamaya değer dört şey var:

Hiçbiri düzen çalışmasını engellemez. Önce-sabit sıralama, sürümlenmiş bir önbellek anahtarı ve önbelleğe alınmış token'lar üzerinde bir doğrulama, hangi yanıt olursa olsun karşılığını verir.

Kısa versiyon

Prompt'unuzu değişkenliğe göre sıralayın ve saati sistem mesajının dışında tutun. Önbellek anahtarını sürümleyin ki kasıtlı değişiklikler görünür olsun. Her yanıtta cached_tokens değerini okuyun ve CI'da altına bir taban koyun. Artık akıl yürütme çabasını yükseltmek ve araçları serbestçe açıp kapatmak mümkün, çünkü ikisi de size öneke mal olmuyor. Mekanizmanın kendisi hakkında arka plan için, prompt önbelleğe almanın nasıl çalıştığına dair açıklayıcımız temelleri ele alıyor.

Bu modellerin fiyatlandırması yine değişecek. Her zaman değişir. Bir sonraki lansman tablodaki her sayıyı sıfırladıktan sonra ödeme yapmaya devam eden kısım, prompt düzeni disiplinidir.

button

API Tasarım-Öncelikli Yaklaşımı Apidog'da Uygulayın

API'leri oluşturmanın ve kullanmanın daha kolay yolunu keşfedin