GPT-6 Sol Gecikmesi: İlk Token Süresi 102 Saniye

gpt-6-astra modelini gpt-6-sol ile değiştirdiniz çünkü token fiyatı milyon başına 10 dolardan 2 dolara ve 50 dolardan 10 dolara düştü. Faturanız harika görünüyor. Sonra p95 yanıt süreniz iki dakikayı aşıyor, yük dengeleyiciniz ağ geçidi zaman aşımları döndürmeye başlıyor ve destek hattı sayfanın neden takıldığına dair sorularla dolup taşıyor.

Hiçbir şey bozuk değil. Sadece fiyatını değil, iş yükünün şeklini değiştirdiniz.

Artificial Analysis, GPT-6 Sol'u saniyede 115.2 çıktı token'ı ve 102.15 saniye ilk token'a kadar geçen süre ile ölçüyor. GPT-6 Luna ise saniyede 153.9 çıktı token'ı ve 124.23 saniye ilk token'a kadar geçen süre ile ölçülüyor. Bu iki sayı önemli uyarılar içeriyor ve bu makalenin ilk yarısını oluşturuyor. İkinci yarısı ise onlarla ne yapmanız gerektiği: kendi iş yükünüzde ilk token gecikmesini dürüstçe nasıl ölçeceğiniz ve 100 saniyelik bir modelin API'nizi çökertmesini önleyecek dört tasarım değişikliği.

İki gün içinde yapılan üç öncü lansmanın daha geniş bağlamı için, Eylül 2026 model fiyat savaşını inceleyebilirsiniz.

Bu sayı ve onu alıntılamanın yanlış olan her şeyi

Rakamlar sütunundan önce uyarı sütununu okuyun.

Bu sütun size üç şey söylüyor.

Bunlar OpenAI'nin değil, Artificial Analysis'in rakamlarıdır. OpenAI lansmanda fiyat, bağlam, erişilebilirlik ve bir dizi kıyaslama testi sonucu yayınladı. Okuduğumuz materyallerde bir gecikme süresi değeri yayınlamadı. Bu yüzden 102.15 saniye, üçüncü bir tarafın kendi ağı üzerinde kendi test sistemini çalıştırmasıyla elde edilen bir değerdir ve bunu bir teknik özellikten ziyade yönlendirici olarak ele almalısınız. Kendi belgelerinizde, burada işaretlediğimiz gibi işaretleyin.

"Maks" mantık varyantını tanımlıyorlar. Lansmanda her iki satıcının kıyaslama tablolarında çaba etiketleri (düşük, orta, yüksek, x-yüksek, maks) bolca yer alıyor. Maks, bu merdivenin en üstüdür ve mantık çabası, ilk token gecikmesi üzerinde en büyük etkiye sahip tek kaldıraçtır. En yavaş yapılandırmanın ölçümü, üretimde çalıştıracağınız yapılandırmanın bir ölçümü değildir.

Bunlar, tek bir sağlayıcının tek bir andaki uç noktasının ölçümleridir. Sunum kapasitesi, yönlendirme ve kuyruk derinliği değişir. Bir trafik yoğunluğu sırasında alınan lansman haftası rakamı, bir sabite bürünmüş en kötü durumdur.

Bu üç uyarının tamamından sağ çıkan yön, ve bu makalenin asıl noktası da bu yöndür. Ucuz model hızlı model değildir. Sol, token başına Astra'nın beşte biri, Luna ise Sol'un yirmide biri kadar maliyetlidir ve bu indirimlerin hiçbiri size daha hızlı bir ilk bayt kazandırmaz. Bu ölçüme göre, serideki en ucuz model başlaması en yavaş olanıydı.

"İlk token'a kadar geçen süre" ölçtüğünüz şey için yanlış bir isimdir

Mantık yürütmeyen bir modelde, ilk token'a kadar geçen süre kabaca ağ + kuyruk + ön doldurma süresidir. İstem uzunluğuyla ölçeklenir ve yüzlerce milisaniyede gerçekleşir.

Mantık yürütme modelinde ise aynı etiketi taşıyan farklı bir niceliktir. Model, istediğiniz herhangi bir şeyi yayınlamadan önce düşünme işlemini yapar, bu yüzden ilk görünür token'dan önceki boşluk, tüm mantık yürütme aşamasını içerir. Bu aşamanın istem uzunluğunuzla bir ilişkisi yoktur. Modelin problemi ne kadar zor bulduğuna dair bir ilişkisi vardır.

İki sonuç ortaya çıkar ve ikisi de üretimde can yakar.

Birincisi, hızlı bir token oranının sizi kurtarmadığıdır. Sol, başladığında saniyede 115.2 token yayınlar, bu hızlıdır. Ancak pek önemli değildir, çünkü neredeyse tüm gerçek süre ilk token'dan önce harcanır.

Üretim süresi, çıktı uzunluğunun saniyede 115.2 token'a bölünmesiyle elde edilir, bu nedenle bu tablo yeni bir ölçümden ziyade iki ölçülen değer üzerinde aritmetiktir. Yanıtlarınızı kısaltmak toplam süreyi neredeyse hiç değiştirmez. 2.000 token'lık uzun bir yanıtı 500 token'a düşürmek, iki dakikalık bir çağrıdan sadece on üç saniye tasarruf sağlar.

İkinci sonuç ise, yanıt uzunluğuna bağlı olarak sıralamanın değişmesidir. Luna daha hızlı token oranına ve daha yavaş bir başlangıca sahiptir. İki çizgiyi birbirine karşı çalıştırırsanız, yaklaşık 10.100 çıktı token'ında kesişirler: bunun altında, Sol daha yavaş üretmesine rağmen önce biter ve bunun üzerinde Luna'nın oranı nihayet daha uzun bekleme süresinin karşılığını verir. Kullanıcıya sunduğunuz neredeyse hiçbir şey 10.000 token'lık bir yanıt değildir, bu nedenle çoğu iş yükü için daha yavaş başlayan model, basitçe daha yavaş bir modeldir.

İlk ne bozulur

Hata nadiren model çağrısının kendisindedir. Her şey, hızlı bir API için boyutlandırılmış olan onun etrafındaki yapıda yatar.

Boşta kalma zaman aşımları. Yük dengeleyiciler, ters proxy'ler, API ağ geçitleri ve sunucusuz platformlar, bir bağlantının bayt akışı olmadan ne kadar süre kalabileceğini sınırlar. Bu varsayılanların çoğu iki dakikanın oldukça altındadır. Bir blog yazısında okuduğunuz bir sayıya, bu da dahil olmak üzere, güvenmeyin: gidin ve kendi yapılandırmanızı okuyun. Düzeltme genellikle nginx'te proxy_read_timeout gibi bir yönerge ve bunun önündeki her adımda, istemci SDK'sının kendi zaman aşımı da dahil olmak üzere, eşleşen ayardır.

Yeniden denemeler. 300 milisaniyede anlamlı olan bir yeniden deneme politikası, 100 saniyede tehlikelidir. Geri çekilme ile üç deneme artık beş dakikalık bir istek demektir ve yavaş bir dönemde bir yeniden deneme patlaması, zaten zorlanan uç noktaya daha fazla eşzamanlı iş yükü getirir. Deneme sayısını sınırlayın, bir devre kesici bulundurun ve her çağrıyı idempotent yapın, böylece bir yeniden deneme çift ücretlendirme veya çift yazma yapamaz.

İnsanların gözden kaçırdığı eşzamanlılık. Little Yasası'na göre, devam eden istek sayısı, varış oranı çarpı sistemdeki süreye eşittir. Saniyede bir istek ve 120 saniyelik bir çağrı için, sadece yetişebilmek adına 120 eşzamanlı devam eden isteğe ihtiyacınız vardır. Bu bağlantılar, her biri için iki dakika boyunca soketleri, iş parçacıklarını veya fonksiyon çağrılarını meşgul eder ve bunların hiçbiri token faturasına yansımaz. Çağrı başına ucuz olan bir model, tutulan kapasite saniye başına hala pahalı olabilir.

Kullanıcı arayüzü. Hiçbir yükleme çarkı 102 saniyeye dayanamaz. Eğer mantık yürütme aşaması senkronize istek yolunuzdaysa, düzeltme mimari bir sorundur, kozmetik değil.

Kendi iş yükünüzde bunu nasıl ölçersiniz

Satıcı ve üçüncü taraf rakamları başlangıç hipotezidir. Kendi isteminiz, bölgeniz, çaba ayarınız ve trafik deseniniz gerçek rakamı belirler.

Tek bir komutla taşıma katmanı görünümüyle başlayın:

curl -N -s -o /dev/null \
  -w 'dns=%{time_namelookup} connect=%{time_connect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
  https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-6-sol","input":"Summarise this OpenAPI operation.","stream":true}'

Sonra first_byte değerini şüpheyle okuyun. Akışlı bir uç noktada ilk baytlar genellikle bir akış açılış olayıdır, içerik token'ı değil, bu yüzden time_starttransfer sunucunun konuşmaya ne zaman başladığını ölçer, modelin ne zaman yanıt vermeye başladığını değil. Bu boşluk, tam da boyutlandırmaya çalıştığınız şeydir, bu yüzden basit bir test sistemi yanıltıcı bir sayı bildirir.

Önemli olan ölçüm, ilk içerik farkının zamanlamasıdır:

import time
from openai import OpenAI

client = OpenAI(timeout=600)

t0 = time.perf_counter()
first_content = None

with client.responses.stream(
    model="gpt-6-sol",
    input=PROMPT,
    reasoning={"effort": "low"},
) as stream:
    for event in stream:
        if event.type == "response.output_text.delta" and first_content is None:
            first_content = time.perf_counter() - t0
    total = time.perf_counter() - t0

print(f"ttft={first_content:.2f}s total={total:.2f}s")

Bu kod parçacıklarındaki alan ve olay adları, GPT-6 lansman duyurusundan ziyade mevcut OpenAI API şekillerinden gelmektedir, bu yüzden göndermeden önce referansla kontrol edin. Ölçüm disiplini devam eden şeydir: ilk içerik token'ına kadar geçen süreyi ve toplam süreyi ayrı metrikler olarak kaydedin, bunları modele ve çaba düzeyine göre tutun ve ortalama yerine p95'i raporlayın. Mantık yürütme modelinde ilk token gecikmesi uzun bir kuyruğa sahiptir ve ortalama, tam da zaman aşımına uğrayan istekleri gizler.

Bunu tek seferlik bir kontrol yerine planlanmış bir kontrol olarak çalıştırın. Akış isteğini Apidog'da kaydedin, yanıt süresini doğrulayın ve sağlayıcı tarafındaki bir gerileme veya çaba düzeyi değişikliği bir destek bileti yerine başarısız bir test olarak görünsün diye senaryoyu CI'da bir programa göre çalıştırın. Aynı proje, ön uç çalışmalarına beklemeden kurtulma yolu sunar: istemciyi kendi uç noktanızın bir Apidog sahtesine yönlendirin, böylece gerçek entegrasyon hala geliştirilirken kimse her yinelemede iki dakika bloke olmaz. Metriklerin arkasındaki temelleri öğrenmek isterseniz, API gecikmesi kılavuzumuz terminolojiyi kapsar.

Gerçekten yardımcı olan dört değişiklik

Mantık yürütme çağrısını senkronize yoldan çıkarın. İsteği kabul edin, hemen bir iş kimliğiyle 202 Kabul Edildi döndürün ve sonucu sorgulama veya webhook ile teslim edin. Bu, diğer tüm sorunları küçülten tek değişikliktir, çünkü 102 saniye, yukarı akışta bir şeyin beklediği bir HTTP isteğinin içinde yaşamayı bırakır.

Modele göre değil, çabaya göre yönlendirin. Ölçülen rakamlar maksimum mantık yürütmeyi tanımlar. Çoğu trafik buna ihtiyaç duymaz. Önce görevi sınıflandırın, rutin çoğunluğu düşük çaba ile gönderin ve pahalı ayarı hak eden durumlar için saklayın. OpenAI'nin kendi lansman kıyaslama testleri tam da bu nedenle çaba düzeyine göre raporlanır, böylece bu ayar bir ayar detayı olmaktan ziyade birinci sınıf bir tasarım kararıdır.

Akışla yayınlayın ve beklemeyi dürüstçe gösterin. Bir insan izliyorsa, yanıtı akışla yayınlayın ve ne olduğunu söyleyin. Gerçekliği yansıtan bir ilerleme durumu, bir şeylerin yanlış olduğunu düşündüren bir yükleme çarkını yener.

Gerçek zamanı token'lardan ayrı olarak bütçelendirin. Görev başına maliyet ve görev başına gecikme bağımsız eksenlerdir ve Eylül lansmanları bunlardan birini güçlü bir şekilde değiştirdi. Her uç nokta için maliyet bütçesinin yanında bir gecikme bütçesi bulundurun ve her ikisindeki bir gerilemeyi bir sürüm engelleyici olarak ele alın.

Varsayılmaması gereken bir şey: GPT-6'nın istem önbellekleme sürümü, önbelleğe alınmış giriş okumalarının fiyatını %90 düşürür ve isabet oranlarını artırır, bu gerçek bir tasarruftur. Hiçbir satıcı bunun için bir gecikme iddiası yayınlamadı, bu yüzden önbelleklemeden kaynaklanan herhangi bir ilk token iyileşmesini planlamak yerine ölçülecek bir şey olarak ele alın.

Ucuz model hızlı model değildir

Milyon token başına 2 ve 10 dolarlık GPT-6 Sol, gerçek bir fiyat hamlesidir ve arkasındaki kıyaslama sonuçları güçlüdür. Bunların hiçbiri onu hızlı başlatmaz. Mevcut tek herkese açık gecikme ölçümüne göre, Astra'nın token fiyatından %80 tasarruf sağlayan model, bir kelime etmeden önce bir buçuk dakikadan fazla beklemeyi gerektiriyor ve onun daha ucuz kardeşi ise daha da uzun beklemeyi talep ediyor.

Fiyat faturadadır. Gecikme mimarinizdedir. Daha hızlı bir model için inşa edilmiş bir istek yoluna daha ucuz bir model yükseltmeden önce, ikincisini kendiniz, ilk bayt yerine ilk içerik token'ını ölçen bir test sistemiyle ölçün.