GPT-6 솔 레이턴시: 첫 토큰까지 102초

gpt-6-astra를 gpt-6-sol로 바꿨습니다. 토큰 가격이 백만 개당 10달러와 50달러에서 2달러와 10달러로 떨어졌기 때문입니다. 청구서는 아주 훌륭해 보입니다. 그러다 p95 응답 시간이 2분을 넘어서고, 로드 밸런서는 게이트웨이 타임아웃을 반환하기 시작하며, 페이지가 멈추는 이유를 묻는 사람들로 지원팀이 가득 찹니다. 아무것도 고장 나지 않았습니다. 가격뿐만 아니라 작업 부하의 형태를 바꾼 것입니다. Artificial Analysis는 GPT-6 Sol이 초당 115.2 출력 토큰을 생성하며 첫 토큰까지 102.15초가 걸린다고 측정했습니다. GPT-6 Luna는 첫 토큰까지 124.23초가 걸리며 초당 153.9 출력 토큰을 생성합니다. 이 두 수치에는 중대한 주의사항이 따르는데, 이것이 이 글의 전반부입니다. 후반부는 이에 대한 대처법입니다. 즉, 실제 작업 부하에서 첫 토큰 지연 시간을 어떻게 정직하게 측정하고, 100초짜리 모델이 API를 다운시키지 않도록 하는 네 가지 설계 변경 사항을 다룹니다. 이틀간 세 개의 주요 모델이 출시된 더 넓은 맥락을 보려면 2026년 9월 AI 모델 가격 전쟁을 참조하세요.버튼

이 수치와 이를 인용하는 것의 모든 문제점

수치 열을 읽기 전에 주의사항 열을 읽으십시오.

이 열이 알려주는 세 가지 사항입니다.

이것들은 OpenAI의 수치가 아닌 Artificial Analysis의 수치입니다. OpenAI는 출시 시 가격, 컨텍스트, 가용성 및 벤치마크 점수 모음을 발표했습니다. 우리가 읽은 자료에서는 지연 시간 수치를 발표하지 않았습니다. 따라서 102.15초는 제3자가 자체 네트워크에서 자체 테스트 하네스를 실행한 것이므로, 사양이라기보다는 방향성을 나타내는 것으로 취급해야 합니다. 우리가 여기에 표시하는 방식으로 사용자 문서에 표시하십시오.

이들은 "최대" 추론 변형을 설명합니다. 출시 시점의 양사 벤치마크 표에는 '낮음', '중간', '높음', 'x높음', '최대'와 같은 노력 라벨이 곳곳에 나타납니다. '최대'는 이 계층의 맨 위에 있으며, 추론 노력은 첫 토큰 지연 시간에 가장 큰 영향을 미치는 단일 요인입니다. 가장 느린 구성의 측정은 프로덕션에서 실행할 구성의 측정이 아닙니다.

이것들은 한 공급업체의 특정 시점 엔드포인트 측정값입니다. 서비스 용량, 라우팅 및 큐 깊이는 변동합니다. 트래픽 급증 기간 동안 측정된 출시 주간 수치는 최악의 경우를 나타내며 상수로 위장합니다.

이 세 가지 주의사항 모두에서 살아남는 것은 방향성이고, 그 방향성이 이 글의 요점입니다. 저렴한 모델이 빠른 모델은 아닙니다. Sol은 Astra 토큰 가격의 5분의 1이고 Luna는 Sol의 20분의 1이지만, 이 할인 중 어느 것도 더 빠른 첫 바이트를 제공하지 않습니다. 이 측정에서 계열에서 가장 저렴한 모델이 시작하는 데 가장 느렸습니다.

첫 토큰까지 걸리는 시간은 측정하려는 것의 잘못된 이름입니다

비추론 모델에서 첫 토큰까지 걸리는 시간은 대략 네트워크 시간 + 큐 대기 시간 + 사전 채우기 시간입니다. 이는 프롬프트 길이에 비례하며 수백 밀리초 단위입니다.

추론 모델에서는 같은 이름으로 다른 양을 나타냅니다. 모델은 요청한 내용을 출력하기 전에 사고 과정을 거치므로, 첫 번째 가시적 토큰 이전의 간격은 전체 추론 단계를 포함합니다. 이 단계는 프롬프트 길이와 관련이 없습니다. 이는 모델이 문제의 난이도를 어떻게 판단하는지와 관련이 있습니다.

두 가지 결과가 따르며, 둘 다 프로덕션에서 문제를 일으킵니다.

첫째, 빠른 토큰 속도가 당신을 구하지 못합니다. Sol은 일단 시작하면 초당 115.2 토큰으로 빠르게 출력합니다. 하지만 첫 토큰이 나오기 전까지 거의 모든 실제 시간이 소요되므로 그다지 중요하지 않습니다.

생성 시간은 출력 길이를 초당 115.2 토큰으로 나눈 값이므로, 이 표는 새로운 측정이 아니라 두 측정된 수치에 대한 산술적 계산입니다. 응답을 짧게 줄여도 총 시간에는 거의 영향을 미치지 않습니다. 2,000 토큰의 장황한 답변을 500 토큰으로 줄여도 2분짜리 호출에서 13초밖에 절약되지 않습니다.

두 번째 결과는 응답 길이에 따라 순위가 뒤바뀐다는 것입니다. 루나는 토큰 속도가 더 빠르지만 시작이 더 느립니다. 두 모델을 비교하면 약 10,100개의 출력 토큰에서 교차합니다. 그 아래에서는 Sol이 더 느리게 생성하더라도 먼저 완료되고, 그 위에서는 Luna의 속도가 더 긴 대기 시간을 보상합니다. 사용자에게 제공하는 것 중 거의 10,000 토큰 응답은 없으므로, 대부분의 워크로드에서 더 느리게 시작하는 모델은 단순히 더 느린 모델입니다.

무엇이 먼저 고장 나는가

실패는 드물게 모델 호출 자체에서 발생합니다. 빠른 API를 위해 크기가 조정된 주변의 모든 것이 문제입니다.

유휴 타임아웃. 로드 밸런서, 리버스 프록시, API 게이트웨이 및 서버리스 플랫폼은 모두 연결이 바이트 흐름 없이 유지될 수 있는 시간을 제한합니다. 이들 중 많은 기본값이 2분보다 훨씬 짧습니다. 이 블로그 게시물을 포함하여 블로그 게시물에서 읽은 숫자를 믿지 마십시오. 직접 구성을 읽어보십시오. 해결책은 일반적으로 nginx의 proxy_read_timeout과 같은 하나의 지시문과 클라이언트 SDK 자체의 타임아웃을 포함하여 그 앞에 있는 모든 홉에 대한 일치하는 설정입니다.

재시도. 300밀리초에서 의미 있던 재시도 정책은 100초에서는 위험합니다. 백오프가 있는 세 번의 시도는 이제 5분짜리 요청이 되며, 느린 기간 동안의 재시도 폭주는 이미 어려움을 겪고 있던 정확한 엔드포인트에 더 많은 동시 작업을 가중합니다. 시도를 제한하고, 서킷 브레이커를 유지하며, 모든 호출을 멱등하게 만들어 재시도가 이중 청구 또는 이중 쓰기를 유발하지 않도록 하십시오.

동시성, 사람들이 놓치는 부분입니다. 리틀의 법칙에 따르면 처리 중인 요청 수는 도착률 곱하기 시스템 내 시간과 같습니다. 초당 한 건의 요청과 120초짜리 호출에서는 처리량을 유지하기 위해 120개의 동시 처리 중인 요청만 필요합니다. 이러한 연결은 각각 2분 동안 소켓, 스레드 또는 함수 호출을 점유하며, 이 모든 것은 토큰 요금 청구서에 나타나지 않습니다. 호출당 저렴한 모델도 용량 유지 시간당으로는 비쌀 수 있습니다.

사용자 인터페이스. 102초 동안 살아남는 스피너는 없습니다. 추론 단계가 동기 요청 경로에 있다면, 해결책은 외형적인 것이 아니라 아키텍처적입니다.

자체 워크로드에서 측정하는 방법

공급업체 및 제3자 수치는 초기 가설입니다. 실제 수치는 프롬프트, 지역, 노력 설정 및 트래픽 패턴에 따라 결정됩니다.

한 번의 명령으로 전송 계층 관점에서 시작하십시오.

curl -N -s -o /dev/null \
  -w 'dns=%{time_namelookup} connect=%{time_connect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
  https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-6-sol","input":"Summarise this OpenAPI operation.","stream":true}'

그런 다음 first_byte를 의심스럽게 읽으십시오. 스트리밍 엔드포인트에서는 첫 바이트가 일반적으로 스트림-열림 이벤트이지 콘텐츠 토큰이 아니므로, time_starttransfer는 모델이 응답하기 시작한 시점보다는 서버가 통신을 시작한 시점을 측정합니다. 이 간격은 바로 당신이 측정하려는 것이며, 이것이 순진한 하네스가 듣기 좋은 수치를 보고하는 이유입니다.

첫 번째 콘텐츠 델타를 측정하는 것이 중요합니다.

import time
from openai import OpenAI

client = OpenAI(timeout=600)

t0 = time.perf_counter()
first_content = None

with client.responses.stream(
    model="gpt-6-sol",
    input=PROMPT,
    reasoning={"effort": "low"},
) as stream:
    for event in stream:
        if event.type == "response.output_text.delta" and first_content is None:
            first_content = time.perf_counter() - t0
    total = time.perf_counter() - t0

print(f"ttft={first_content:.2f}s total={total:.2f}s")

이 코드 조각의 필드 및 이벤트 이름은 GPT-6 출시 발표가 아닌 현재 OpenAI API 형식에서 가져온 것이므로, 배포하기 전에 참조와 대조하여 확인하십시오. 측정 원칙은 계속 유지됩니다. 첫 콘텐츠 토큰까지 걸리는 시간과 총 시간을 별도의 지표로 기록하고, 모델 및 노력 수준별로 유지하며, 평균 대신 p95를 보고하십시오. 추론 모델의 첫 토큰 지연 시간은 긴 꼬리를 가지며, 평균은 타임아웃되는 요청을 정확히 숨깁니다.

이를 일회성이 아닌 예약된 점검으로 실행하십시오. Apidog에 스트리밍 요청을 저장하고, 응답 시간을 단언하며, CI에서 시나리오를 예약 실행하여 공급업체 측 회귀 또는 노력 수준 변경이 지원 티켓 대신 실패하는 테스트로 나타나도록 하십시오. 동일한 프로젝트는 프런트엔드 작업에 대기 시간을 우회하는 방법을 제공합니다. 클라이언트를 자체 엔드포인트의 Apidog 모의로 지정하여 실제 통합이 구축되는 동안 아무도 반복당 2분 동안 차단되지 않도록 하십시오. 지표 뒤에 있는 기본 사항을 알고 싶다면 API 지연 시간에 대한 가이드에서 용어를 다룹니다.

실제로 도움이 되는 네 가지 변경 사항

추론 호출을 동기 경로에서 제거하십시오. 요청을 수락하고 즉시 작업 ID와 함께 202 Accepted를 반환한 다음, 폴링 또는 웹훅을 통해 결과를 전달하십시오. 이것은 다른 모든 문제를 줄이는 단일 변경 사항입니다. 왜냐하면 102초가 상위 시스템이 기다리는 HTTP 요청 안에 존재하지 않게 되기 때문입니다.

모델별이 아닌 노력별로 라우팅하십시오. 측정된 수치는 최대 추론을 설명합니다. 대부분의 트래픽은 그것을 필요로 하지 않습니다. 먼저 작업을 분류하고, 일반적인 대부분의 트래픽을 낮은 노력으로 보내며, 비싼 설정은 그럴 가치가 있는 경우에만 사용하십시오. OpenAI의 자체 출시 벤치마크는 바로 이러한 이유로 노력 수준별로 보고되므로, 이 설정은 튜닝 세부 사항이 아니라 일급 설계 결정입니다.

스트리밍하고, 대기 시간을 솔직하게 표시하십시오. 사람이 보고 있다면, 응답을 스트리밍하고 무슨 일이 일어나고 있는지 알려주십시오. 현실을 반영하는 진행 상태는 뭔가 잘못되었음을 시사하는 스피너보다 낫습니다.

토큰과 별도로 실제 시간을 예산화하십시오. 작업당 비용과 작업당 지연 시간은 독립적인 축이며, 9월 출시는 이 중 하나를 크게 움직였습니다. 비용 예산 옆에 엔드포인트별 지연 시간 예산을 유지하고, 어느 쪽이든 회귀가 발생하면 릴리스 블로커로 취급하십시오.

가정하지 말아야 할 한 가지: GPT-6의 프롬프트 캐싱 출시는 캐시된 입력 읽기 가격을 90% 인하하고 적중률을 높여줍니다. 이는 실제적인 절약입니다. 어떤 공급업체도 이에 대한 지연 시간 주장을 발표하지 않았으므로, 캐싱으로 인한 첫 토큰 개선은 계획할 것이 아니라 측정할 것으로 취급하십시오.

저렴한 모델이 빠른 모델은 아니다

백만 토큰당 2달러와 10달러의 GPT-6 Sol은 진정한 가격 변동이며, 그 뒤에 있는 벤치마크 결과도 강력합니다. 이 모든 것이 모델을 빠르게 시작하게 하지는 않습니다. 사용 가능한 유일한 공개 지연 시간 측정에서, Astra 토큰 가격의 80%를 절약해 주는 모델은 한마디도 하기 전에 1분 반 이상을 요구하며, 더 저렴한 자매 모델은 여전히 더 오래 걸립니다.

가격은 청구서에 있습니다. 지연 시간은 아키텍처에 있습니다. 더 빠른 모델을 위해 구축된 요청 경로에 더 저렴한 모델을 적용하기 전에, 첫 바이트가 아닌 첫 콘텐츠 토큰 시간을 측정하는 하네스로 두 번째(지연 시간)를 직접 측정하십시오.