GPT-6 프롬프트 캐싱: 캐시 읽기 90% 할인, 실제 캐시 적중 방법

GPT-6 프롬프트 캐싱: 캐시된 입력 읽기에 90% 할인, 기본적으로 더 높은 적중률, 캐시에 안전한 추론 강도 및 도구 변경, 명시적 브레이크포인트, 그리고 CI에서 적중률을 테스트하는 방법.

Ashley Goolam

Ashley Goolam

2 November 2026

GPT-6 프롬프트 캐싱: 캐시 읽기 90% 할인, 실제 캐시 적중 방법

Apidog 엔터프라이즈

온프레미스 배포

SSO & RBAC

SOC 2 준수

Apidog Enterprise 살펴보기

실행하는 모든 에이전트 루프는 동일한 서두를 다시 보냅니다. 시스템 프롬프트, 도구 정의, OpenAPI 사양, 저장소 규칙 등이죠. 모델은 오늘 이미 그 접두사를 백 번도 더 봤고, 당신은 매번 전체 입력 가격을 지불했습니다.

규모가 커지면 그 청구서는 시끄러워집니다. OpenAI에 따르면 자사 연구원의 중간값은 코딩 에이전트에 하루 600달러 이상을 쓰고, 90번째 백분위수는 하루 7,000달러를 씁니다. 이는 한 연구소의 내부 도구를 돌리는 사람들이지, 고객에게 서비스하는 프로덕션 API가 아닙니다.

2026년 9월 22일 GPT-6 Sol과 GPT-6 Luna와 함께, OpenAI는 바로 이 문제를 겨냥한 프롬프트 캐싱 릴리스를 출시했습니다. 캐시된 입력 읽기는 90% 할인되고, 적중률은 기본적으로 더 높아지며, 가장 흔한 캐시 무효화 변경 두 가지가 더 이상 캐시를 깨지 않고, 명시적 중단점을 배치할 수 있으며, 이제 실제로 무슨 일이 일어나는지 볼 수 있는 프롬프트 캐싱 대시보드와 진단 도구가 있습니다. 프로덕션에서 이를 실행 중인 GitHub는 수십억 건의 요청에서 신선한 처리가 필요한 프롬프트 토큰이 50% 이상 줄었다고 보고합니다.

버튼

이 가이드는 무엇이 바뀌었는지, 할인이 실제 돈으로 얼마의 가치가 있는지, 캐시가 실제로 적중하도록 프롬프트를 배치하는 방법, 그리고 누군가 시스템 프롬프트를 리팩터링한 후에도 계속 적중하는지 테스트하는 방법을 다룹니다.

출시된 내용

변경 사항 코드에 미치는 의미
캐시된 입력 읽기에 90% 할인 반복되는 접두사가 입력 요금의 10분의 1로 청구됨
기본적으로 더 높은 적중률 기존 통합은 코드 변경 없이 일부 혜택을 받음
추론 노력 변경이 더 이상 캐시를 깨지 않음 세션 중간에 낮음에서 최대로 올려도 접두사가 따뜻하게 유지됨
도구 가용성 변경이 더 이상 캐시를 깨지 않음 차가운 접두사 비용을 지불하지 않고 도구를 추가하거나 제거할 수 있음
명시적 중단점 추측하는 대신 캐시된 접두사가 끝나는 위치를 직접 결정
프롬프트 캐싱 대시보드 및 진단 도구 적중률이 가정하는 것이 아니라 측정하는 것이 됨

처음 세 가지는 에이전트에게 가장 중요합니다. 마지막은 지난달 청구서를 설명해야 하는 엔지니어에게 가장 중요합니다.

산수

프롬프트 캐싱은 입력 토큰만 건드립니다. 출력 가격은 움직이지 않으므로, 짧은 프롬프트로 긴 답변을 작성하는 에이전트는 거의 눈치채지 못할 것입니다. 큰 안정적 컨텍스트를 읽고 짧은 판결을 내리는 에이전트는 많은 차이를 느낄 것입니다.

다음은 할인이 두 새 모델의 공개 요금에 미치는 영향입니다:

모델 1M당 입력 1M당 캐시 읽기 1M당 출력 컨텍스트
GPT-6 Sol (gpt-6-sol) $2.00 $0.20 $10.00 872k
GPT-6 Luna (gpt-6-luna) $0.10 $0.01 $0.50 1M

캐시 읽기 열은 공개 입력 요금에 90% 할인을 적용한 것입니다. 예산을 세우기 전에 실제 가격 페이지에서 확인하세요.

이제 구체적인 워크로드입니다. 코드 리뷰 에이전트를 운영한다고 가정해 보죠: 40,000 토큰의 안정적 접두사(시스템 프롬프트, 도구 스키마, 서비스의 OpenAPI 문서, API 규칙)와 실행당 약 2,000 토큰의 diff, 하루 500회 실행.

Sol, 캐시 적중 없음 Sol, 접두사 캐시됨 Luna, 캐시 적중 없음 Luna, 접두사 캐시됨
일일 접두사 토큰 20M × $2.00 = $40.00 20M × $0.20 = $4.00 20M × $0.10 = $2.00 20M × $0.01 = $0.20
일일 신선한 토큰 1M × $2.00 = $2.00 1M × $2.00 = $2.00 1M × $0.10 = $0.10 1M × $0.10 = $0.10
일일 입력 비용 $42.00 $6.00 $2.10 $0.30

이는 전혀 형태가 바뀌지 않은 워크로드에 대해 Sol의 입력 청구서에서 대략 86% 할인입니다. 유일하게 바뀐 것은 호출 간에 접두사가 바이트 단위로 동일하게 유지되었는지 여부입니다.

이 옆에 놓을 만한 것: Claude Opus 5.5는 캐시 읽기를 백만당 $0.20(입력 $4.00 대비)으로, 캐시 쓰기를 백만당 $5.00으로 명시합니다. 읽기 가격은 Sol과 같은 위치에 있으며, Anthropic은 캐시 작성에 명시적 프리미엄을 부과합니다. OpenAI의 발표는 Sol이나 Luna의 캐시 쓰기 요금을 명시하지 않았는데, 이는 이 글 끝의 미해결 질문 중 하나입니다. 단일 숫자가 아닌 전체 청구서를 비교한다면, 저희 2026년 9월 모델 가격 전쟁 분석에서 세 가지 출시를 한 표에 정리했습니다.

캐시 미스가 보통 당신 자신의 잘못인 이유

프롬프트 캐싱은 접두사에서 일치합니다. 캐시는 요청의 선행 토큰 실행을 키로 하므로, 이전 호출과 다른 첫 바이트가 그 뒤의 모든 것을 무효화합니다. 잘못된 위치의 한 문자 때문에 40,000 토큰 할인 전체를 잃습니다. 실제 코드에서 나타나는 빈도의 대략적인 순서대로 고전적인 문제점은 다음과 같습니다:

두 가지가 더 그 목록에 있었지만 이제는 빠졌습니다. 추론 노력 변경은 더 이상 캐시를 깨지 않으므로, 쉬운 턴에서 low로 실행하고 어려운 턴에서 max로 올리는 에이전트는 에스컬레이션 전반에 걸쳐 따뜻한 접두사를 유지합니다. 도구 가용성 변경도 더 이상 캐시를 깨지 않으므로, 위험한 도구를 권한 확인 뒤에 게이트해도 그 위의 모든 것을 차갑게 읽도록 강제하지 않습니다. 이 두 패턴은 에이전트 프레임워크에서 매우 흔하며, 지금까지는 가장 비용이 많이 드는 턴에서 조용히 캐시를 무효화했습니다.

프롬프트를 안정적인 것 먼저, 변동성 있는 것 나중에 배치하세요

이 규율은 향후 모든 가격 변경에도 살아남습니다: 컨텍스트를 변경 빈도에 따라 정렬하고, 가장 안정적인 것을 맨 위에 두세요.

  1. 모든 사용자에게 동일한 시스템 또는 개발자 지침.
  2. 고정된 순서로 직렬화된 도구 및 함수 스키마.
  3. 공유되는 긴 참조 자료: OpenAPI 문서, 스타일 가이드, 데이터베이스 스키마.
  4. 거의 변경되지 않는 테넌트별 또는 프로젝트별 컨텍스트.
  5. 쿼리마다 변경되는 검색된 청크.
  6. 사용자 턴과 시계가 있는 모든 것.

1~3층이 캐시입니다. 타임스탬프가 프롬프트에 있어야 한다면 시스템 메시지가 아니라 사용자 턴에 넣으세요. 도구 목록이 동적으로 조립된다면 정렬하고 JSON 키 순서를 고정하여 두 프로세스가 동일하게 직렬화하도록 하세요.

from openai import OpenAI

client = OpenAI()

STATIC_PREFIX = [
    {"role": "developer", "content": SYSTEM_INSTRUCTIONS},   # never changes
    {"role": "developer", "content": OPENAPI_DOCUMENT},      # changes on deploy
]

response = client.responses.create(
    model="gpt-6-sol",
    reasoning={"effort": "low"},
    tools=SORTED_TOOL_SCHEMAS,
    prompt_cache_key="review-agent:v7",
    input=STATIC_PREFIX + [
        {"role": "user", "content": f"Review this diff:\n{diff}"},  # volatile, last
    ],
)

print(response.usage)

이 릴리스의 명시적 중단점을 사용하면 플랫폼이 추론하도록 의존하는 대신 캐시된 접두사가 끝나는 위치를 표시할 수 있습니다. 이는 4층이 클 때 가장 유용합니다: 한 고객에게는 안정적이고 다음 고객에게는 다른 테넌트별 블록으로, 경계를 휴리스틱이 선택한 임의의 토큰이 아니라 의도적으로 그리려는 경우입니다.

위의 review-agent:v7처럼 캐시 키 자체에 버전을 부여하세요. 의도적으로 접두사를 변경할 때 버전을 올리면, 비용이 왜 뛰었는지 궁금해하는 대신 메트릭에서 콜드 기간을 볼 수 있습니다.

확인하세요, 가정하지 마세요

모든 응답의 사용량 객체는 캐시에서 제공된 입력 토큰 수를 알려줍니다. 이를 읽고, 기록하고, 경고를 설정하세요. 대략적인 형태:

usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens

print(f"cache hit rate: {cached / total_in:.0%}  billed fresh: {total_in - cached}")

위 스니펫의 필드 이름은 출시 발표가 아니라 현재 OpenAI API 형태에서 가져온 것이므로, 배포 전에 참조와 대조하여 확인하세요. 원칙은 변하지 않습니다: 응답이 진실을 알려주므로 그 숫자를 대시보드에 올리세요.

새로운 프롬프트 캐싱 대시보드와 진단 도구는 플릿 수준 뷰를 제공하며, 여기서 GitHub가 보고한 패턴을 발견할 수 있습니다: 수십억 건의 요청에서 50% 이상의 프롬프트 토큰이 더 이상 신선한 처리가 필요하지 않습니다. 이는 플랫폼 전체 측정치이며, 자신의 수치를 알 수 있는 유일한 방법은 측정하는 것입니다.

실패 모드는 조용합니다. 캐시가 적중을 멈춰도 아무 오류가 없습니다. 동료가 디버깅을 위해 시스템 프롬프트에 요청 ID를 추가하면 접두사가 차가워지고, 유일한 신호는 3주 후 청구서에 느리게 나타나는 줄입니다.

그래서 이는 모니터링 문제가 아니라 회귀 테스트 문제입니다. 의존하는 다른 API처럼 모델 엔드포인트를 취급하세요: Apidog에 요청을 저장하고, 시나리오의 두 번째 호출에서 usage.input_tokens_details.cached_tokens가 하한을 초과하는지 검증하고, CI에서 일정에 따라 실행하세요. 순서대로 두 번 호출(하나는 데우고 하나는 검증)이 전체 테스트이며, 캐시를 죽이는 프롬프트 리팩터링은 청구서가 아니라 풀 리퀘스트에서 실패하게 됩니다.

지연 시간 각주

캐싱은 첫 토큰 전에 수행되는 작업을 줄이므로 일반적으로 비용뿐만 아니라 첫 토큰까지의 시간도 개선합니다. 추론 모드를 구해줄 것이라고 기대하지 마세요.

제3자인 Artificial Analysis는 “max” 추론 변형에서 GPT-6 Sol의 첫 토큰 시간을 102.15초, GPT-6 Luna를 124.23초로 측정합니다. 이는 low 노력에서 보게 될 숫자가 아니며 벤더 수치도 아니므로 방향성으로 받아들이세요. 요점은 어느 쪽이든 동일합니다: 어떤 캐싱 할인도 2분의 사고 예산을 대화형으로 바꾸지 못합니다. 응답 시간을 약속하기 전에 노력 수준별 지연 시간을 측정하세요. 저희 GPT-6 Astra API 가이드에서 노력 수준을 더 자세히 다룹니다.

출시가 답하지 않는 것

설계를 이에 확정하기 전에 확인할 가치가 있는 네 가지:

어느 것도 레이아웃 작업을 막지 않습니다. 안정적인 것 우선 순서, 버전이 지정된 캐시 키, 캐시된 토큰에 대한 검증은 어떤 답변에서도 이득이 됩니다.

요약

프롬프트를 변동성에 따라 정렬하고 시스템 메시지에서 시계를 빼세요. 의도적인 변경이 보이도록 캐시 키에 버전을 부여하세요. 모든 응답에서 cached_tokens를 읽고 CI에서 하한을 설정하세요. 이제 추론 노력을 올리고 도구를 자유롭게 전환하세요. 둘 다 더 이상 접두사 비용을 발생시키지 않기 때문입니다. 메커니즘 자체에 대한 배경은 프롬프트 캐싱 작동 방식에 대한 설명에서 기본을 다룹니다.

이 모델들의 가격은 다시 움직일 것입니다. 항상 그렇죠. 프롬프트 레이아웃 규율은 다음 출시가 표의 모든 숫자를 재설정한 후에도 계속 이득을 주는 부분입니다.

버튼

Apidog에서 API 설계-첫 번째 연습

API를 더 쉽게 구축하고 사용하는 방법을 발견하세요