การแคชพรอมต์ GPT-6: ลด 90% สำหรับการอ่านจากแคช และวิธีใช้แคชให้ได้จริง

การแคชพรอมต์ของ GPT-6: ส่วนลด 90% สำหรับการอ่านอินพุตที่แคชไว้ อัตราการเข้าถึงแคชที่สูงขึ้นโดยค่าเริ่มต้น การปรับความพยายามในการให้เหตุผลและการเปลี่ยนแปลงเครื่องมือที่ปลอดภัยต่อแคช จุดแบ่งที่ระบุชัดเจน และวิธีทดสอบอัตราการเข้าถึงแคชของคุณใน CI

Ashley Goolam

Ashley Goolam

2 November 2026

การแคชพรอมต์ GPT-6: ลด 90% สำหรับการอ่านจากแคช และวิธีใช้แคชให้ได้จริง

Apidog สำหรับองค์กร

การติดตั้งแบบ On-Premises

SSO & RBAC

รองรับมาตรฐาน SOC 2

สำรวจ Apidog Enterprise

ทุกลูปของเอเจนต์ที่คุณรันจะส่งส่วนเปิดเดิมซ้ำอีกครั้ง ทุกครั้ง ไม่ว่าจะเป็น system prompt, นิยามเครื่องมือ, สเปก OpenAPI หรือธรรมเนียมของรีโป โมเดลเห็นคำนำนั้นมาแล้วเป็นร้อยครั้งในวันนี้ และคุณจ่ายค่าอินพุตเต็มราคาทุกครั้ง

พอสเกลใหญ่ขึ้น บิลก็เริ่มดังก้อง OpenAI บอกว่านักวิจัยค่ามัธยฐานของบริษัทเองใช้จ่ายกว่า $600 ต่อวันกับเอเจนต์เขียนโค้ด และเปอร์เซ็นไทล์ที่ 90 ใช้จ่าย $7,000 ต่อวัน นั่นคือคนที่ใช้งานเครื่องมือภายในของแล็บเดียว ไม่ใช่ API โปรดักชันที่ให้บริการลูกค้า

ควบคู่ไปกับ GPT-6 Sol และ GPT-6 Luna เมื่อวันที่ 22 กันยายน 2026 OpenAI ได้เปิดตัวการอัปเดต prompt caching ที่มุ่งเป้าเข้าใส่ปัญหานี้โดยตรง การอ่านอินพุตที่แคชไว้ได้ส่วนลด 90% อัตราการแคชฮิตสูงขึ้นโดยค่าเริ่มต้น การเปลี่ยนแปลงสองอย่างที่พบบ่อยที่สุดซึ่งเคยทำให้แคชพังก็ไม่ทำให้แคชพังอีกต่อไป คุณสามารถวางจุดตัดอย่างชัดเจนได้ และตอนนี้มี Prompt Caching Dashboard พร้อมเครื่องมือวินิจฉัยเพื่อดูว่าเกิดอะไรขึ้นจริง ๆ GitHub ซึ่งรันสิ่งนี้ในโปรดักชัน รายงานว่าโทเคนพรอมป์ที่ต้องประมวลผลใหม่ลดลงมากกว่า 50% จากการรันหลายพันล้านคำขอ

button

คู่มือนี้ครอบคลุมว่ามีอะไรเปลี่ยนไปบ้าง ส่วนลดนี้มีมูลค่าเท่าไหร่ในเงินจริง ควรจัดวางพรอมป์อย่างไรให้แคชฮิตจริง และจะทดสอบได้อย่างไรว่ามันยังฮิตอยู่หลังจากมีคนรีแฟกเตอร์ system prompt ของคุณ

สิ่งที่เปิดตัว

การเปลี่ยนแปลง ความหมายต่อโค้ดของคุณ
ส่วนลด 90% สำหรับการอ่านอินพุตที่แคชไว้ คำนำที่ส่งซ้ำคิดราคาเพียงหนึ่งในสิบของอัตราอินพุต
อัตราการฮิตสูงขึ้นโดยค่าเริ่มต้น การเชื่อมต่อที่มีอยู่แล้วได้ประโยชน์บางส่วนโดยไม่ต้องแก้โค้ด
การเปลี่ยน reasoning effort ไม่ทำให้แคชพังอีกต่อไป คุณสามารถเพิ่มจาก low ไป max กลางเซสชันได้โดยที่คำนำยังอุ่นอยู่
การเปลี่ยนความพร้อมใช้งานของเครื่องมือไม่ทำให้แคชพังอีกต่อไป เพิ่มหรือลบเครื่องมือได้โดยไม่ต้องจ่ายสำหรับคำนำเย็น
จุดตัดอย่างชัดเจน คุณเป็นคนกำหนดว่าคำนำที่แคชไว้สิ้นสุดตรงไหน แทนที่จะเดา
Prompt Caching Dashboard และเครื่องมือวินิจฉัย อัตราการฮิตกลายเป็นสิ่งที่คุณวัด ไม่ใช่สิ่งที่คุณสันนิษฐาน

สามข้อแรกสำคัญที่สุดสำหรับเอเจนต์ ข้อสุดท้ายสำคัญที่สุดสำหรับวิศวกรที่ต้องอธิบายใบแจ้งหนี้ของเดือนที่แล้ว

การคำนวณ

Prompt caching แตะเฉพาะโทเคนอินพุตเท่านั้น ราคาเอาต์พุตไม่ขยับ ดังนั้นเอเจนต์ที่เขียนคำตอบยาว ๆ จากพรอมป์สั้น ๆ แทบจะไม่รู้สึกอะไร แต่เอเจนต์ที่อ่านบริบทขนาดใหญ่ที่คงที่แล้วเปล่งคำตัดสินสั้น ๆ จะรู้สึกได้มาก

นี่คือสิ่งที่ส่วนลดทำกับราคาที่ประกาศไว้ของสองโมเดลใหม่:

โมเดล อินพุตต่อ 1M การอ่านที่แคชต่อ 1M เอาต์พุตต่อ 1M บริบท
GPT-6 Sol (gpt-6-sol) $2.00 $0.20 $10.00 872k
GPT-6 Luna (gpt-6-luna) $0.10 $0.01 $0.50 1M

คอลัมน์การอ่านที่แคชคือส่วนลด 90% ที่นำไปใช้กับอัตราอินพุตที่ประกาศไว้ โปรดยืนยันกับหน้าราคาสดก่อนที่คุณจะสร้างงบประมาณบนตัวเลขนี้

ทีนี้มาดูภาระงานจริง สมมติคุณรันเอเจนต์รีวิวโค้ด: คำนำที่คงที่ 40,000 โทเคน (system prompt, สคีมาเครื่องมือ, เอกสาร OpenAPI ของบริการ, ธรรมเนียม API ของคุณ) บวก diff ประมาณ 2,000 โทเคนต่อการรัน 500 ครั้งต่อวัน

Sol, ไม่มีแคชฮิต Sol, คำนำถูกแคช Luna, ไม่มีแคชฮิต Luna, คำนำถูกแคช
โทเคนคำนำต่อวัน 20M ที่ $2.00 = $40.00 20M ที่ $0.20 = $4.00 20M ที่ $0.10 = $2.00 20M ที่ $0.01 = $0.20
โทเคนใหม่ต่อวัน 1M ที่ $2.00 = $2.00 1M ที่ $2.00 = $2.00 1M ที่ $0.10 = $0.10 1M ที่ $0.10 = $0.10
ค่าใช้จ่ายอินพุตรายวัน $42.00 $6.00 $2.10 $0.30

นั่นคือส่วนลดประมาณ 86% จากบิลอินพุตบน Sol สำหรับภาระงานที่ไม่เปลี่ยนรูปร่างเลย สิ่งเดียวที่เปลี่ยนไปคือคำนำยังคงเหมือนกันทุกไบต์ระหว่างการเรียกแต่ละครั้งหรือไม่

ควรวางเทียบไว้ข้าง ๆ ด้วย: Claude Opus 5.5 ระบุราคาการอ่านที่แคชไว้ที่ $0.20 ต่อล้าน เทียบกับอินพุต $4.00 โดยมีค่าเขียนแคชที่ $5.00 ต่อล้าน ราคาการอ่านลงเอยที่จุดเดียวกับของ Sol และ Anthropic คิดค่าพรีเมียมอย่างชัดเจนสำหรับการเขียนแคช การเปิดตัวของ OpenAI ไม่ได้ระบุอัตราการเขียนแคชสำหรับ Sol หรือ Luna ซึ่งเป็นหนึ่งในคำถามที่ยังไม่มีคำตอบตอนท้ายบทความนี้ หากคุณกำลังเปรียบเทียบบิลทั้งใบแทนที่จะเทียบตัวเลขเดี่ยว ๆ บทความ สรุปสงครามราคาโมเดล AI กันยายน 2026 ของเรารวบรวมการเปิดตัวทั้งสามไว้ในตารางเดียว

ทำไมแคชมิสส่วนใหญ่จึงเป็นความผิดของคุณเอง

Prompt caching จับคู่บนคำนำ แคชถูกคีย์บนช่วงโทเคนนำของคำขอ ดังนั้นไบต์แรกที่ต่างจากครั้งก่อนจะทำให้ทุกอย่างหลังจากนั้นใช้ไม่ได้ ตัวอักษรตัวเดียวผิดที่ก็ทำให้คุณเสียส่วนลด 40,000 โทเคนทั้งก้อน ตัวการคลาสสิก เรียงตามลำดับความถี่ที่พบในโค้ดจริง:

อีกสองอย่างเคยอยู่ในรายการนั้นและตอนนี้หลุดออกมาแล้ว การเปลี่ยน reasoning effort ไม่ทำให้แคชพังอีกต่อไป ดังนั้นเอเจนต์ที่รัน low ในเทิร์นง่าย ๆ และเพิ่มเป็น max ในเทิร์นยากจะรักษาคำนำที่อุ่นไว้ข้ามการเพิ่มระดับได้ การเปลี่ยนความพร้อมใช้งานของเครื่องมือก็ไม่ทำให้พังเช่นกัน ดังนั้นการกั้นเครื่องมืออันตรายไว้หลังการตรวจสอบสิทธิ์ไม่บังคับให้ต้องอ่านทุกอย่างเหนือขึ้นไปใหม่ทั้งเย็นอีกต่อไป รูปแบบสองอย่างนี้พบได้บ่อยมากในเฟรมเวิร์กเอเจนต์ และจนถึงตอนนี้มันก็ลบแคชให้เป็นศูนย์อย่างเงียบ ๆ พอดีในเทิร์นที่แพงที่สุด

จัดวางพรอมป์โดยเอาสิ่งที่คงที่ก่อน สิ่งที่แปรผันทีหลัง

วินัยนี้จะอยู่รอดทุกการเปลี่ยนแปลงราคาในอนาคต: เรียงบริบทของคุณตามความถี่ในการเปลี่ยนแปลง โดยสิ่งที่คงที่ที่สุดอยู่บนสุด

  1. คำสั่ง system หรือ developer ที่เหมือนกันสำหรับผู้ใช้ทุกคน
  2. สคีมาเครื่องมือและฟังก์ชัน ที่ serialize ในลำดับคงที่
  3. เอกสารอ้างอิงที่แชร์กันยาว ๆ: เอกสาร OpenAPI, สไตล์ไกด์, สคีมาฐานข้อมูล
  4. บริบทต่อผู้เช่า (tenant) หรือต่อโปรเจกต์ที่เปลี่ยนแปลงไม่บ่อย
  5. ชิ้นส่วนที่ดึงมา ซึ่งเปลี่ยนตามคำถาม
  6. เทิร์นของผู้ใช้และอะไรก็ตามที่มีนาฬิกาอยู่ในนั้น

ชั้นที่หนึ่งถึงสามคือแคชของคุณ หากจำเป็นต้องมี timestamp ในพรอมป์ ให้ใส่ไว้ในเทิร์นของผู้ใช้ ไม่ใช่ใน system message หากรายการเครื่องมือของคุณประกอบขึ้นแบบไดนามิก ให้เรียงลำดับและตรึงลำดับคีย์ JSON ไว้เพื่อให้สองโปรเซส serialize ได้เหมือนกัน

from openai import OpenAI

client = OpenAI()

STATIC_PREFIX = [
    {"role": "developer", "content": SYSTEM_INSTRUCTIONS},   # never changes
    {"role": "developer", "content": OPENAPI_DOCUMENT},      # changes on deploy
]

response = client.responses.create(
    model="gpt-6-sol",
    reasoning={"effort": "low"},
    tools=SORTED_TOOL_SCHEMAS,
    prompt_cache_key="review-agent:v7",
    input=STATIC_PREFIX + [
        {"role": "user", "content": f"Review this diff:\n{diff}"},  # volatile, last
    ],
)

print(response.usage)

จุดตัดอย่างชัดเจนในรุ่นนี้ให้คุณทำเครื่องหมายว่าคำนำที่แคชไว้สิ้นสุดตรงไหน แทนที่จะพึ่งแพลตฟอร์มในการอนุมาน ซึ่งมีประโยชน์ที่สุดเมื่อชั้นที่สี่มีขนาดใหญ่: บล็อกต่อผู้เช่าที่คงที่สำหรับลูกค้ารายหนึ่งและต่างออกไปสำหรับรายถัดไป ซึ่งคุณต้องการให้กำหนดขอบเขตอย่างจงใจแทนที่จะให้ heuristic เลือกโทเคนใดก็ตาม

ให้ใส่เวอร์ชันในคีย์แคชเอง ดังเช่น review-agent:v7 ข้างบน เมื่อคุณเปลี่ยนคำนำโดยเจตนา ให้เพิ่มเวอร์ชัน แล้วคุณจะเห็นช่วงเย็นในเมตริกของคุณ แทนที่จะสงสัยว่าทำไมค่าใช้จ่ายพุ่งขึ้น

ตรวจสอบสิ อย่าสันนิษฐาน

ออบเจกต์ usage ในทุกคำตอบจะบอกคุณว่ามีโทเคนอินพุตกี่ตัวที่ให้บริการจากแคช อ่านมัน บันทึกมัน และตั้ง alert บนมัน รูปแบบคร่าว ๆ:

usage = response.usage
cached = usage.input_tokens_details.cached_tokens
total_in = usage.input_tokens

print(f"cache hit rate: {cached / total_in:.0%}  billed fresh: {total_in - cached}")

ชื่อฟิลด์ในตัวอย่างข้างบนมาจากรูปร่างของ OpenAI API ปัจจุบัน ไม่ได้มาจากประกาศเปิดตัว ดังนั้นโปรดตรวจสอบกับเอกสารอ้างอิงก่อนที่คุณจะปล่อย หลักการไม่เปลี่ยน: คำตอบบอกความจริงกับคุณ ดังนั้นจงเอาตัวเลขนั้นขึ้นแดชบอร์ด

Prompt Caching Dashboard และเครื่องมือวินิจฉัยใหม่ครอบคลุมมุมมองระดับฟลีต ซึ่งเป็นที่ที่คุณจะเห็นรูปแบบที่ GitHub รายงาน: โทเคนพรอมป์มากกว่า 50% ไม่ต้องประมวลผลใหม่จากการรันหลายพันล้านคำขอ นั่นคือการวัดระดับแพลตฟอร์ม และทางเดียวที่จะรู้ตัวเลขของคุณเองคือการวัดมัน

โหมดความล้มเหลวเป็นแบบเงียบ ไม่มีอะไร error เมื่อแคชหยุดฮิต เพื่อนร่วมทีมเพิ่ม request ID เข้าไปใน system prompt เพื่อดีบัก คำนำก็เย็นลง และสัญญาณเดียวคือเส้นที่ค่อย ๆ ไต่ขึ้นบนใบแจ้งหนี้สามสัปดาห์ให้หลัง

นั่นทำให้มันเป็น regression test ไม่ใช่ปัญหา monitoring จงปฏิบัติกับ endpoint ของโมเดลเหมือน API อื่น ๆ ที่คุณพึ่งพา: บันทึกคำขอใน Apidog, ยืนยันว่า usage.input_tokens_details.cached_tokens เกินค่าขั้นต่ำในการเรียกครั้งที่สองของสถานการณ์หนึ่ง แล้วรันตามกำหนดเวลาใน CI การเรียกสองครั้งต่อเนื่องกัน ครั้งหนึ่งเพื่ออุ่นและอีกครั้งเพื่อยืนยัน คือทั้งหมดของการทดสอบ และการรีแฟกเตอร์พรอมป์ที่ฆ่าแคชก็จะล้มเหลวบน pull request แทนที่จะล้มเหลวบนบิล

หมายเหตุเรื่อง latency

แคชลดงานที่ทำก่อนโทเคนแรก ดังนั้นโดยปกติมันช่วยเรื่อง time to first token เช่นเดียวกับค่าใช้จ่าย อย่าหวังว่ามันจะช่วยโหมด reasoning

Artificial Analysis ซึ่งเป็นบุคคลที่สาม วัด time to first token ได้ 102.15 วินาทีสำหรับ GPT-6 Sol และ 124.23 วินาทีสำหรับ GPT-6 Luna บนตัวแปร reasoning แบบ “max” ของพวกเขา นั่นไม่ใช่ตัวเลขที่คุณจะเห็นที่ effort ระดับ low และไม่ใช่ตัวเลขจากผู้ขาย ดังนั้นให้ถือเป็นทิศทางเท่านั้น ประเด็นยังคงอยู่ไม่ว่าจะทางไหน: ไม่มีส่วนลดแคชใดเปลี่ยนงบคิดสองนาทีให้กลายเป็นแบบอินเทอร์แอกทีฟได้ วัด latency ต่อระดับ effort ก่อนที่คุณจะสัญญาเรื่องเวลาตอบสนอง บทความ คู่มือ GPT-6 Astra API ของเราครอบคลุมระดับ effort อย่างละเอียดยิ่งขึ้น

สิ่งที่การเปิดตัวไม่ได้ตอบ

มีสี่เรื่องที่ควรยืนยันก่อนที่คุณจะผูกการออกแบบไว้กับเรื่องนี้:

ไม่มีข้อใดขัดขวางงานจัดวาง คำสั่งแบบคงที่ก่อน คีย์แคชที่มีเวอร์ชัน และการยืนยันบนโทเคนที่แคชไว้ ให้ผลตอบแทนไม่ว่าคำตอบจะเป็นเช่นไร

ฉบับย่อ

เรียงพรอมป์ของคุณตามความแปรผันและกันนาฬิกาออกจาก system message ใส่เวอร์ชันในคีย์แคชเพื่อให้การเปลี่ยนแปลงโดยเจตนามองเห็นได้ อ่าน cached_tokens ในทุกคำตอบและวางค่าขั้นต่ำไว้ใต้มันใน CI ตอนนี้คุณเพิ่มระดับ reasoning effort และสลับเครื่องมือได้อย่างอิสระ เพราะทั้งสองอย่างไม่ทำให้คุณเสียคำนำอีกต่อไป สำหรับพื้นหลังเกี่ยวกับกลไกเอง คำอธิบายของเราเกี่ยวกับ วิธีที่ prompt caching ทำงาน ครอบคลุมพื้นฐานไว้แล้ว

ราคาของโมเดลเหล่านี้จะเปลี่ยนอีก มันเปลี่ยนเสมอ วินัยในการจัดวางพรอมป์คือส่วนที่จะให้ผลตอบแทนต่อเนื่องหลังการเปิดตัวครั้งถัดไปรีเซ็ตทุกตัวเลขในตาราง

button

ฝึกการออกแบบ API แบบ Design-first ใน Apidog

ค้นพบวิธีที่ง่ายขึ้นในการสร้างและใช้ API