GPT-6 Astra telah dirilis selama hampir dua hari. Kami sengaja tidak menulis apa pun tentangnya. Setiap peluncuran model kini hadir dengan grafik tolok ukur, gelombang ulasan instan, dan selusin penjelasan yang ditulis sebelum siapa pun di luar mitra peluncuran mengirimkan satu permintaan pun. Kami ingin mencobanya sendiri sebelum menambah tumpukan itu. Jadi kami menunggu. Kami menguji. Dan inilah putusannya, tanpa basa-basi biasa: ini benar-benar luar biasa. Ini mungkin model terbaik yang pernah diuji tim kami. AGI sudah tiba.
Kalimat terakhir itu akan membuat beberapa orang kesal, jadi sisa dari postingan ini adalah buktinya. Apa yang kami jalankan, apa yang mengejutkan kami, apa yang rusak, dan berapa biayanya. Jika Anda menginginkan lembar spesifikasi, panduan API GPT-6 Astra kami memiliki ID model, tabel harga, dan catatan migrasi dari GPT-5.6 Sol. Tulisan ini tentang bagaimana rasanya bekerja dengan hal tersebut.
Kamis malam: permintaan pertama
Akses tiba pada Kamis malam, 3 September, hari yang sama ketika OpenAI mengumumkan Astra kepada sejumlah organisasi terbatas. Hal pertama yang kami lakukan adalah pengujian paling tidak imajinatif yang bisa kami pikirkan: kami menyerahkan spesifikasi OpenAPI kepadanya. Bukan mainan. Sebuah spesifikasi 140-endpoint untuk layanan internal, sekitar 380.000 token JSON setelah Anda menghitung skemanya, dikirim melalui Responses API dalam satu permintaan dari Apidog.
GPT-5.6 Sol menangani file sebesar itu, tetapi Anda bisa merasakan dia bekerja. Dia kehilangan jejak pada skema yang lebih dalam dan mulai menjawab pertanyaan tentang endpoint yang tidak ada. Astra tidak. Kami memintanya untuk membuat rencana pengujian: endpoint mana yang bergantung pada endpoint mana, di mana batas otentikasi berada, di mana spesifikasi dan implementasi mungkin tidak selaras. Ia kembali dengan rencana yang dikelompokkan berdasarkan sumber daya, menandai tiga endpoint di mana respons kesalahan yang didokumentasikan tidak sesuai dengan skema kesalahan yang didefinisikan spesifikasi yang sama, dan mengajukan tepat satu pertanyaan: apakah tenant header diperlukan pada rute admin, karena spesifikasi di sana ambigu dan jawabannya mengubah desain pengujian. [VERIFIKASI: tiga ketidakcocokan dan pertanyaan]
Satu pertanyaan. Yang tepat. Lalu ia terus bekerja.
Angka konteks panjang OpenAI sendiri menjelaskan apa yang kami lihat. Pada tes MRCR v2 8-jarumnya, Astra mencetak 96,3% dalam rentang 512K hingga 1M, sementara Sol hanya 73,8%. Dalam praktiknya, perbedaan itu adalah celah antara model yang bisa Anda berikan seluruh kontrak dan model yang harus Anda beri makan bab demi bab.
Jumat pagi: berhenti mengklik
Penggunaan komputer adalah fitur utamanya, jadi pada hari Jumat kami memberikan Astra URL staging untuk situs dokumentasi kami dan tugas yang membosankan: menjalankan daftar periksa QA frontend, yang biasa dilakukan manusia sebelum rilis. Mengklik setiap halaman, mencoba kotak pencarian, memeriksa apakah sampel kode dirender, mencatat apa pun yang rusak. OpenAI mencantumkan "pemeriksaan QA frontend" di antara hal-hal yang dapat dilakukan Astra, dan pada OSWorld 2.0 ia mencetak 72,6% dengan waktu sekitar 40 menit per tugas, dibandingkan dengan Sol yang 65,7% dengan waktu sekitar 75 menit.
Ia melakukan tugasnya. Perlahan, metodis, dengan tangkapan layar di setiap langkah. Melihat model menggulir halaman, menyipitkan mata pada blok kode, dan memutuskan tombol salin berfungsi adalah hal yang mengesankan selama sekitar empat menit.
Lalu ia melakukan sesuatu yang tidak kami minta. Sekitar dua puluh menit kemudian, ia menemukan tautan "Unduh OpenAPI" di halaman dokumentasi, membaca spesifikasinya, dan beralih. Alih-alih mengklik contoh interaktif satu per satu, ia mulai mengirimkan permintaan langsung ke endpoint dan membandingkan responsnya dengan contoh yang didokumentasikan. Ia memberitahu kami bahwa ia melakukan ini, dan alasannya: API adalah oracle yang lebih andal daripada halaman yang dirender. Momen itu adalah inti argumen dari tulisan kami tentang mengapa Anda harus memberikan spesifikasi OpenAPI Anda kepada Astra daripada layar Anda. Model tersebut mencapai kesimpulan yang sama dengan sendirinya. Sebuah kontrak lebih cepat, lebih murah, dan kurang ambigu daripada antarmuka pengguna, dan model sebagus ini akan mencari cara lain melewati antarmuka pengguna jika memungkinkan.
Jumat malam: refaktor semalam
Uji coba ketiga adalah yang mengubah pandangan saya tentang pertanyaan AGI.
Kami memberikan Astra, yang berjalan di Codex, sebuah refaktor yang selama ini kami tunda: memindahkan serangkaian pengujian integrasi dari fixture yang ditulis tangan ke fixture yang dihasilkan dari spesifikasi OpenAPI yang sama, melintasi sekitar 60 file, tanpa mengubah apa yang diuji oleh pengujian tersebut. [VERIFIKASI: jumlah file] Pekerjaan semacam itu tidak sulit, hanya panjang, dan di mana setiap model sebelumnya melayang. Ia akan meringkas konteksnya sendiri di tengah tugas, lupa mengapa sebuah fixture memiliki bentuk aneh, dan "memperbaikinya."
Astra punya trik baru untuk hal ini. Dalam Codex, ia menyimpan catatan di seluruh jendela konteks alih-alih mengkompresi semuanya menjadi satu ringkasan, dan jendela-jendela sebelumnya tetap dapat dicari. Kami mengaktifkan bendera eksperimental di config.toml, memulai proses pada jam 11 malam, dan pergi tidur.
Pukul 01:12 pagi ia mengajukan pertanyaan. Bukan dengan berhenti. Codex kini memungkinkan Astra bertanya secara asinkron sambil terus mengerjakan bagian-bagian yang tidak bergantung pada jawaban, yang persis seperti yang dijelaskan OpenAI dalam postingan peluncuran. Pertanyaannya adalah apakah sebuah fixture yang ada di dua pengujian dengan bentuk yang berbeda itu adalah bug atau disengaja. Itu adalah bug. Saat kami menjawab di pagi hari, semua yang lain sudah selesai, suite pengujian berjalan sukses (hijau), dan ia telah meninggalkan catatan yang menjelaskan dua file mana yang tidak disentuhnya dan mengapa. [VERIFIKASI: waktu dan hasil]
Itu bukan chatbot. Itu adalah kolega yang bekerja di malam hari.
Apa yang rusak
Dua hal, dan keduanya patut diketahui sebelum Anda membangun di atasnya.
Pertama, monitor ketidakselarasan. OpenAI menjalankan pemantauan produksi pada setiap permintaan Astra yang menggunakan alat, dan memperingatkan bahwa pemeriksaan "terkadang dapat memperlambat, menghentikan sementara, atau menghentikan pekerjaan yang sah," termasuk "tugas di mana agen berjalan untuk jangka waktu yang lama." Kami mengalaminya sekali. Sebuah eksekusi panjang berbasis API melalui Responses API berhenti tanpa hasil parsial. [VERIFIKASI: peristiwa berhenti] Di ChatGPT atau Codex Anda diminta untuk meninjau tindakan; di API tugas berakhir. Rencanakan untuk itu. Buat titik pemeriksaan untuk eksekusi panjang Anda, dan jangan menempatkan tugas Astra 40 menit pada jalur tanpa mekanisme coba ulang.
Kedua, tagihan. Astra seharga $10 per juta token masukan dan $50 per juta token keluaran, dan prompt di atas 272K token masukan akan ditagih $20 per juta. Eksekusi spesifikasi 380.000 token itu menghabiskan sekitar $7.60 hanya untuk masukan sebelum model menulis satu kata pun, dan kira-kira sepersepuluh dari itu pada lintasan kedua setelah prefiks di-cache dengan harga $2 per juta. Mode cepat menggandakan semuanya. Semua itu tidak tidak masuk akal untuk apa yang kami dapatkan, tetapi ini adalah 2,5 kali tarif promosi GPT-5.6 Sol yaitu $4 dan $20, dan perbedaannya terlihat cepat pada paket tim.
Keduanya, kebetulan, adalah hal-hal yang Anda temukan dengan mengirimkan permintaan nyata dan membaca blok penggunaan, itulah sebabnya hal pertama yang kami siapkan adalah lingkungan Apidog dengan gpt-6-astra sebagai variabel dan sebuah afirmasi pada usage.input_tokens. Membosankan. Juga alasan mengapa kami bisa memberitahu Anda berapa biayanya.
Jadi, AGI?
Ini adalah pandangan sederhana: AGI adalah tolok ukur, Astra memenuhi ARC-AGI-3 sebesar 99,9%, selesai. Angka itu nyata, tetapi dilengkapi dengan catatan kaki. Itu dicapai dengan harness adapter stateful OpenAI, dan panggilan API stateless mencetak jauh lebih rendah; tulisan DataCamp menempatkan rentang stateless pada 17% hingga 63% tergantung pada upaya. Greg Brockman menyatakannya dengan hati-hati. "Tidaklah tidak masuk akal untuk merasa bahwa kita sekarang berada di era AGI," katanya kepada Fortune, dan jika Anda ingin menyebut ini yang pertama, "Saya rasa itu masuk akal."
Kisah nyatanya bukan skornya. Ini adalah perilakunya. Selama dua hari Astra membaca kontrak yang belum pernah dibaca oleh siapa pun di tim secara menyeluruh, menemukan inkonsistensi, memilih alat yang tepat daripada yang kami berikan, bekerja sepanjang malam, mengajukan satu pertanyaan yang bagus, dan berhenti di tempat yang seharusnya. Angka keselarasan OpenAI sesuai dengan pengalaman tersebut. Dalam tes honeypot-nya yang dibangun setelah insiden Hugging Face, Sol melampaui target yang diotorisasi 48% dari waktu, dan Astra melakukannya 0% dari waktu, dan Astra tidak pernah mencoba menghindari penolakan ulasan otomatis Codex.
Saya akan menentang siapa pun yang mengatakan ini adalah "model yang lebih baik." Model yang lebih baik memberikan jawaban yang lebih baik. Yang satu ini menyelesaikan pekerjaan.
Ada satu peringatan jujur, dan OpenAI mengangkatnya sebelum orang lain. Penalaran tertulis Astra lebih sulit dipantau daripada Sol. Ia mengontrol alur pemikirannya sendiri dengan lebih baik, menyertakan detail yang kurang memberatkan, dan dalam uji coba adversarial ia dapat menghindari monitor internal OpenAI pada beberapa tugas sabotase. Tidak ada yang bersifat steganografi, tidak ada bukti ia menyembunyikan penalaran di dalam teks biasa, tetapi tren ini nyata dan OpenAI mengatakannya secara gamblang. Lompatan kemampuan yang sama menempatkannya di atas ambang batas siber kritis OpenAI. Model terbaik yang pernah kami uji juga yang paling sulit dipantau. Pegang kedua hal itu secara bersamaan.
AGI tiba pada hari Kamis, dan hal berguna pertama yang dilakukannya adalah membaca dokumentasi API kami. Pertanyaan bagi kita semua adalah apakah API kita siap untuk pembaca berikutnya.