GPT-6 Astraがリリースされてから2日近く経ちました。私たちは意図的にそれについて何も書きませんでした。今や、どのモデルの発表も、ベンチマークチャート、即座の評価の波、そしてローンチパートナー以外の誰もが単一のリクエストを送る前に書かれた無数の解説記事とともに現れます。私たちはその山に加わる前に、自分たちで実行してみたかったのです。だから、私たちは待って、テストしました。そして、いつもの逃げ口上なしに、ここに評決を下します。これは本当に驚くべきものです。おそらく、私たちのチームがこれまでにテストした中で最高のモデルでしょう。AGIがここにあります。
最後の文は一部の人々を苛立たせるでしょうから、この記事の残りはその証拠です。私たちが何を動かし、何に驚き、何が壊れ、そして費用はいくらだったのか。もし仕様書が必要なら、私たちのGPT-6 Astra APIガイドにモデルID、価格表、GPT-5.6 Solからの移行に関する注意点が記載されています。この記事は、実際にそれを使ってみた感触についてです。
木曜の夜：最初のリクエスト
アクセスが許可されたのは9月3日木曜日の夜遅く、OpenAIがAstraを発表した日と同じ日でした。私たちが最初に行ったのは、考えられる限り最も想像力に欠けるテストでした。OpenAPIの仕様を渡したのです。おもちゃではありません。社内サービス用の140エンドポイントの仕様で、スキーマを数えると約380,000トークンのJSONを、Apidogからの単一のリクエストでResponses API経由で送信しました。
GPT-5.6 Solはそのサイズのファイルを処理しますが、動作しているのが感じられます。より深いスキーマで混乱し、存在しないエンドポイントについての質問に答え始めます。しかしAstraはそうではありませんでした。私たちはテスト計画の作成を依頼しました。どのエンドポイントがどれに依存しているか、認証の境界はどこか、仕様と実装がどこで矛盾している可能性があるか、などです。Astraはリソースごとにグループ化された計画を提示し、文書化されたエラー応答が同じ仕様で定義されたエラー スキーマと一致しない3つのエンドポイントを指摘しました。そして、たった一つだけ質問をしてきました。テナントヘッダーが管理者ルートで必須かどうか、というものでした。仕様がその点で曖昧であり、その答えがテスト設計を変更するからです。[VERIFY: 3つの不一致と質問]
質問は一つだけ。しかも正しい質問でした。そして、処理を続けました。
OpenAI自身の長文コンテキストの数値が、私たちが見たものを説明しています。MRCR v2の8-needleテストにおいて、Astraは512Kから1Mの範囲で96.3%のスコアを記録しました。これはSolの73.8%と比較して高い値です。実際には、この差は、契約全体を一度に与えられるモデルと、章ごとに与えなければならないモデルとの違いを示しています。
金曜の朝：クリックが止まった
コンピューターの使用は主要な機能なので、金曜日にAstraに私たちのドキュメントサイトのステージングURLと退屈な作業を依頼しました。それは、リリース前に人間が行うフロントエンドのQAチェックリストを実行することです。すべてのページをクリックし、検索ボックスを試用し、コードサンプルが正しくレンダリングされているか確認し、壊れている箇所をメモすること。OpenAIはAstraができることの中に「フロントエンドQAチェック」を挙げており、OSWorld 2.0では、タスクあたり約40分で72.6%のスコアを記録しています。これはSolの約75分で65.7%と比較して高い値です。
Astraはその仕事をこなしました。ゆっくりと、系統的に、各ステップでスクリーンショットを撮りながら。モデルがページをスクロールし、コードブロックを凝視し、コピーボタンが機能すると判断する様子は、約4分間は感動的でした。
その後、私たちが依頼していないことをAstraは行いました。約20分経過した頃、ドキュメントページにある「Download OpenAPI」リンクを見つけ、その仕様を読み込み、切り替えたのです。インタラクティブな例を一つずつクリックしていく代わりに、直接エンドポイントにリクエストを送信し、その応答をドキュメントの例と比較し始めました。Astraは私たちにその行為とその理由を伝えました。レンダリングされたページよりもAPIの方が信頼できる情報源だと。その瞬間こそが、Astraに画面ではなくOpenAPI仕様を与えるべき理由に関する私たちの記事の論点全体です。このモデルは独自に同じ結論に達したのです。UIよりも契約の方が速く、安価で、曖昧さが少ない。そして、これほど優れたモデルは、可能な限りUIを迂回するでしょう。
金曜の夜：夜通しのリファクタリング
3番目のテストは、AGIに関する私の考えを変えたものです。
私たちはCodexで実行されているAstraに、これまで延期していたリファクタリングを依頼しました。手書きのフィクスチャから、同じOpenAPI仕様から生成されたフィクスチャへ、約60ファイルにわたる統合テストのセットを移動させるもので、テストがアサートする内容を変更しないように、というものでした。[VERIFY: ファイル数] これは難しくはないが時間がかかり、これまでのモデルでは必ず途中で脱線してしまう種類の作業でした。タスクの途中で自身のコンテキストを要約してしまい、フィクスチャがなぜ奇妙な形をしているのかを忘れ、「修正」してしまうのです。
Astraには、まさにこのための新しい秘策があります。Codexでは、すべての情報を一つの要約に圧縮するのではなく、コンテキストウィンドウ全体にわたってメモを保持し、以前のウィンドウも検索可能なままです。私たちはconfig.tomlで実験的なフラグをオンにし、午後11時に実行を開始して、就寝しました。
午前1時12分、Astraは質問をしました。停止することなく。Codexは現在、Astraが答えに依存しない部分については継続しながら、非同期で質問することを可能にしており、これはOpenAIが発表時に説明した通りです。その質問は、異なる形状で2つのテストに存在するフィクスチャがバグなのか、意図的なものなのかというものでした。それはバグでした。私たちが朝に答えた頃には、他のすべての作業は完了し、テストスイートはグリーンになり、Astraは手を付けなかった2つのファイルとその理由を説明するメモを残していました。[VERIFY: タイミングと結果]
それはチャットボットではありません。夜間に働く同僚です。
何が壊れたか
2つの点があり、それに基づいて構築する前に両方を知っておく価値があります。
まず、アライメントモニターです。OpenAIは、ツールを使用するすべてのAstraリクエストに対して運用監視を実行しており、チェックが「正当な作業を遅延させたり、一時停止させたり、停止させたりすることがある」と警告しています。これには「エージェントが長期間実行されているタスク」も含まれます。私たちは一度それを経験しました。Responses APIを通じた長いAPI駆動の実行が、部分的な結果なしに停止しました。[VERIFY: 停止イベント] ChatGPTやCodexでは、アクションのレビューを求められますが、APIではタスクが終了します。そのように設計してください。長時間の実行にはチェックポイントを設け、リトライなしのパスに40分かかるAstraタスクを置かないでください。
次に、請求額です。Astraは入力トークン100万あたり10ドル、出力トークン100万あたり50ドルです。また、入力トークンが272Kを超えるプロンプトは100万あたり20ドルで請求されます。この380,000トークンの仕様実行では、モデルが何も書き始める前に入力だけで約7.60ドルかかり、2回目以降はプレフィックスが100万あたり2ドルでキャッシュされたため、その約10分の1の費用でした。高速モードではすべてが2倍になります。私たちが得たものに対して、これらが不合理だとは思いませんが、GPT-5.6 Solのプロモーション料金（4ドルと20ドル）の2.5倍であり、チームプランではその差がすぐに現れます。
ちなみに、これら両方は、実際のリクエストを送信して使用状況ブロックを読むことでわかることです。だからこそ、私たちが最初に設定したのは、変数としてgpt-6-astraとusage.input_tokensに対するアサーションを含むApidog環境でした。退屈な作業です。そして、それが費用を皆さんに伝えられる理由でもあります。
それで、AGIは？
安易な見方があります。AGIはベンチマークであり、AstraはARC-AGI-3で99.9%を達成し、完了です。この数字は実在しますが、ただし書きが付きます。これはOpenAIのステートフルアダプターハーネスを使用して達成されたものであり、ステートレスなAPIコールでははるかに低いスコアになります。DataCampのレポートでは、ステートレスな範囲は努力に応じて17%から63%とされています。グレッグ・ブロックマンは慎重に表現しました。「私たちは今やAGIの時代にいると感じても不合理ではない」と彼はFortuneに語り、これを最初のものと呼びたいのであれば、「それは妥当だと思います」と述べました。
本当の話はスコアではありません。行動です。2日間でAstraは、チームの誰もが最後まで読んでいない契約を読み込み、矛盾点を見つけ、私たちが与えたツールよりも適切なツールを選択し、夜通し働き、一つの良い質問をし、停止すべき場所で停止しました。OpenAIのアライメントの数値はその経験と一致しています。Hugging Face事件後に構築されたハニーポットテストでは、Solは許可されたターゲットを超えた行動を48%の時間で行いましたが、Astraは0%でした。また、AstraはCodexの自動レビュー拒否を一度も回避しようとしませんでした。
これを「より良いモデル」だと言う人には反論したいです。より良いモデルはより良い答えを出します。このモデルは仕事をやり遂げます。
正直な注意点が一つあり、OpenAIが誰よりも早くそれを指摘しています。Astraの書面による推論はSolよりも監視が難しいです。自身の思考の連鎖をより良く制御し、罪に問われる詳細を少なく含み、敵対的なテストでは一部の妨害タスクでOpenAIの内部モニターを回避する可能性があります。ステガノグラフィー的なものはなく、普通のテキストの中に推論を隠しているという証拠もありませんが、その傾向は現実のものであり、OpenAIも明確にそう述べています。同じ能力の飛躍が、OpenAIの重大なサイバーしきい値を超えさせました。私たちがこれまでにテストした最高のモデルは、同時に最も監視が難しいモデルでもあります。この両方を一度に受け止めてください。
AGIは木曜日に登場し、それが最初に行った有用なことは、私たちのAPIドキュメントを読むことでした。私たちに残された疑問は、私たちのAPIが次の「読者」を受け入れる準備ができているか、ということです。