Tolok Ukur Grok 4.5: Apa yang Dipublikasikan xAI dan Cara Membacanya

xAI meluncurkan Grok 4.5 pada 8 Juli 2026 dengan empat tolok ukur pengkodean dan satu grafik efisiensi. Angka-angka ini benar-benar menarik, dan juga dipilih dengan cermat. Artikel ini memaparkan setiap angka yang dipublikasikan, dari mana asalnya, apa yang kurang, dan cara menjalankan evaluasi Anda sendiri daripada menunggu papan peringkat untuk mengejar.

Pendapat jujur dalam satu kalimat: Grok 4.5 berkinerja sebagai model pengkodean tingkat dua yang kuat, membagi hasil dengan Claude Opus 4.8 sementara tertinggal dari yang terdepan, dan angka utamanya adalah efisiensi keluaran, bukan skor akurasi apa pun.

tombol

Setiap angka yang dipublikasikan xAI

Dari pengumuman tersebut, keempat grafik selengkapnya:

DeepSWE 1.0 (pass@1)

DeepSWE 1.1

Terminal Bench 2.1

SWE Bench Pro (tingkat penyelesaian)

Ditambah grafik efisiensi: 15.954 rata-rata token keluaran per tugas SWE Bench Pro untuk Grok 4.5, berbanding 67.020 untuk Opus 4.8 (maks), perbedaan 4,2x.

Dari mana angka-angka ini berasal

Catatan kaki pada grafik xAI lebih penting dari biasanya:

• DeepSWE 1.0 “dibuat oleh Datacurve, dijalankan dengan harness masing-masing penyedia model oleh AA.”
• DeepSWE 1.1 menggunakan “harness mini-swe-agent yang dijalankan oleh Datacurve.”
• “Angka-angka pesaing diambil dari kartu sistem yang diterbitkan pengembang masing-masing atau papan peringkat tolok ukur.”

Terjemahan: ini adalah mosaik. Beberapa angka berasal dari toko evaluasi pihak ketiga, beberapa dari halaman pemasaran vendor pesaing, dirangkai oleh vendor dengan sesuatu untuk dijual. Itu lebih transparan daripada pelaporan mandiri murni, dan keterlibatan Datacurve menambah kredibilitas. Ini masih bukan evaluasi independen: harness, perancah, dan pengaturan upaya berbeda di berbagai sumber, dan masing-masing dapat menggeser skor agen beberapa poin. Belum ada pihak di luar mosaik ini yang memublikasikan angka Grok 4.5.

Tiga pembacaan dari grafik yang sama

Melawan Opus 4.8, ini adalah pembagian yang jujur. Dua kemenangan (DeepSWE 1.0 dengan 6,25, Terminal Bench dengan 4,4), dua kekalahan (DeepSWE 1.1 dengan 6, SWE Bench Pro dengan 4,5). Pembingkaian "kelas-Opus" Musk bertahan setelah bersentuhan dengan data yang dia publikasikan; klaim yang lebih kuat tidak akan bertahan. Perhatikan tolok ukur mana yang berada di sisi mana: Grok memenangkan evaluasi yang berorientasi terminal dan yang lebih lama, Opus memenangkan yang baru, yang lebih berantakan di tingkat repo. Perbandingan langsung, dengan harga disertakan, di Grok 4.5 vs Claude Opus 4.8.

Melawan yang terdepan, tidak ada persaingan, dan xAI tidak berpura-pura sebaliknya. Claude Fable 5 (maks) menduduki puncak keempat grafik di halaman xAI sendiri, dan GPT 5.5 (xhigh) mengalahkan Grok 4.5 di tiga dari empat grafik. Langkah menariknya adalah xAI mencetak ini daripada memotongnya. Penawarannya secara eksplisit adalah harga-kinerja, bukan supremasi. Apa arti angka Fable dalam praktik dibahas dalam analisis tolok ukur Fable 5 kami.

Melawan pendahulunya sendiri, peningkatannya nyata tetapi sempit. Lompatan Opus 4.7 ke 4.8 pada grafik ini mengerdilkan sebagian besar kesenjangan generasi, dan keunggulan Grok 4.5 dibandingkan model seperti GLM 5.2, yang harganya hanya sebagian kecil, adalah 9-11 poin pada dua tolok ukur yang dibagikan. Pembeli yang mencari kemampuan per dolar harus membaca kesenjangan tersebut dengan cermat ke kedua arah.

Metrik yang ingin xAI Anda lihat

Grafik efisiensi adalah inti strategis dari peluncuran ini. 15.954 token keluaran per tugas yang diselesaikan, berbanding 67.020 untuk Opus 4.8 (maks), berarti Grok 4.5 menyelesaikan pekerjaan yang sebanding dalam waktu kurang dari seperempat volume keluaran, dengan kecepatan 80 token per detik.

Ini adalah metrik yang sah, bukan putarbalik fakta. Token keluaran dikenakan biaya uang dan waktu yang berlalu; dalam perulangan agen, mereka bertambah di setiap langkah. Model yang mencetak 4,5 poin lebih rendah pada SWE Bench Pro tetapi mengeluarkan 4,2x lebih sedikit token masih bisa menjadi pilihan rasional untuk pipeline bervolume tinggi, yang persis seperti yang dikuantifikasi analisis harga kami (~$0,10 vs ~$1,68 keluaran per tugas yang diselesaikan dengan harga daftar).

Dua peringatan. Diukur oleh vendor, satu tolok ukur. Dan verbositas bukanlah pemborosan untuk model pembanding: keluaran panjang Opus adalah penalaran yang diperluas, yang merupakan bagian dari cara ia memenangkan evaluasi yang ia menangkan. Efisiensi dan kedalaman adalah pertukaran nyata, bukan makan siang gratis.

Apa yang hilang

Alasan untuk menunda penilaian selama beberapa minggu:

• Tidak ada evaluasi pihak ketiga independen. Tidak ada entri indeks intelijen Artificial Analysis, tidak ada penempatan LMArena, tidak ada replikasi SWE-bench komunitas per 9 Juli.
• Hanya pengkodean. xAI tidak memublikasikan tolok ukur penalaran umum, matematika, sains, atau keamanan untuk model yang juga dipasarkan untuk "pekerjaan pengetahuan". Kemampuan kerja perkantoran dikirimkan sebagai demo, bukan evaluasi.
• Tidak ada pengungkapan mode upaya untuk Grok itu sendiri. Pesaing diberi label (maks, xhigh); apakah skor Grok 4.5 mencerminkan konfigurasi default atau maksimumnya tidak disebutkan.
• Model minggu pertama. Regresi, ketidakstabilan layanan, dan perubahan kemampuan yang tidak kentara umum terjadi di bulan pertama setelah peluncuran apa pun.

Jalankan tolok ukur yang penting: milik Anda

Tolok ukur publik memprediksi rata-rata, bukan beban kerja Anda. Evaluasi pribadi yang ringan mengalahkan semua hal di atas untuk keputusan perpindahan:

1. Kumpulkan 10-20 tugas nyata dari backlog Anda sendiri: prompt, konteks basis kode, hasil yang diharapkan.
2. Di Apidog, buat satu permintaan tersimpan per model kandidat. Baik xAI maupun Anthropic mengekspos permukaan yang kompatibel dengan OpenAI, jadi harness adalah satu koleksi dengan variabel model, bukan tiga basis kode.
3. Jalankan setiap tugas terhadap grok-4.5 dan model Anda saat ini. Tegaskan pada objek usage dan tangkap latensi, sehingga Anda menilai kualitas, kecepatan, dan konsumsi token dalam satu proses.
4. Nilai keluaran secara buta jika Anda bisa; nama model lebih memihak peninjau daripada yang diakui siapa pun.

Langkah terakhir itulah di mana klaim efisiensi diuji terhadap kenyataan: jika keluaran Grok 4.5 pada prompt Anda tidak terukur lebih pendek, ekonomi utama tidak berlaku untuk Anda. Unduh Apidog gratis dan seluruh harness hanya butuh satu jam. Detail pengaturan untuk sisi xAI ada di panduan API Grok 4.5 kami.

FAQ

Tolok ukur apa yang dipublikasikan xAI untuk Grok 4.5? Empat evaluasi pengkodean (DeepSWE 1.0 dan 1.1, Terminal Bench 2.1, SWE Bench Pro) ditambah perbandingan efisiensi token terhadap Opus 4.8. Tidak ada di luar pengkodean.

Apakah ada tolok ukur Grok 4.5 independen? Belum. Angka-angka yang dipublikasikan mencampur evaluasi yang dijalankan Datacurve dengan angka dari kartu sistem vendor lain. Indeks independen biasanya muncul dalam beberapa minggu setelah peluncuran besar.

Apakah Grok 4.5 mengalahkan Claude Opus 4.8? Pada dua dari empat tolok ukur yang dipublikasikan, dengan biaya yang jauh lebih rendah. Opus memenangkan dua evaluasi tingkat repo yang lebih sulit. Lihat perbandingan lengkapnya.

Apakah Grok 4.5 model pengkodean terkuat yang tersedia? Tidak, dan grafik xAI sendiri mengatakannya: Claude Fable 5 (maks) memimpin setiap tolok ukur yang dipublikasikan. Grok 4.5 bersaing dalam hal intelijen per dolar.

tombol