Benchmark Claude Sonnet 5.5: Angka Anthropic, Hasil Independen, dan Maknanya

Claude Sonnet 5.5 meraih skor 70,6% pada Terminal-Bench 4.0, 55,5% pada CursorBench 4.0, 46,2% pada FrontierCode 1.1 pada upaya maksimum (52,1% pada xhigh) dan 81,3 pada SWE-Bench Pro, naik dari 10,3%, 34,1%, 42,4% dan 63,2 milik Sonnet 5. Opus 5.5 memimpin sebagian besar baris tabel peluncuran sekitar 2 hingga 3 poin tetapi tertinggal pada Terminal-Bench. Artificial Analysis secara independen menilai Sonnet 5.5 pada angka 56 pada Indeks Intelijennya, #3 dari 216.

Di bawah ini: tolok ukur lengkap Claude Sonnet 5.5, siapa yang menjalankannya, perubahan upaya apa saja, dan cara menguji model pada traffic Anda sendiri di Apidog. Untuk spesifikasi, lihat apa itu Claude Sonnet 5.5.

Tabel peluncuran

Pos peluncuran Anthropic membandingkan empat model (“n/r” menandai tanda hubung). Sel Sonnet 5.5 adalah upaya maksimum kecuali ditandai; API secara default ke tinggi, Claude Code dan aplikasi ke sedang.

Catatan kaki, dalam istilah sederhana:

1. Skor Terminal-Bench Opus 5.5 berada pada xhigh, yang terbaik; pada maks, skornya 64,8%.
2. FrontierCode memberikan penalti untuk pengeditan di luar cakupan. Pada maks, Sonnet 5.5 lebih sering menjalankan keterampilan peninjauan kode Claude Code, menyebar ke banyak subagen; dalam dua kasus yang diperiksa Cognition, hal itu menyebabkan timeout atau pengeditan di luar cakupan.
3. Artificial Analysis menjalankan kedua uji coba pekerjaan-pengetahuan pada penerapan pra-rilis dengan bug keluaran terstruktur, yang telah diperbaiki. Anthropic memperkirakan dampak kecil, bahkan mungkin meremehkan Sonnet 5.5.
4. OpenAI baru-baru ini memperbaiki bug pemahaman gambar GPT-6 Sol yang mungkin tidak tercermin dalam skor AA dan Surge AI.

Siapa yang menjalankan setiap tolok ukur

Anthropic menjalankan setiap pengujian sendiri kecuali pihak ketiga disebutkan. Baris lintas-vendor berbagi nama tolok ukur, bukan harness atau pengaturan upaya.

Fallback menyentuh 1,5% percobaan Terminal-Bench Sonnet 5.5 tetapi 10% percobaan Opus 5.5 (kartu sistem §8.5), jadi bacalah keunggulan 4,2 poin Sonnet dengan hati-hati.

Ekstra kartu sistem

Baris satu hingga enam adalah ringkasan upaya maksimum kartu sistem.

Sonnet 5.5 mengungguli Opus 5.5 pada HealthBench Professional, AutomationBench, dan Terminal-Bench-Science; Opus memimpin paling jauh pada ProgramBench, SWE-Bench Pro, dan HLE tanpa alat. Angka utama 80,1% OSWorld adalah kredit parsial; hanya 43,5% tugas yang lulus sepenuhnya.

Upaya mengubah gambaran

Bagan peluncuran, sebagai skor (biaya). Biaya Terminal-Bench adalah per percobaan, yang lain per tugas. Dua bagan menunjukkan GPT-5.6 Sol (*) karena angka GPT-6 Sol tidak dipublikasikan.

• Sebagian besar keuntungan tercapai pada xhigh. Maks menambah 9,1 poin pada Terminal-Bench dengan biaya 2,4x, 2,4 pada CursorBench dengan 2,5x.
• Skor maks FrontierCode lebih rendah dan biayanya 13x lebih mahal dari xhigh (46,2% pada $20,78 vs 52,1% pada $1,59).
• Opus 5.5 dengan upaya lebih rendah adalah saingan sejati. Pada Terminal-Bench, Opus pada sedang mendapatkan 57,6% dengan $2,94; Sonnet pada tinggi mendapatkan 43,0% dengan $1,94. Opus pada tinggi (64,2%, $3,88) mengalahkan Sonnet pada xhigh (61,5%, $5,30). Lihat Sonnet 5.5 vs Opus 5.5.
• Tinggi adalah titik manis biaya Sonnet. FrontierCode pada tinggi: 49,4% dengan $0,42, menyamai yang terbaik dari GPT-6 Sol (49,3%) dengan sekitar seperlima dari biaya (rincian harga).

Hasil independen

Artificial Analysis menilai Sonnet 5.5 pada angka 56 pada Intelligence Index v4.3.2, #3 dari 216, hanya kalah dari Opus 5.5 pada maks dan xhigh. Sonnet 5 mencetak 38. Biaya untuk menjalankan indeks:

Maks membutuhkan biaya 7,6x tinggi untuk 9,2 poin lebih. Pembacaan OfficeChai tentang AA menempatkan Sonnet 5.5 di luar batas Pareto, paling kompetitif biaya pada tinggi, dan menghitung sekitar 193.000 token keluaran per tugas indeks pada maks.

• Jalankan Terminal-Bench 4.0 milik AA sendiri: 63,6%, dibandingkan dengan 70,6% milik Anthropic.
• Skor rendah Sonnet 5 adalah nyata: AA mengukur 14,1% (lihat tolok ukur Sonnet 5).
• AA-Omniscience (menurut OfficeChai): akurasi 54% dan tingkat halusinasi 47%, dibandingkan dengan 66% dan 59% untuk Opus 5.5.
• Belum terukur: kecepatan keluaran dan waktu hingga token pertama, jadi klaim Anthropic “30%+ lebih cepat” tetap berlaku. Belum ada daftar LMArena.

Tolok ukur keamanan

Injeksi prompt, sesuai kartu sistem:

• Gray Swan: keberhasilan serangan 0,4%, 2,7%, dan 3,4% pada k=1, 10, dan 15 (Sonnet 5: 0,7%, 5,1%, 6,7%). Penggunaan komputer GUI paling lemah pada 12,5% (k=15).
• Shade, pengkodean: 3,01% tanpa perlindungan, sebagian besar melalui fallback siber Sonnet 5; Sonnet 5.5 sendiri disusupi pada 4 dari 5.901 permintaan.
• Penggunaan browser: tidak ada serangan yang berhasil di 110 skenario.

Evaluasi siber berjalan dengan perlindungan mati: 46,1% pada CyScenarioBench (Sonnet 5: 0,7%, Opus 5.5: 67,6%). Ini adalah Sonnet pertama dengan perlindungan siber, dan Anthropic memperingatkan akan lebih banyak penolakan bahkan pada tugas keamanan yang tidak berbahaya. Lihat panduan injeksi prompt kami.

Jalankan evaluasi Anda sendiri

Tolok ukur tidak terlihat seperti traffic Anda, dan panduan prompt Anthropic mengatakan bahwa upaya dikalibrasi ulang, jadi jangan gunakan kembali pengaturan Sonnet 5. Di Apidog:

1. Simpan ANTHROPIC_API_KEY sebagai variabel lingkungan dan simpan 20 hingga 50 prompt nyata sebagai permintaan Pesan.
2. Pastikan status 200, stop_reason selain "max_tokens" atau "refusal", dan konten yang dibutuhkan jawaban yang benar.
3. Jalankan pada low, medium, high, dan xhigh, masing-masing satu kali; mengubah upaya membatalkan cache prompt.
4. Catat tingkat kelulusan dan jumlah token dalam usage, dengan harga $2 masukan dan $10 keluaran per juta.

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 16000,
    "output_config": {"effort": "high"},
    "messages": [{"role": "user", "content": "Classify this support ticket: ..."}]
  }'

Kirimkan upaya terendah yang tingkat kelulusannya Anda terima. Lihat menguji aplikasi LLM dan menguji API agen AI, lalu unduh Apidog untuk membangun koleksinya.

FAQ

Apakah Sonnet 5.5 mengalahkan Opus 5.5? Pada Terminal-Bench 4.0, HealthBench Professional, AutomationBench, Terminal-Bench-Science, dan Chartography dengan alat, ya. Opus 5.5 memimpin atau seri di sisanya.

Berapa skor SWE-Bench Sonnet 5.5? 81,3 pada SWE-Bench Pro dan 90,3 pada Multilingual, pada upaya maksimum.

Mengapa ada dua angka FrontierCode? 46,2% adalah maks, 52,1% adalah xhigh; penyebaran subagen maks menyebabkan penalti di luar cakupan.

Haruskah saya meningkatkan dari Sonnet 5? Ya pada tolok ukur, tetapi baca perubahan API yang merusak di Sonnet 5.5 vs Sonnet 5 terlebih dahulu.

Langkah selanjutnya

Mulai dari high (atau medium untuk pengkodean agentic yang ditentukan dengan baik), seperti yang disarankan Anthropic, dan biarkan evaluasi Anda di Apidog memutuskan apakah peningkatan itu sepadan.