Claude Haiku 5.5 Benchmark

Claude Haiku 5.5 mencetak 72,4% pada OSWorld 2.1, 1620 pada GDPval-AA v2.1, 46,4% pada FrontierCode 1.1, dan 39,2% pada Terminal-Bench 4.0. Haiku 4.5 mencetak 15,7%, 735, dan 0,0% pada tiga di antaranya. Semua adalah angka-angka dengan upaya maksimal; pada upaya standar medium, GDPval-AA turun menjadi 1277. Belum ada laboratorium independen yang menerbitkan hasil Haiku 5.5.

Di bawah ini: setiap tolok ukur Claude Haiku 5.5, siapa yang menjalankannya, bagaimana upaya memengaruhi skor dan biaya, serta cara menguji model pada lalu lintas Anda sendiri di Apidog. Untuk spesifikasi dan harga, mulailah dengan apa itu Claude Haiku 5.5.

Tabel peluncuran

Setiap sel Haiku 5.5 menggunakan pemikiran adaptif pada upaya maksimal, biasanya dirata-ratakan dari lima percobaan (Terminal-Bench menggunakan sepuluh per tugas). "n/r" berarti tidak ada hasil yang diterbitkan.

Siapa yang menjalankan setiap tolok ukur

Anthropic menjalankan sebagian besar tes sendiri. Baris antar vendor berbagi nama tolok ukur, tidak selalu sama dalam pengaturan harness atau upaya.

Dua sel GPT-6 Luna memerlukan konteks. Anthropic menjalankan skor OSWorld Luna melalui API OpenAI pada 82 tugas yang sama. Terminal-Bench Luna 16,4% berasal dari papan peringkat publik (Codex CLI, upaya maksimal). Pada Terminal-Bench, pengamanan menghentikan 1,8% percobaan Haiku 5.5 (12 dari 660), dan setiap percobaan dihitung sebagai kegagalan.

Jebakan FrontierCode

Tabel peluncuran menempatkan Haiku 5.5 pada maks (46,4%) di samping Sonnet 5.5 pada sangat tinggi (52,1%), skor terbaik Sonnet. Kartu sistem memberikan angka-angka yang sebanding:

Pada upaya maksimal, Haiku 5.5 sedikit mengungguli Sonnet 5.5 pada Utama, 46,4% berbanding 46,2%. Pada pengaturan terbaik setiap model, Sonnet memimpin dengan 5,7 poin. Sebutkan upaya yang Anda maksud saat mengutip salah satunya.

Tambahan kartu sistem

Kartu sistem menambahkan baris yang dilewati postingan peluncuran. Semua adalah upaya maksimal kecuali jika disebutkan.

72,4% OSWorld adalah kredit parsial; hanya 37,1% tugas yang lulus sepenuhnya. Kartografi hampir dua kali lipat dengan alat (46,4% menjadi 86,2%), jadi berikan alat kepada Haiku 5.5 untuk pekerjaan grafik.

Skor upaya standar lebih rendah

Haiku 5.5 secara default menggunakan medium pada API Claude dan di Claude Code. Kartu sistem melaporkan hasil upaya standar ini:

Panggil API tanpa output_config.effort dan harapkan kolom kiri. Dokumen upaya mencakup kelima tingkatan.

Skor dan biaya berdasarkan upaya

Dari grafik peluncuran, sebagai skor (biaya). Biaya OSWorld dan Terminal-Bench adalah per percobaan; GDPval-AA adalah per tugas.

• Maksimal mahal untuk langkah terakhirnya. Pada GDPval-AA, maksimal menghabiskan sekitar 28x menengah untuk 343 poin Elo lebih. Pada OSWorld, maksimal menghabiskan lebih dari dua kali sangat tinggi untuk 4,8 poin.
• Haiku 5.5 pada menengah mengalahkan Luna pada maksimal di OSWorld: 53,3% untuk $0.13 versus 48,9% untuk $0.21. Luna lebih murah pada setiap tingkatan pencocokan lainnya; pada menengah keduanya memiliki biaya yang hampir sama. Lihat Haiku 5.5 vs GPT-6 Luna.
• Haiku 5.5 pada maksimal mengalahkan Sonnet 5.5 pada menengah di OSWorld (72,4% untuk $0.61 versus 66,0% untuk $0.93).
• Terminal-Bench adalah pengecualian. Sonnet 5.5 pada tinggi (43,0%, $1.46) mengalahkan Haiku 5.5 pada maksimal (39,2%, $2.64) dengan biaya lebih sedikit. Biaya Sonnet menggunakan harga baca cache baru $0.10.

Biaya menggunakan harga daftar: $0.10/$0.50 per juta token untuk prompt hingga 100K token, lebih tinggi di atas itu (lihat rincian harga).

Di mana Haiku 5.5 masih tertinggal

Sonnet 5.5 memimpin setiap baris tabel peluncuran. Satu-satunya kemenangan head-to-head Haiku adalah FrontierCode pada upaya maksimal yang cocok. Kesenjangan terluas adalah Terminal-Bench 4.0: 39,2% versus 70,6%. SWE-Bench Pro (64,8 versus 81,3) dan SWE-bench Multimodal (30,7 versus 54,3) menunjukkan pola yang sama.

Anthropic setuju: Sonnet 5.5 dan Opus 5.5 "tetap menjadi pilihan yang lebih baik untuk tugas pengkodean agen yang kompleks." Haiku 5.5 cocok untuk pekerjaan dengan cakupan sempit: pemadatan, peringkasan, klasifikasi, penggunaan browser, dan sub-agen di bawah model yang lebih besar. Menjalankannya sebagai sub-agen murah dibahas di Haiku 5.5 di Claude Code.

Hasil independen: belum ada

Per 8 Oktober 2026, belum ada laboratorium independen yang menerbitkan hasil Haiku 5.5. Halaman Haiku 5.5 Artificial Analysis mengembalikan 404, dan papan peringkatnya hanya mencantumkan Claude 4.5 Haiku. Vals, LMArena, SWE-bench, dan Aider juga tidak menunjukkan apa pun. Tidak ada angka kecepatan pihak ketiga; Anthropic menyebut Haiku 5.5 sebagai "model tercepat hingga saat ini" pada kecepatan standar, lebih lambat dari Opus dalam Mode Cepat.

Angka eksternal terdekat berasal dari Cursor. Dokumen modelnya mengatakan Haiku 5.5 "mencetak 48,4% pada CursorBench pada upaya maksimal," naik dari 30,9% pada rendah. Dengan pemikiran dimatikan, Cursor melaporkan 22,1% hingga 26,2% pada tingkat upaya yang sama di mana pemikiran dihidupkan mencetak 30,9% hingga 42,3%.

Apa yang dilaporkan pelanggan

Ini berasal dari postingan peluncuran Anthropic dan belum diverifikasi secara independen:

• HubSpot: 92,8% rata-rata dari tiga percobaan pada suite portal CRM simulasinya, skor terbaik yang pernah dilihatnya pada suite tersebut.
• AlphaSense: 0,84 versus 0,76 Haiku 4.5 pada 400 kueri Tanya dalam Dokumen, yang disebutnya signifikan secara statistik.
• Box: 11 poin lebih tinggi dari Haiku 4.5 dengan sekitar setengah latensi, dalam pengujian awal.
• Asana: latensi lebih dari 30% lebih rendah untuk penyelesaian tugas versus modelnya saat ini.
• Cognition: Devin Fusion memegang skor FrontierCode 66,2 dengan Haiku 5.5 sebagai rekan dan Opus 5.5 sebagai pemimpin. Itu adalah sistem dua model, bukan Haiku saja.

Jalankan evaluasi Anda sendiri

Tolok ukur tidak terlihat seperti lalu lintas Anda. Panduan prompt Anthropic menyarankan penggunaan xhigh atau maks hanya jika evaluasi Anda menunjukkan peningkatan, dan menjalankan evaluasi yang sama pada Sonnet 5.5 untuk membandingkan. Di Apidog:

1. Simpan ANTHROPIC_API_KEY sebagai variabel lingkungan dan simpan 20 hingga 50 prompt nyata sebagai permintaan Pesan.
2. Tambahkan penegasan: status 200, stop_reason selain "max_tokens" atau "refusal", dan konten yang diperlukan untuk jawaban yang benar.
3. Jalankan set pada low, medium, dan high. Mengubah upaya membatalkan cache prompt.
4. Catat tingkat kelulusan dan jumlah token dalam usage. Tokenizer baru menghasilkan sekitar 30% lebih banyak token daripada Haiku 4.5 untuk teks yang sama.
5. Duplikat koleksi, ganti dengan claude-sonnet-5-5, dan bandingkan kedua model dalam satu proyek.

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-haiku-5-5",
    "max_tokens": 8000,
    "thinking": {"type": "adaptive"},
    "output_config": {"effort": "medium"},
    "messages": [{"role": "user", "content": "Classify this support ticket as billing, bug or feature request: ..."}]
  }'

Jangan mengirim temperature, top_p, top_k, atau prefill asisten; masing-masing mengembalikan 400 pada Haiku 5.5. Pilih blok respons berdasarkan type, karena blok thinking dapat muncul terlebih dahulu. Lihat panduan API dan pengujian aplikasi LLM.

FAQ

Apakah Claude Haiku 5.5 lebih baik dari Sonnet 5.5? Tidak berdasarkan angka Anthropic. Sonnet 5.5 memimpin setiap baris tabel peluncuran; Haiku hanya sedikit mengunggulinya pada FrontierCode ketika keduanya berjalan pada maksimal (46,4% vs 46,2%). Lihat Haiku 5.5 vs Haiku 4.5 untuk pandangan peningkatan.

Berapa skor SWE-bench Haiku 5.5? 64,8 pada SWE-Bench Pro, 83,7 pada SWE-bench Multilingual, dan 30,7 pada SWE-bench Multimodal, semuanya pada upaya maksimal.

Pada upaya berapa tolok ukur dijalankan? Maksimal, biasanya dirata-ratakan dari lima percobaan. Standar API adalah medium, di mana GDPval-AA mencetak 1277 alih-alih 1620.

Apakah ada tolok ukur Haiku 5.5 independen? Belum. Artificial Analysis menjalankan GDPval-AA dan AA-Briefcase secara independen, tetapi Anthropic menerbitkan skor tersebut; AA tidak memiliki halaman Haiku 5.5.

Apakah GPT-6 Luna lebih murah? Biasanya. Luna memiliki biaya lebih rendah pada setiap tingkat upaya GDPval-AA dan setiap tingkat OSWorld kecuali menengah, di mana keduanya memiliki biaya yang hampir sama. Haiku 5.5 mencetak lebih tinggi pada keduanya.

Langkah selanjutnya

Mulailah pada medium dan tingkatkan hanya jika peningkatan tingkat kelulusan Anda sepadan dengan biayanya. Unduh Apidog, bangun koleksi evaluasi di atas, dan simpan hasilnya di Apidog di samping baseline Sonnet 5.5 Anda sebelum Anda mengalihkan lalu lintas produksi.