Saat sebuah model baru diluncurkan, dua jenis angka muncul sekaligus dan jarang sekali selaras: angka dari laboratorium itu sendiri dan hasil pengujian independen. Kimi K3, yang dikirimkan oleh Moonshot AI pada 16 Juli 2026, adalah studi kasus yang jelas dalam membaca keduanya tanpa tertipu. Dari sisi independen, model ini terlihat cerdas tetapi tidak cepat; dari sisi vendor, Moonshot menyebutnya "tingkat terdepan" (frontier-level) sambil mengakui dalam postingan yang sama bahwa model ini masih tertinggal dari sistem-sistem proprietary teratas. Artikel ini akan menguraikan poin-poin tersebut agar Anda dapat melihat apa yang terbukti, apa yang diklaim, dan apa yang belum dipublikasikan.
TL;DR: bagaimana Kimi K3 sebenarnya dibandingkan
Pada Artificial Analysis Intelligence Index yang independen, Kimi K3 mencetak skor 57 dan menduduki peringkat #4 dari 189 model, menempatkannya di jajaran perusahaan terdepan yang sesungguhnya. Namun, kecepatan output yang terukur adalah sekitar 62 token per detik, di bawah median 72,7 untuk tingkat harganya, jadi model ini adalah penalaran yang kuat namun berjalan lebih lambat. Postingan peluncuran Moonshot mengklaim "performa tingkat terdepan di seluruh rangkaian evaluasi kami," kemudian menyatakan dengan jelas bahwa K3 "masih tertinggal dari model proprietary paling kuat, Claude Fable 5 dan GPT-5.6 Sol." Tabel benchmark yang diterbitkan Moonshot sangat kuat: K3 memimpin BrowseComp, Automation Bench, dan SpreadsheetBench 2, menduduki peringkat kedua pada Terminal-Bench 2.1, dan ketiga pada DeepSWE. Itu adalah angka yang dijalankan oleh vendor, bukan direproduksi secara independen, jadi perlakukan sebagai indikasi; yang masih hilang adalah pengujian ulang netral untuk suite pengkodean dan skor SWE-bench Verified klasik. Ringkasan jujur: intelijen umum yang kuat terverifikasi, angka tugas yang kredibel tetapi dijalankan oleh vendor, dan batasan yang dinyatakan sendiri di bawah dua pemimpin proprietary.
kimi-k3 dan ukur latensi, biaya, dan kualitas output pada prompt Anda yang sebenarnya. Angka itu mengalahkan papan peringkat mana pun untuk memutuskan apakah K3 cocok dalam tumpukan teknologi Anda.Tiga klaim, dipisahkan
Peluncuran model terasa membingungkan karena tiga jenis pernyataan yang berbeda digabungkan menjadi satu judul berita. Pisahkanlah dan gambaran akan menjadi lebih jelas. Untuk spesifikasi lengkap, pilar apa itu Kimi K3 membahas arsitektur dan harga; di sini kita tetap fokus pada angka.
Klaim 1: jangkar independen (Artificial Analysis)
Artificial Analysis adalah pihak ketiga: ia membeli akses API, menjalankan serangkaian evaluasi tetap, dan menerbitkan hasil tanpa masukan dari laboratorium. Itulah mengapa angkanya memiliki bobot paling besar di sini.
Untuk Kimi K3, poin-poin pentingnya adalah:
- Indeks Intelijen: 57. Komposit evaluasi penalaran, pengetahuan, dan pengkodean yang digabungkan menjadi satu angka.
- Peringkat: #4 dari 189 model. Hanya tiga model yang mencetak skor lebih tinggi dalam intelijen umum pada saat penulisan.
- Kecepatan output: sekitar 62 token per detik. Median tingkatnya adalah 72,7, jadi K3 menghasilkan lebih lambat dari model sejenis pada tingkat biayanya.
- Waktu untuk token pertama: sekitar 2 detik. Penantian singkat tapi nyata sebelum generasi dimulai.
Secara bersamaan, angka-angka tersebut menceritakan kisah spesifik: K3 cerdas tetapi tidak cepat. Ia mendapatkan peringkat empat teratas, kemudian memberikan sebagian kembali dalam hal throughput. Untuk pekerjaan batch semalam, itu hampir tidak menjadi masalah. Untuk asisten pengkodean interaktif di mana pengembang menunggu setiap penyelesaian, 62 token per detik adalah biaya nyata. Model yang sama, putusan yang berlawanan, tergantung pada apa yang Anda bangun.
Klaim 2: apa yang dikatakan Moonshot tentang dirinya sendiri
Postingan peluncuran Moonshot adalah dokumen vendor, ditulis untuk menjual. Ia menggambarkan K3 sebagai model yang menunjukkan "kinerja tingkat terdepan di seluruh rangkaian evaluasi kami, secara konsisten mengungguli model lain yang diuji." Perhatikan "rangkaian evaluasi kami." Memilih campuran benchmark Anda sendiri bukanlah kecurangan, tetapi itu adalah keuntungan di kandang sendiri: setiap vendor memilih evaluasi di mana ia terlihat kuat, jadi klaimnya bersifat indikatif, bukan definitif.
Klaim sekunder dari liputan peluncuran mengatakan K3 "menduduki peringkat pertama dalam 4 dari 8 benchmark otomatisasi dunia nyata, termasuk Automation Bench, SpreadsheetBench 2, dan BrowseComp," sementara menempati posisi kedua setelah Claude Fable 5 pada sebagian besar lainnya. Ini adalah angka dari sumber sekunder yang berdekatan dengan vendor yang belum direproduksi oleh penguji independen, jadi masukkan ke dalam kategori "menarik, belum dikonfirmasi" sampai pihak netral menjalankan benchmark tersebut dan menunjukkan hasil kerjanya.
Klaim 3: batas yang diakui Moonshot
Kalimat paling berguna dalam postingan peluncuran ini justru meredam hype. Moonshot menulis bahwa "kinerja keseluruhan K3 masih tertinggal dari model proprietary paling kuat, Claude Fable 5 dan GPT-5.6 Sol." Vendor yang secara sukarela mengakui batasnya sendiri jarang terjadi dan patut dipercaya.
Ini penting untuk ekspektasi. Untuk tugas-tugas tersulit Anda, Moonshot sendiri mengatakan bahwa opsi proprietary masih unggul dalam kemampuan mentah. Penawaran K3 tidak pernah "kami mengalahkan semua orang"; melainkan "kualitas mendekati terdepan dalam model terbuka dengan sebagian kecil dari biaya." Untuk perbandingan langsung, Kimi K3 vs GPT-5.6 Sol dan Kimi K3 vs Claude Opus 4.8 membahasnya lebih dalam.
Angka independen vs. vendor, berdampingan
Berikut adalah seluruh kisah benchmark dalam satu tampilan, diurutkan berdasarkan siapa yang membuat klaim tersebut.
| Klaim | Siapa yang mengatakannya | Apa yang diukurnya | Seberapa besar bisa dipercaya |
|---|---|---|---|
| Indeks Intelijen 57, peringkat #4 dari 189 | Artificial Analysis (independen) | Intelijen umum komposit | Tinggi. Pihak ketiga, suite tetap, tanpa masukan lab. |
| Output ~62 token/detik (median tingkat 72.7) | Artificial Analysis (independen) | Throughput generasi | Tinggi. Terukur, dapat direproduksi. |
| Waktu hingga token pertama ~2 detik | Artificial Analysis (independen) | Responsivitas | Tinggi. Terukur. |
| “Performa tingkat terdepan di seluruh rangkaian evaluasi kami” | Moonshot (vendor) | Campuran benchmark pilihan sendiri | Indikatif. Keuntungan kandang sendiri berlaku. |
| Memenangkan BrowseComp, Automation Bench, SpreadsheetBench 2; ke-2 di Terminal-Bench 2.1; ke-3 di DeepSWE | Moonshot (vendor, tabel yang diterbitkan) | Kinerja agen tingkat tugas | Sedang. Angka yang diterbitkan nyata, tetapi dijalankan oleh vendor dan belum direproduksi secara independen. |
| Tertinggal dari Claude Fable 5 dan GPT-5.6 Sol secara keseluruhan | Moonshot (vendor, pengakuan diri) | Batas vs pemimpin proprietary | Tinggi. Vendor mengakui batasnya sendiri. |
| Skor pengkodean yang direproduksi secara independen + SWE-bench Verified klasik | Belum ada | Kemampuan khusus pengkodean | Belum dipublikasikan. Angka Moonshot sendiri ada; pengujian ulang netral belum ada. |
Pola ini mudah terlewatkan: angka yang paling dapat Anda percaya (yang independen) menggambarkan intelijen umum dan kecepatan, sementara angka tingkat tugas adalah nyata tetapi dijalankan oleh vendor. Kesenjangan itulah tempat pengujian Anda sendiri membuahkan hasil.
Berikut adalah tabel peluncuran yang diterbitkan Moonshot, pada pengaturan penalaran maksimum, sehingga Anda melihat bentuk klaimnya daripada parafrase.
| Benchmark | Kimi K3 | Claude Fable 5 | GPT-5.6 Sol | Claude Opus 4.8 |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 88.3 | 84.6 | 88.8 | 84.6 |
| DeepSWE | 67.5 | 70.0 | 73.0 | 59.0 |
| BrowseComp | 91.2 | 88.0 | 90.4 | 84.3 |
| Automation Bench | 30.8 | 29.1 | 29.7 | 27.2 |
| SpreadsheetBench 2 | 34.8 | 34.7 | 32.4 | 31.6 |
Dua hal menonjol. K3 mengalahkan Claude Fable 5 dan Claude Opus 4.8 pada empat dari lima benchmark ini, dan sedikit mengungguli GPT-5.6 Sol pada BrowseComp, Automation Bench, dan SpreadsheetBench 2. Namun pada DeepSWE, metrik pengkodean agenik terberat di sini, K3 menempati posisi ketiga yang jelas di belakang Sol dan Fable 5. Baris itulah mengapa kalimat Moonshot "masih tertinggal dari dua pemimpin proprietary secara keseluruhan" terdengar kredibel: K3 menang dalam cakupan dan kalah dalam kontes pengkodean terberat.
Apa yang masih hilang
Analisis benchmark hanya sejujur daftar ketidakpastiannya. Berikut adalah apa yang belum dimiliki Kimi K3 secara publik.
Skor pengkodean independen. Moonshot menerbitkan angka Terminal-Bench 2.1 dan DeepSWE miliknya sendiri, tetapi Artificial Analysis menggabungkan pengkodean ke dalam Indeks komposit dan tidak memposting angka SWE-bench Verified mandiri K3. Persentase SWE-bench yang tepat yang Anda lihat untuk K3 hari ini mengutip hasil Moonshot sendiri atau estimasi; tunggu angka netralnya.
Hasil otomatisasi yang direproduksi. Pihak ketiga masih perlu mengulang kemenangan Moonshot di Automation Bench, SpreadsheetBench 2, dan BrowseComp dengan metodologi yang diterbitkan. Benchmark agenik sensitif terhadap perancah, format prompt, dan logika percobaan ulang, sehingga angka vendor dan independen dapat sangat bervariasi.
Kualitas konteks panjang pada 1 juta token. K3 dilengkapi dengan jendela 1 juta token, tetapi jendela besar dan penarikan kembali yang andal di seluruhnya adalah hal yang berbeda. Skor dokumen panjang yang diterbitkan pada konteks penuh belum tersedia secara luas, jadi jika kasus penggunaan Anda bergantung pada jendela penuh, uji sendiri.
Moonshot juga berkomitmen untuk merilis bobot terbuka penuh tak lama setelah peluncuran, yang seharusnya membawa benchmark komunitas yang mengonfirmasi atau mempersulit cerita hari peluncuran. Ketidakhadiran sebuah angka bukanlah angka yang buruk; itu hanya angka yang belum dipublikasikan oleh siapa pun.
Cara membaca benchmark vendor tanpa tertipu
Anda tidak perlu meragukan setiap grafik vendor, cukup daftar periksa singkat untuk menimbangnya.
- Siapa yang menjalankan tes? Independen mengalahkan yang dilaporkan sendiri. Jika lab yang menjalankannya, asumsikan campurannya menguntungkan mereka.
- Apakah evaluasi persisnya disebutkan nama dan versinya? "SWE-bench Verified" dapat diperiksa; "suite pengkodean internal kami" tidak. Benchmark yang disebutkan namanya memungkinkan pihak ketiga untuk mereproduksi hasilnya.
- Apa yang ditinggalkan? Grafik tiga kemenangan bukanlah grafik delapan kemenangan. Metrik yang tidak ada biasanya adalah tempat model berkinerja buruk.
- Apakah vendor mengakui batas? Lab yang menyebutkan model yang tertinggal, seperti yang dilakukan Moonshot dengan Fable 5 dan Sol, lebih baik daripada yang mengklaim kemenangan bersih.
- Apakah itu sesuai dengan jangkar independen? Ketika klaim vendor dan sumber netral tidak setuju, percayalah pada sumber netral.
Jalankan peluncuran K3 melalui filter itu dan ia bertahan lebih baik daripada kebanyakan model lain. Indeks independen mengonfirmasi kekuatan nyata, vendor secara sukarela mengakui batasnya sendiri, dan titik lemahnya adalah klaim otomatisasi yang belum diverifikasi, yang gagal dalam pemeriksaan 1 dan 3. Untuk contoh yang lebih panjang, perincian benchmark GLM-5.2 menggunakan pendekatan "independen-pertama" yang sama, dan perbandingan GPT-5.6 vs Claude Fable 5 menunjukkan bagaimana dua model terdepan saling mengungguli di berbagai suite.
Uji nyata: benchmark K3 untuk tugas Anda
Papan peringkat publik menjawab pertanyaan umum: seberapa cerdas model ini secara rata-rata? Pekerjaan Anda spesifik: seberapa baik ia melakukan satu hal yang Anda butuhkan? Model yang menempati peringkat #4 secara keseluruhan mungkin menjadi yang pertama untuk bentuk prompt Anda yang tepat, atau tertinggal dari model yang lebih murah yang disesuaikan untuk domain Anda. Satu-satunya cara untuk mengetahuinya adalah dengan mengukur. Berikut adalah proses ringan untuk keputusan pembelian.
Bangun kumpulan emas. Kumpulkan 20 hingga 50 prompt nyata dari beban kerja Anda, dengan output yang diketahui baik jika Anda memilikinya: tiket nyata, diff kode nyata, pertanyaan dukungan nyata. Prompt sintetis bohong; prompt produksi tidak.
Perbaiki variabel Anda. Tetapkan ID model (kimi-k3), suhu, prompt sistem, dan token maksimal. Ubah satu hal pada satu waktu atau Anda tidak dapat mengaitkan perbedaannya.
Ukur empat hal per prompt. Kualitas output (apakah berhasil menyelesaikan tugas), latensi (waktu hingga token pertama ditambah total generasi), biaya (token input ditambah output dikalikan harga), dan konsistensi di beberapa kali percobaan. Angka 62 token per detik adalah perkiraan awal; latensi nyata Anda tergantung pada panjang prompt dan wilayah.
Bandingkan dengan model yang Anda gunakan saat ini. Jalankan kumpulan emas yang sama dengan apa pun yang Anda gunakan hari ini. Sebuah model hanya layak untuk diganti jika ia menang pada sumbu yang Anda pedulikan.
Di sinilah klien API membuktikan nilainya. Apidog memperlakukan endpoint kimi-k3 sebagai permintaan kelas satu: simpan prompt kumpulan emas Anda sebagai koleksi yang dapat digunakan kembali, kirim dengan parameter yang ditetapkan, streaming respons untuk melihat latensi token per token, dan baca kembali jumlah token yang tepat untuk perhitungan biaya. Jalankan ulang seluruh set terhadap model yang berbeda dengan menukar endpoint. Jika pekerjaan Anda ada di editor, jalankan permintaan yang sama dari dalam VS Code. Ketika Anda siap, Unduh Apidog dan arahkan permintaan baru ke endpoint Moonshot.
Beberapa bentuk tugas dan apa yang harus diperhatikan:
- Asisten pengkodean. Latensi mendominasi. Pada 62 token per detik, penyelesaian yang panjang memiliki waktu gambar yang terlihat, jadi uji dengan panjang penyelesaian rata-rata nyata Anda. Bandingkan dengan model yang lebih cepat meskipun skor keseluruhannya lebih rendah.
- Ekstraksi data batch. Tidak ada yang menunggu output, jadi throughput hampir tidak menjadi masalah. Peringkat intelijen K3 adalah keseluruhan cerita; timbang kualitas dan biaya per token.
- Analisis dokumen panjang. Uji pada panjang konteks yang benar-benar Anda gunakan. Model yang andal pada 32K dapat menurun pada 500K, dan jendela 1M adalah batas, bukan jaminan.
- Otomatisasi agenik. Di sinilah klaim "4 dari 8" yang belum diverifikasi berada, jadi percayai hasil Anda sendiri daripada pemasaran. Bangun harness agen kecil, jalankan loop tugas nyata Anda, dan hitung keberhasilan.
Anda juga dapat menarik K3 melalui agregator jika Anda tidak ingin mengelola kunci langsung: daftar OpenRouter untuk moonshotai/kimi-k3 mengekspos model yang sama di balik rute yang kompatibel dengan OpenAI.
Di mana K3 jujur berada
Singkirkan kebisingan peluncuran dan Kimi K3 adalah model umum yang benar-benar kuat dengan batasan yang jelas dan diakui sendiri. Pembacaan independen dapat dipercaya dan memuaskan: peringkat empat teratas dari 189, diperoleh dari suite yang tidak dirancang oleh Moonshot. Kecepatan adalah titik lemah yang jujur, yang sangat penting untuk pekerjaan interaktif dan hampir tidak penting sama sekali untuk pekerjaan batch. Klaim vendor terbagi dengan jelas: pengakuan bahwa ia tertinggal dari Fable 5 dan Sol, yang dapat Anda yakini, dan kemenangan otomatisasi yang belum diverifikasi, yang harus Anda pegang longgar sampai seseorang yang independen mereproduksinya. Peluncuran adalah awal dari bukti, bukan akhir. Ukur model pada pekerjaan Anda sendiri dan biarkan angka itu yang memutuskan. Untuk menimbang nilai terhadap biaya, perincian harga Kimi K3 memasangkan harga dengan angka benchmark ini.
Pertanyaan yang sering diajukan
Berapa skor benchmark Kimi K3? Pada Artificial Analysis Intelligence Index yang independen, Kimi K3 mencetak skor 57 dan menduduki peringkat #4 dari 189 model. Moonshot menerbitkan skor Terminal-Bench 2.1 dan DeepSWE miliknya sendiri, tetapi belum ada lab independen yang mereproduksi benchmark pengkodean mandiri K3, jadi Indeks adalah angka netral terbaik yang tersedia.
Apakah Kimi K3 lebih cepat dari model lain? Tidak. Kecepatan output terukurnya sekitar 62 token per detik, di bawah median 72,7 untuk tingkat harganya, dan waktu hingga token pertama adalah sekitar 2 detik. K3 adalah penalaran yang kuat yang menghasilkan lebih lambat, lebih cocok untuk pekerjaan batch dan analisis daripada alat interaktif yang sensitif terhadap latensi.
Apakah Kimi K3 mengalahkan Claude Fable 5 atau GPT-5.6 Sol? Tidak secara keseluruhan, menurut Moonshot sendiri: postingan peluncuran mengatakan K3 "masih tertinggal dari model proprietary paling kuat, Claude Fable 5 dan GPT-5.6 Sol." Klaim sekunder mengatakan K3 memimpin pada beberapa benchmark otomatisasi, tetapi itu berdekatan dengan vendor dan belum dikonfirmasi secara independen. Untuk tugas-tugas terdepan, kedua model proprietary masih unggul.
Bagaimana cara melakukan benchmark Kimi K3 untuk kasus penggunaan saya sendiri? Bangun kumpulan emas 20 hingga 50 prompt nyata dari beban kerja Anda, tetapkan ID model dan parameter, lalu ukur kualitas output, latensi, biaya, dan konsistensi terhadap model Anda saat ini. Alat seperti Apidog memungkinkan Anda menyimpan prompt tersebut sebagai koleksi yang dapat digunakan kembali dan menjalankannya kembali terhadap kimi-k3 dan pesaing mana pun untuk perbandingan yang adil.