Kimi K3 Benchmarks: Moonshot-Zahlen vs. unabhängige Tests

Wenn ein neues Modell auf den Markt kommt, tauchen sofort zwei Arten von Zahlen auf, die selten übereinstimmen: die eigenen Zahlen des Labors und die Ergebnisse unabhängiger Tester. Kimi K3, das Moonshot AI am 16. Juli 2026 ausgeliefert hat, ist eine gute Fallstudie, wie man beides liest, ohne sich täuschen zu lassen. Auf unabhängiger Seite wirkt es intelligent, aber nicht schnell; auf Anbieterseite bezeichnet Moonshot es als „Frontier-Level“, räumt aber im selben Beitrag ein, dass es immer noch hinter den führenden proprietären Systemen zurückbleibt. Dieser Artikel entwirrt diese Fäden, damit Sie sehen können, was bewiesen ist, was behauptet wird und was noch niemand veröffentlicht hat.

TL;DR: Wie Kimi K3 tatsächlich abschneidet

Im unabhängigen Artificial Analysis Intelligence Index erreicht Kimi K3 einen Wert von 57 und belegt Platz 4 von 189 Modellen, ein echtes Frontier-Unternehmen. Die gemessene Ausgabegeschwindigkeit beträgt jedoch etwa 62 Tokens pro Sekunde, was unter dem Median von 72,7 für seine Preisklasse liegt. Es ist also ein starker Denker, der eher langsam arbeitet. Moonshots Startpostulat beansprucht „Leistung auf Frontier-Niveau über unsere gesamte Evaluierungssuite hinweg“ und erklärt dann unverblümt, dass K3 „immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“ Moonshots veröffentlichte Benchmark-Tabelle ist stark: K3 führt bei BrowseComp, Automation Bench und SpreadsheetBench 2, belegt den zweiten Platz bei Terminal-Bench 2.1 und den dritten Platz bei DeepSWE. Dies sind vom Anbieter ermittelte Zahlen, die nicht unabhängig reproduziert wurden, daher sollten sie als richtungsweisend behandelt werden; was noch fehlt, ist eine neutrale Wiederholung der Coding-Suites und ein klassischer SWE-bench Verified Score. Die ehrliche Zusammenfassung: verifizierte starke allgemeine Intelligenz, glaubwürdige, aber vom Anbieter ermittelte Aufgabenzahlen und eine selbst deklarierte Obergrenze unterhalb der beiden proprietären Marktführer.

Die drei Behauptungen, getrennt betrachtet

Modellstarts können verwirrend wirken, da drei verschiedene Arten von Aussagen in einer Überschrift vermischt werden. Trennt man sie, wird das Bild klarer. Für das vollständige Datenblatt behandelt der Was ist Kimi K3-Pfeiler Architektur und Preise; hier konzentrieren wir uns auf die Zahlen.

Behauptung 1: Der unabhängige Anker (Artificial Analysis)

Artificial Analysis ist ein Drittanbieter: Er kauft API-Zugang, führt eine feste Evaluierungssuite aus und veröffentlicht Ergebnisse ohne Laboreingabe. Deshalb haben seine Zahlen hier das größte Gewicht.

Für Kimi K3 sind die Ankerpunkte:

• Intelligenz-Index: 57. Eine Zusammenfassung von Denk-, Wissens- und Codierungsbewertungen, die in einer einzigen Zahl zusammengefasst sind.
• Rang: #4 von 189 Modellen. Zum Zeitpunkt des Schreibens erzielen nur drei Modelle eine höhere allgemeine Intelligenz.
• Ausgabegeschwindigkeit: etwa 62 Tokens pro Sekunde. Der Median der Preisklasse liegt bei 72,7, K3 generiert also langsamer als vergleichbare Modelle seiner Kostenstufe.
• Zeit bis zum ersten Token: ungefähr 2 Sekunden. Eine kurze, aber tatsächliche Wartezeit, bevor die Generierung beginnt.

Zusammen erzählen diese Zahlen eine spezifische Geschichte: K3 ist intelligent, aber nicht schnell. Es erreicht einen Top-Vier-Rang, büßt aber etwas bei der Durchsatzrate ein. Für einen nächtlichen Batch-Job spielt das kaum eine Rolle. Für einen interaktiven Codierungsassistenten, bei dem ein Entwickler auf jede Vervollständigung wartet, sind 62 Tokens pro Sekunde eine echte Belastung. Gleiches Modell, entgegengesetzte Urteile, je nachdem, was Sie aufbauen.

Behauptung 2: Was Moonshot über sich selbst sagt

Moonshots Startpost ist ein Verkäuferdokument, das zum Verkauf geschrieben wurde. Es beschreibt K3 als Modell, das „Leistung auf Frontier-Niveau über unsere gesamte Evaluierungssuite hinweg zeigt und andere getestete Modelle durchweg übertrifft.“ Beachten Sie „unsere Evaluierungssuite“. Die Wahl Ihrer eigenen Benchmark-Mischung ist kein Betrug, aber es ist ein Heimvorteil: Jeder Anbieter wählt die Evaluierungen, bei denen er stark aussieht, daher ist die Behauptung richtungsweisend, nicht entscheidend.

Eine sekundäre Behauptung aus der Startberichterstattung besagt, dass K3 „den ersten Platz in 4 von 8 realen Automatisierungs-Benchmarks belegte, darunter Automation Bench, SpreadsheetBench 2 und BrowseComp“, während es bei den meisten anderen Benchmarks den zweiten Platz hinter Claude Fable 5 einnahm. Dies ist eine anbieternahe Zahl aus zweiter Hand, die kein unabhängiger Tester reproduziert hat. Daher ist sie unter „interessant, unbestätigt“ abzulegen, bis eine neutrale Partei diese Benchmarks durchführt und ihre Arbeit zeigt.

Behauptung 3: Die von Moonshot zugegebene Obergrenze

Der nützlichste Satz im Startpost untergräbt den Hype. Moonshot schreibt, dass die „Gesamtleistung von K3 immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“ Ein Anbieter, der seine eigene Obergrenze freiwillig nennt, ist selten und vertrauenswürdig.

Dies ist wichtig für die Erwartungen. Für Ihre schwierigsten Aufgaben sagt Moonshot selbst, dass die proprietären Optionen in Bezug auf die Rohleistung immer noch führend sind. Der K3-Pitch war nie „wir schlagen alle“; es ist „Frontier-nahe Qualität in einem offenen Modell zu einem Bruchteil der Kosten.“ Für die direkten Vergleiche gehen die Aufschlüsselungen Kimi K3 vs. GPT-5.6 Sol und Kimi K3 vs. Claude Opus 4.8 tiefer.

Unabhängige vs. Anbieterzahlen, nebeneinander

Hier ist die gesamte Benchmark-Geschichte auf einen Blick, sortiert danach, wer welche Behauptung aufstellt.

Das Muster ist leicht zu übersehen: Die Zahlen, denen Sie am meisten vertrauen können (die unabhängigen), beschreiben allgemeine Intelligenz und Geschwindigkeit, während die aufgabenspezifischen Zahlen real, aber vom Anbieter durchgeführt sind. Diese Lücke ist der Punkt, an dem sich Ihre eigenen Tests auszahlen.

Hier ist Moonshots veröffentlichte Starttabelle, bei maximaler Reasoning-Einstellung, damit Sie die Form der Behauptung und nicht eine Paraphrase sehen.

Zwei Dinge stechen hervor. K3 schlägt sowohl Claude Fable 5 als auch Claude Opus 4.8 bei vier dieser fünf Benchmarks und liegt bei BrowseComp, Automation Bench und SpreadsheetBench 2 knapp vor GPT-5.6 Sol. Bei DeepSWE, der hier schwierigsten Metrik für agentenbasiertes Codieren, landet K3 jedoch klar auf dem dritten Platz hinter Sol und Fable 5. Diese Zeile erklärt, warum Moonshots Aussage „liegt insgesamt immer noch hinter den beiden proprietären Marktführern zurück“ glaubwürdig erscheint: K3 gewinnt in der Breite und verliert den schwierigsten Codierungswettbewerb.

Was noch fehlt

Eine Benchmark-Analyse ist nur so ehrlich wie ihre Liste der Unbekannten. Hier ist, was Kimi K3 noch nicht öffentlich hat.

• Unabhängige Coding-Scores. Moonshot hat eigene Terminal-Bench 2.1 und DeepSWE Zahlen veröffentlicht, aber Artificial Analysis integriert das Codieren in den zusammengesetzten Index und veröffentlicht keine eigenständige SWE-bench Verified Zahl für K3. Jeder präzise SWE-bench-Prozentsatz, den Sie heute für K3 sehen, zitiert Moonshots eigene Läufe oder ist eine Schätzung; warten Sie auf die neutrale Zahl.
• Reproduzierte Automatisierungsergebnisse. Ein Drittanbieter muss Moonshots Gewinne bei Automation Bench, SpreadsheetBench 2 und BrowseComp noch mit veröffentlichter Methodologie wiederholen. Agenten-Benchmarks reagieren empfindlich auf Scaffolding, Prompt-Format und Wiederholungslogik, daher können Anbieter- und unabhängige Zahlen stark voneinander abweichen.
• Langkontext-Qualität bei 1 Million Tokens. K3 liefert ein 1-Millionen-Token-Fenster, aber ein großes Fenster und eine zuverlässige Wiedergabe darüber sind unterschiedliche Dinge. Veröffentlichte Langdokument-Scores im vollständigen Kontext sind noch nicht weit verbreitet, wenn Ihr Anwendungsfall also auf das volle Fenster angewiesen ist, testen Sie es selbst.

Moonshot hat sich außerdem verpflichtet, kurz nach dem Start vollständige offene Gewichte zu veröffentlichen, was Community-Benchmarks mit sich bringen sollte, die die Geschichte des Starttages bestätigen oder verkomplizieren. Das Fehlen einer Zahl ist keine schlechte Zahl; es ist einfach eine, die noch niemand veröffentlicht hat.

Wie man Anbieter-Benchmarks liest, ohne sich täuschen zu lassen

Sie müssen nicht jeder Anbieter-Tabelle misstrauen, sondern nur eine kurze Checkliste verwenden, um sie zu bewerten.

1. Wer hat den Test durchgeführt? Unabhängig ist besser als selbst gemeldet. Wenn das Labor ihn durchgeführt hat, gehen Sie davon aus, dass die Mischung zu ihren Gunsten ist.
2. Ist die genaue Evaluierung benannt und versioniert? „SWE-bench Verified“ ist überprüfbar; „unsere interne Codierungssuite“ ist es nicht. Benannte Benchmarks ermöglichen einem Drittanbieter, das Ergebnis zu reproduzieren.
3. Was wurde weggelassen? Eine Tabelle mit drei Siegen ist keine Tabelle aller acht. Die fehlenden Metriken sind normalerweise die Bereiche, in denen das Modell schlechter abschneidet.
4. Gibt der Anbieter eine Obergrenze zu? Ein Labor, das die Modelle benennt, denen es hinterherhinkt, wie Moonshot es mit Fable 5 und Sol tut, ist besser als eines, das einen vollständigen Erfolg behauptet.
5. Passt es zum unabhängigen Anker? Wenn eine Anbieterbehauptung und eine neutrale Quelle nicht übereinstimmen, glauben Sie der neutralen Quelle.

Leitet man den Start von K3 durch diesen Filter, hält er besser stand als die meisten anderen. Der unabhängige Index bestätigt echte Stärke, der Anbieter nennt freiwillig seine eigenen Grenzen, und die Schwachstelle ist die unbestätigte Automatisierungsbehauptung, die die Prüfungen 1 und 3 nicht besteht. Für ein längeres, ausgearbeitetes Beispiel verwendet die Aufschlüsselung der GLM-5.2-Benchmarks denselben unabhängigen Ansatz, und der Vergleich GPT-5.6 vs. Claude Fable 5 zeigt, wie zwei Frontier-Modelle in verschiedenen Suiten Siege austauschen.

Der wahre Test: Benchmarking von K3 für Ihre Aufgabe

Öffentliche Ranglisten beantworten eine allgemeine Frage: Wie intelligent ist dieses Modell im Durchschnitt? Ihre Aufgabe ist spezifisch: Wie gut erledigt es die eine Sache, die Sie benötigen? Ein Modell, das insgesamt auf Platz 4 rangiert, könnte für Ihre genaue Prompt-Form an erster Stelle stehen oder einem günstigeren Modell hinterherhinken, das auf Ihren Bereich abgestimmt ist. Der einzige Weg, dies herauszufinden, ist zu messen. Hier ist ein einfacher Prozess für eine Kaufentscheidung.

• Erstellen Sie ein goldenes Set. Sammeln Sie 20 bis 50 echte Prompts aus Ihrer Arbeitslast, mit bekannten guten Ausgaben, wo Sie diese haben: echte Tickets, echte Code-Diffs, echte Support-Anfragen. Synthetische Prompts lügen; Produktions-Prompts nicht.
• Fixieren Sie Ihre Variablen. Legen Sie die Modell-ID (kimi-k3), Temperatur, System-Prompt und maximale Tokens fest. Ändern Sie immer nur eine Sache, sonst können Sie den Unterschied nicht zuordnen.
• Messen Sie vier Dinge pro Prompt. Ausgabequalität (hat es die Aufgabe gelöst), Latenz (Zeit bis zum ersten Token plus gesamte Generierung), Kosten (Eingabe- plus Ausgabe-Tokens mal Preis) und Konsistenz über mehrere Läufe hinweg. Die Zahl von 62 Tokens pro Sekunde ist eine Ausgangsschätzung; Ihre tatsächliche Latenz hängt von der Prompt-Länge und der Region ab.
• Vergleichen Sie mit Ihrem aktuellen Modell. Führen Sie das identische goldene Set gegen das aus, was Sie heute verwenden. Ein Modell ist nur dann einen Wechsel wert, wenn es in dem Bereich gewinnt, der Ihnen wichtig ist.

Hier zahlt sich ein API-Client aus. Apidog behandelt den kimi-k3-Endpunkt als erstklassige Anfrage: Speichern Sie Ihre Golden-Set-Prompts als wiederverwendbare Sammlung, senden Sie sie mit festgelegten Parametern, streamen Sie die Antwort, um die Token-für-Token-Latenz zu beobachten, und lesen Sie genaue Token-Zahlen für die Kostenberechnung zurück. Führen Sie das gesamte Set gegen ein anderes Modell aus, indem Sie den Endpunkt austauschen. Wenn Ihre Arbeit in einem Editor stattfindet, steuern Sie dieselben Anfragen von innerhalb von VS Code. Wenn Sie bereit sind, laden Sie Apidog herunter und richten Sie eine neue Anfrage an den Moonshot-Endpunkt.

Einige Aufgabenformen und worauf Sie achten sollten:

• Codierungsassistent. Die Latenz dominiert. Bei 62 Tokens pro Sekunde hat eine lange Vervollständigung eine spürbare Zeichenzeit, testen Sie also mit Ihrer tatsächlichen durchschnittlichen Vervollständigungslänge. Vergleichen Sie mit einem schnelleren Modell, auch wenn es insgesamt niedriger bewertet wird.
• Batch-Datenextraktion. Nichts wartet auf die Ausgabe, daher spielt der Durchsatz kaum eine Rolle. K3s Intelligenzrang ist die ganze Geschichte; wägen Sie Qualität und Kosten pro Token ab.
• Langdokumentenanalyse. Testen Sie mit der Kontextlänge, die Sie tatsächlich verwenden. Ein Modell, das bei 32K zuverlässig ist, kann bei 500K nachlassen, und das 1-Million-Fenster ist eine Obergrenze, keine Garantie.
• Agentengesteuerte Automatisierung. Hier befindet sich die unbestätigte „4 von 8“-Behauptung, vertrauen Sie also Ihren eigenen Läufen mehr als dem Marketing. Erstellen Sie ein kleines Agenten-Harness, führen Sie Ihre echte Aufgabenschleife aus und zählen Sie die Erfolge.

Sie können K3 auch über einen Aggregator nutzen, wenn Sie keinen direkten Schlüssel verwalten möchten: Der OpenRouter-Eintrag für moonshotai/kimi-k3 stellt dasselbe Modell über eine OpenAI-kompatible Route bereit.

Wo K3 ehrlich landet

Beseitigt man den Startlärm, ist Kimi K3 ein wirklich starkes allgemeines Modell mit einer klaren, selbst zugegebenen Obergrenze. Die unabhängige Lesart ist vertrauenswürdig und schmeichelhaft: ein Top-Vier-Rang von 189, erreicht auf einer Suite, die Moonshot nicht entworfen hat. Die Geschwindigkeit ist die ehrliche Schwachstelle, die für interaktive Arbeit sehr wichtig ist und für Batch-Arbeit fast gar nicht. Die Anbieteransprüche teilen sich sauber auf: das Zugeständnis, dass es Fable 5 und Sol hinterherhinkt, worauf Sie sich verlassen können, und die unbestätigten Automatisierungsgewinne, die Sie locker betrachten sollten, bis jemand Unabhängiges sie reproduziert. Ein Start ist der Anfang des Beweises, nicht das Ende. Messen Sie das Modell an Ihrer eigenen Arbeit und lassen Sie diese Zahl entscheiden. Um den Wert gegen die Kosten abzuwägen, koppelt die Aufschlüsselung der Kimi K3-Preise den Preis mit diesen Benchmark-Zahlen.

Häufig gestellte Fragen

Was ist Kimi K3s Benchmark-Score? Im unabhängigen Artificial Analysis Intelligence Index erreicht Kimi K3 einen Wert von 57 und belegt Platz 4 von 189 Modellen. Moonshot hat eigene Terminal-Bench 2.1 und DeepSWE Scores veröffentlicht, aber kein unabhängiges Labor hat K3s eigenständige Coding-Benchmarks bisher reproduziert, daher ist der Index die beste neutrale Zahl, die verfügbar ist.

Ist Kimi K3 schneller als andere Modelle? Nein. Die gemessene Ausgabegeschwindigkeit beträgt etwa 62 Tokens pro Sekunde, was unter dem Median von 72,7 für seine Preisklasse liegt, und die Zeit bis zum ersten Token beträgt ungefähr 2 Sekunden. K3 ist ein starker Denker, der eher langsam generiert und sich besser für Batch- und Analysearbeiten eignet als für latenzempfindliche interaktive Tools.

Schlägt Kimi K3 Claude Fable 5 oder GPT-5.6 Sol? Insgesamt nicht, nach Moonshots eigener Aussage: Der Startpost besagt, dass K3 „immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“ Eine sekundäre Behauptung besagt, dass K3 bei einigen Automatisierungs-Benchmarks führt, aber das ist anbieterbezogen und nicht unabhängig bestätigt. Für Frontier-Aufgaben sind die beiden proprietären Modelle immer noch voraus.

Wie sollte ich Kimi K3 für meinen eigenen Anwendungsfall benchmarken? Erstellen Sie ein goldenes Set von 20 bis 50 echten Prompts aus Ihrer Arbeitslast, fixieren Sie die Modell-ID und die Parameter und messen Sie dann die Ausgabequalität, Latenz, Kosten und Konsistenz im Vergleich zu Ihrem aktuellen Modell. Tools wie Apidog ermöglichen es Ihnen, diese Prompts als wiederverwendbare Sammlung zu speichern und sie gegen kimi-k3 und jeden Konkurrenten für einen fairen Vergleich erneut auszuführen.