Grok 4.5 Benchmarks: Was xAI veröffentlichte und wie man es interpretiert

xAI hat Grok 4.5 am 8. Juli 2026 mit vier Code-Benchmarks und einer Effizienz-Tabelle veröffentlicht. Die Zahlen sind wirklich interessant und zudem sorgfältig ausgewählt. Dieser Artikel legt jede veröffentlichte Zahl dar, woher jede stammt, was fehlt und wie Sie Ihre eigene Evaluierung durchführen können, anstatt darauf zu warten, dass die Bestenlisten aufholen.

Die ehrliche Einschätzung in einem Satz: Grok 4.5 schneidet in Benchmarks wie ein starkes Coding-Modell der zweiten Kategorie ab, teilt die Ergebnisse mit Claude Opus 4.8, während es der Spitze hinterherhinkt, und seine herausragende Zahl ist die Ausgabeeffizienz und nicht irgendein Genauigkeitswert.

Alle von xAI veröffentlichten Zahlen

Aus der Ankündigung, alle vier Diagramme vollständig:

DeepSWE 1.0 (pass@1)

DeepSWE 1.1

Terminal Bench 2.1

SWE Bench Pro (Lösungsrate)

Hinzu kommt die Effizienz-Tabelle: 15.954 durchschnittliche Ausgabe-Tokens pro SWE Bench Pro Aufgabe für Grok 4.5, verglichen mit 67.020 für Opus 4.8 (max), ein 4,2-facher Unterschied.

Woher diese Zahlen stammen

Das Kleingedruckte in den Diagrammen von xAI ist wichtiger als üblich:

• DeepSWE 1.0 wurde „von Datacurve erstellt, von AA mit den Harnesses jedes Modellanbieters ausgeführt“.
• DeepSWE 1.1 verwendete den „Mini-SWE-Agent-Harness, der von Datacurve ausgeführt wurde“.
• „Wettbewerberzahlen stammen aus den veröffentlichten Systemkarten oder Benchmark-Bestenlisten der jeweiligen Entwickler.“

Übersetzt: Dies ist ein Mosaik. Einige Zahlen stammen von externen Evaluierungsfirmen, andere von den Marketingseiten rivalisierender Anbieter, zusammengestellt vom Anbieter mit etwas zu verkaufen. Das ist transparenter als reine Eigenberichterstattung, und die Beteiligung von Datacurve erhöht die Glaubwürdigkeit. Es ist immer noch keine unabhängige Evaluierung: Harnesses, Scaffolding und Aufwandseinstellungen unterscheiden sich zwischen den Quellen, und jede davon kann die Agenten-Scores um mehrere Punkte verschieben. Niemand außerhalb dieses Mosaiks hat bisher Grok 4.5-Zahlen veröffentlicht.

Drei Interpretationen derselben Diagramme

Gegen Opus 4.8 ist es eine echte Spaltung. Zwei Siege (DeepSWE 1.0 um 6,25, Terminal Bench um 4,4), zwei Niederlagen (DeepSWE 1.1 um 6, SWE Bench Pro um 4,5). Musks Framing der „Opus-Klasse“ übersteht den Kontakt mit den von ihm veröffentlichten Daten; ein stärkerer Anspruch würde das nicht. Beachten Sie, welche Benchmarks auf welcher Seite liegen: Grok gewinnt die terminalorientierten und älteren Evaluierungen, Opus gewinnt die neueren, komplexeren auf Repository-Ebene. Der vollständige Direktvergleich, inklusive Preisgestaltung, finden Sie unter Grok 4.5 vs. Claude Opus 4.8.

Gegenüber der Spitze gibt es keinen Wettbewerb, und xAI hat auch nicht das Gegenteil behauptet. Claude Fable 5 (max) führt alle vier Diagramme auf der xAI-eigenen Seite an, und GPT 5.5 (xhigh) schlägt Grok 4.5 in drei von vier Fällen. Der interessante Schachzug ist, dass xAI diese Zahlen abgedruckt hat, anstatt sie wegzulassen. Es geht explizit um Preis-Leistungs-Verhältnis, nicht um Überlegenheit. Was Fabels Zahlen in der Praxis bedeuten, wird in unserer Fable 5 Benchmark-Analyse behandelt.

Gegenüber seinem eigenen Vorgänger ist das Upgrade real, aber eng. Die Sprünge von Opus 4.7 auf 4.8 in diesen Diagrammen übertreffen die meisten Generationsunterschiede, und Grok 4.5s Vorsprung gegenüber Modellen wie GLM 5.2, das nur einen Bruchteil kostet, beträgt 9-11 Punkte bei den beiden gemeinsamen Benchmarks. Kunden, die auf das Verhältnis von Leistung pro Dollar achten, sollten diese Unterschiede in beide Richtungen sorgfältig prüfen.

Die Metrik, die xAI Ihnen zeigen möchte

Das Effizienzdiagramm ist das strategische Herzstück des Launches. 15.954 Ausgabe-Tokens pro gelöster Aufgabe, gegenüber 67.020 für Opus 4.8 (max), bedeutet, dass Grok 4.5 vergleichbare Arbeit mit weniger als einem Viertel des Ausgabevolumens erledigt, geliefert mit 80 Tokens pro Sekunde.

Dies ist eine legitime Metrik, keine Schönrednerei. Ausgabe-Tokens werden nach Geld und verstrichener Zeit abgerechnet; in Agenten-Loops summieren sie sich über jeden Schritt. Ein Modell, das 4,5 Punkte weniger im SWE Bench Pro erzielt, aber 4,2x weniger Tokens ausgibt, kann immer noch die rationale Wahl für Pipelines mit hohem Volumen sein, was genau der Kompromiss ist, den unsere Preisanalyse quantifiziert (~0,10 $ vs. ~1,68 $ Ausgabe pro gelöster Aufgabe zu Listenpreisen).

Zwei Vorbehalte. Vom Anbieter gemessen, Einzel-Benchmark. Und Ausführlichkeit ist keine Verschwendung für das Vergleichsmodell: Opus' lange Ausgaben sind erweiterte Überlegungen, was ein Teil davon ist, wie es die Evaluierungen gewinnt, die es gewinnt. Effizienz und Tiefe sind ein echter Kompromiss, kein kostenloses Mittagessen.

Was fehlt

Gründe, das Urteil für einige Wochen zurückzuhalten:

• Keine unabhängige Drittanbieter-Evaluierung. Keine Eintragung im Artificial Analysis Intelligence Index, keine Platzierung in LMArena, keine gemeinschaftliche SWE-Bench-Replikation zum 9. Juli.
• Nur Programmierung. xAI veröffentlichte keine Benchmarks für allgemeines Denken, Mathematik, Wissenschaft oder Sicherheit für ein Modell, das es auch für „Wissensarbeit“ vermarktet. Die Büroarbeitsfähigkeiten wurden als Demos ausgeliefert, nicht als Evaluierungen.
• Keine Offenlegung des Aufwandsmodus für Grok selbst. Wettbewerber sind gekennzeichnet (max, xhigh); ob die Scores von Grok 4.5 seine Standard- oder maximale Konfiguration widerspiegeln, wird nicht angegeben.
• Ein Modell der ersten Woche. Regressionen, Dienstinstabilität und stille Kapazitätsänderungen sind im ersten Monat nach jedem Launch üblich.

Führen Sie den Benchmark aus, der zählt: Ihren eigenen

Öffentliche Benchmarks prognostizieren Durchschnitte, nicht Ihre Arbeitslast. Eine leichte private Evaluierung übertrifft alles oben Genannte für eine Wechselentscheidung:

1. Sammeln Sie 10-20 reale Aufgaben aus Ihrem eigenen Backlog: die Prompts, den Codebasis-Kontext, die erwarteten Ergebnisse.
2. Erstellen Sie in Apidog eine gespeicherte Anfrage pro Kandidatenmodell. Sowohl xAI als auch Anthropic bieten OpenAI-kompatible Oberflächen, sodass der Harness eine Sammlung mit einer Modellvariable ist und nicht drei Codebasen.
3. Führen Sie jede Aufgabe gegen grok-4.5 und Ihr aktuelles Modell aus. Überprüfen Sie das usage-Objekt und erfassen Sie die Latenz, um Qualität, Geschwindigkeit und Token-Verbrauch in einem Durchgang zu bewerten.
4. Bewerten Sie die Ausgaben blind, wenn Sie können; Modellnamen beeinflussen Gutachter mehr, als jemand zugibt.

Dieser letzte Schritt ist der Punkt, an dem der Effizienzanspruch in der Realität getestet wird: Wenn die Ausgaben von Grok 4.5 auf Ihre Prompts nicht messbar kürzer sind, gelten die angepriesenen wirtschaftlichen Vorteile nicht für Sie. Laden Sie Apidog kostenlos herunter, und der gesamte Harness dauert eine Stunde. Details zur Einrichtung auf der xAI-Seite finden Sie in unserem Grok 4.5 API-Leitfaden.

FAQ

Welche Benchmarks hat xAI für Grok 4.5 veröffentlicht? Vier Code-Evaluierungen (DeepSWE 1.0 und 1.1, Terminal Bench 2.1, SWE Bench Pro) sowie ein Vergleich der Token-Effizienz mit Opus 4.8. Nichts außerhalb der Programmierung.

Gibt es unabhängige Grok 4.5 Benchmarks? Noch nicht. Die veröffentlichten Zahlen mischen von Datacurve durchgeführte Evaluierungen mit Zahlen aus den Systemkarten anderer Anbieter. Unabhängige Indizes erscheinen normalerweise innerhalb weniger Wochen nach einem größeren Launch.

Schlägt Grok 4.5 Claude Opus 4.8? Bei zwei von vier veröffentlichten Benchmarks, zu deutlich geringeren Kosten. Opus gewinnt die beiden schwierigeren Evaluierungen auf Repository-Ebene. Siehe den vollständigen Vergleich.

Ist Grok 4.5 das stärkste verfügbare Code-Modell? Nein, und xAIs eigene Diagramme sagen das auch: Claude Fable 5 (max) führt jeden veröffentlichten Benchmark an. Grok 4.5 konkurriert bei Intelligenz pro Dollar.