Claude Opus 5 Benchmarks: Was die Zahlen wirklich aussagen

Anthropic hat Claude Opus 5 am 24. Juli 2026 mit einer Reihe von Benchmark-Behauptungen vorgestellt, die sich wie ein klarer Sieg lesen. Mehr als doppelt so gut wie Opus 4.8 bei einer Bewertung. Dreimal besser als das nächstbeste Modell bei einer anderen. Besser als Fable 5 zu einem Drittel der Kosten bei einer dritten.

Das macht sie nicht falsch. Es bedeutet jedoch, dass Sie sie so lesen sollten, wie Sie jede Starttabelle eines Anbieters lesen würden: sorgfältig, mit Aufmerksamkeit für das, was gemessen wird und was weggelassen wird. Dieser Leitfaden fasst jede veröffentlichte Opus 5 Benchmark-Behauptung in einer zugeschriebenen Tabelle zusammen, erklärt, was jede Zahl belegen kann und was nicht, benennt die Obergrenze, die Anthropic über sein eigenes Modell setzt, und endet mit einem Bewertungsplan, den Sie selbst in Apidog durchführen können.

Für das Modell selbst (claude-opus-5, 1M Kontext, 128k maximale Ausgabe, Wissensstand Mai 2026) beginnen Sie mit was Claude Opus 5 ist. Die primäre Quelle unten ist Anthropic’s Startbeitrag zu Claude Opus 5.

Jede veröffentlichte Behauptung in einer Tabelle

Hier ist die vollständige Liste der Benchmark-Aussagen, die Anthropic beim Start gemacht hat. Die Vergleichsspalte ist genauso wichtig wie die Ergebnisspalte, da mehrere davon relativ zu einem anderen Modell und nicht als Punktzahl angegeben sind.

Quelle für all das oben Genannte: Anthropic's Startbeitrag und Modelldokumentation. Zum Zeitpunkt der Abfassung hat kein Dritter eine Reproduktion dieser Ergebnisse veröffentlicht.

Zwei Dinge fallen auf, bevor man einzelne Zahlen liest. Nur zwei der neun Zeilen geben eine absolute Punktbewegung an. Und Anthropic selbst liefert die letzten beiden Zeilen, in denen sein neues Flaggschiff verliert.

Das Verhältnisproblem und warum es wichtig ist

Vier der Behauptungen (Frontier-Bench, ARC-AGI 3, AutomationBench und bis zu einem gewissen Grad CursorBench) werden als Verhältnisse oder Lücken anstatt als Punktzahlen angegeben. Das ist eine echte Einschränkung, kein Haarspalterei, und es lohnt sich, genau zu erklären, warum.

Ein Verhältnis verbirgt den Nenner. „Etwa das Dreifache des nächstbesten Modells“ auf ARC-AGI 3 bedeutet etwas anderes, je nachdem, wo sich das Feld befindet. Wenn das nächstbeste Modell 8 % erzielt, dann sind 3x 24 %: eine echte Bewegung bei einem Benchmark, den niemand auch nur annähernd lösen kann. Wenn das nächstbeste Modell 25 % erzielt, dann sind 3x 75 %, ein kategorisch anderes Ergebnis. Beide können ehrlich als „3x“ beschrieben werden. Sie können nicht sagen, welches davon passiert ist, und Anthropic hat es nicht gesagt.

Eine Verdopplung ist am unteren Ende einer Skala einfacher. „Mehr als das Doppelte der Punktzahl von Opus 4.8“ auf Frontier-Bench v0.1 ist das gleiche Problem. Bei einem schwierigen, neuen Benchmark, bei dem das vorherige Flaggschiff im einstelligen oder niedrigen Zehnerbereich lag, ist eine Verdopplung ein kleinerer absoluter Sprung, als die Formulierung vermuten lässt. Bei einem Benchmark, bei dem 4.8 bereits 40 % erreichte, wäre eine Verdopplung außergewöhnlich. Der Versionsstring ist hier ein Hinweis: v0.1 ist ein Benchmark ohne veröffentlichte Erfolgsbilanz, ohne Reproduktionen durch die Community und ohne etablierten Sättigungspunkt.

„Nächstbestes Modell“ ist unbenannt. Zwei Behauptungen vergleichen Opus 5 mit einem nicht näher spezifizierten Konkurrenten. Dieser Konkurrent könnte Fable 5, Mythos 5 oder ein Modell aus einem anderen Labor sein. Der Vergleichssatz bestimmt, wie viel das Verhältnis bedeutet, und er wird nicht offengelegt.

Lücken benötigen Einheiten. „Innerhalb von 0,5 % des Spitzenwerts von Fable 5“ auf CursorBench 3.2 sagt nicht aus, ob es sich um 0,5 Prozentpunkte oder einen relativen Unterschied von 0,5 % handelt, und „Spitzenwert“ deutet auf einen Lauf mit bester Konfiguration statt eines Standardlaufs hin. Bei einem Coding-Benchmark ist der Unterschied zwischen einer Standardeinstellung für effort und einer maximalen Einstellung nicht trivial. Unser Fable 5 Benchmarks-Aufschlüsselung behandelt, wie die eigenen Zahlen dieses Modells formuliert wurden.

Die beiden wissenschaftlichen Zahlen sind die saubersten Behauptungen in diesem Set, gerade weil sie all dies vermeiden: +10,2 Punkte in organischer Chemie und +7,7 Punkte in Proteinanalyse sind absolute Deltas gegenüber einer benannten Basislinie. Sie erhalten zwar immer noch nicht die Ausgangspunktzahl, aber Sie wissen genau, wie weit sich das Modell bewegt hat.

Die Kosten pro Aufgabe sind konfigurationsabhängig

Drei der Behauptungen von Anthropic bündeln Leistungsfähigkeit mit Kosten: geringere Kosten pro Aufgabe auf Frontier-Bench, ein Drittel der Kosten auf OSWorld 2.0, die Hälfte des Preises auf CursorBench 3.2.

Die Hälfte des Listenpreises davon ist überprüfbar und hält stand. Opus 5 kostet 5 $ pro Million Eingabe-Tokens und 25 $ pro Million Ausgabe-Tokens, identisch mit Opus 4.8 und genau die Hälfte von Fable 5s 10 $/50 $. Dies ist auf Anthropic’s Preisseite veröffentlicht und überhaupt kein Benchmark-Ergebnis. Die vollständige Berechnung, einschließlich Cache-Schreibvorgängen, Batch-Raten und dem Fast-Mode-Premium, finden Sie in unserer Opus 5 Preisaufschlüsselung.

Kosten pro Aufgabe ist eine andere Größe. Sie hängt davon ab, wie viele Tokens der Lauf verbraucht hat, was wiederum vom Schwierigkeitsgrad abhängt, ob das Denken aktiviert war, wie viele Durchläufe die Agenten-Schleife benötigte und wie viele Subagenten gestartet wurden. Anthropic's eigene Prompting-Anleitung weist darauf hin, dass Opus 5 längere Standardantworten als Opus 4.8 erzeugt, leichter an Subagenten delegiert und den Aufgabenbereich häufiger erweitert. Alle drei Faktoren erhöhen den Token-Verbrauch in realen Workloads, sodass ein für ein Kosten-pro-Aufgabe-Diagramm optimierter Lauf nicht automatisch die Konfiguration ist, die Sie einsetzen würden.

<

Nichts davon macht die Kostenangabe falsch. Die Hälfte des Listenpreises ist die Hälfte des Listenpreises, und unser Vergleich zwischen Opus 5 und Fable 5 zeigt auf, wo diese Lücke tatsächlich Vorteile bringt. Es bedeutet, dass das Verhältnis der Kosten pro Aufgabe ein Artefakt einer spezifischen Einrichtung ist und Ihre abweichen wird. Messen Sie es selbst.

Die von Anthropic selbst genannte Obergrenze

Die nützlichste Zeile im Startmaterial ist die, die keinen Gewinn darstellt. Anthropic erklärt klar, dass Opus 5 bei der Cybersicherheits-Exploitation und der autonomen Biologieforschung immer noch Mythos 5 hinterherhinkt. Fable 5 behält auch die Bezeichnung „leistungsfähigstes weit verbreitetes Modell“.

Das ist eine Wiederholung wert, da die Presseberichterstattung dies weitgehend weggelassen hat. Opus 5 ist nicht die Spitze des Claude-Stacks. Die ehrliche Zusammenfassung ist eine Leistungsfähigkeit der Frontier-Klasse zum halben Frontier-Preis, mit einer darüber liegenden, benannten Obergrenze. Für die Frontier-Sicherheitsforschung oder autonome wissenschaftliche Arbeit ist die Benchmark-Antwort immer noch die Mythos-Klasse, die in unserem Mythos-Klasse Modell-Erklärer und Fable 5 vs. Mythos 5 behandelt wird.

Es gibt auch eine betriebliche Konsequenz. Anthropic hat eine Option fallbacks: "default" (hinter dem Beta-Header server-side-fallback-2026-07-01) eingeführt, die automatisch auf Opus 4.8 zurückgreift, wenn Opus 5 eine Anfrage der Cyber-Kategorie ablehnt. Ein Modell mit strengeren Cyber-Ablehnungen benötigt einen Notausgang, und die Existenz dieses Notausgangs sagt Ihnen etwas, was das Diagramm nicht tut.

Was die Benchmarks überhaupt nicht abdecken

Benchmarks messen die Aufgabenerfüllung. Sie messen nicht die Dinge, die entscheiden, ob ein Modell in Ihrem Produkt funktioniert:

• Verhaltensabweichung bei der Migration. Opus 5 überprüft seine eigene Arbeit unaufgefordert. Wenn Ihre Prompts immer noch Anweisungen wie „Überprüfen Sie Ihre Antwort doppelt“ von Opus 4.8 enthalten, erhalten Sie eine Überprüfung und verschwendete Tokens. Anthropic’s Prompting-Leitfaden für Opus 5 empfiehlt, diese zu entfernen.
• Ausgabelänge. Standardantworten und schriftliche Ergebnisse sind länger als bei Opus 4.8. Eine Reduzierung des Aufwands reduziert Denk-Tokens, nicht die sichtbare Länge. Sie müssen explizit um Prägnanz bitten.
• Fehlermodi bei deaktiviertem Denken. Bei thinking: {type: "disabled"} erscheinen Tool-Aufrufe gelegentlich als einfacher Text, der nie ausgeführt wird und dann spätere Durchläufe in einer Agenten-Schleife vergiftet, und interne XML-Tags können manchmal in die sichtbare Ausgabe gelangen. Kein Benchmark-Diagramm zeigt Ihnen das.
• Neukalibrierung des Aufwands. Die Aufwandsstufen wurden bei Opus 5 neu kalibriert, und Anthropic empfiehlt, neu zu testen, anstatt die 4.8-Einstellungen zu übernehmen. Ein Benchmark-Ergebnis auf einer Aufwandsstufe sagt nichts über Ihren Durchsatz auf einer anderen aus. Siehe den Leitfaden für den Aufwandsparameter.
• Der 400er, den Sie treffen werden. Die Kombination von thinking: {type: "disabled"} mit dem Aufwand xhigh oder max führt zu einem 400-Fehler, der pro Anfrage erzwungen wird. Das ist ein Migrationsdetail, keine Fähigkeit, und es wird im Opus 4.8 zu Opus 5 Migrationsleitfaden behandelt.

Was Sie tatsächlich selbst testen sollten

Benchmarks von Anbietern sind eine Ausgangshypothese. Hier ist eine kompakte Bewertung, die Sie an einem Nachmittag durchführen können und die Ihnen mehr über Opus 5 für Ihre Arbeitslast verrät als jede der oben genannten Zahlen zusammen.

1. Erstellen Sie ein kleines Aufgaben-Set aus Ihrer eigenen Historie. Zwanzig bis fünfzig reale Aufgaben: geschlossene Tickets, zusammengeführte PRs, Support-Threads, die Ihr Modell bearbeitet hätte. Reale Eingaben sind synthetischen überlegen, da sie Ihre tatsächliche Formatierung, Ambiguität und Randfälle enthalten.

2. Fixieren Sie die Konfiguration und schreiben Sie sie auf. Die Modell-ID genau claude-opus-5, plus Ihr output_config.effort-Level, ob das Denken aktiviert ist und Ihre max_tokens. Eine nicht fixierte Konfiguration macht jeden späteren Vergleich bedeutungslos.

3. Bewerten Sie die Kosten pro gelöster Aufgabe, nicht die Kosten pro Token. Lesen Sie den usage-Block jeder Antwort und erfassen Sie Eingabe-, Ausgabe-, Cache-Lese- und Cache-Schreib-Tokens pro Aufgabe. Teilen Sie dann die Gesamtausgaben durch die Aufgaben, die Ihre Akzeptanzprüfung tatsächlich bestanden haben. Dies ist die Zahl, die Anthropic's Diagramm beansprucht, also ist es die Zahl, die reproduziert werden soll.

4. Führen Sie einen echten Aufwands-Sweep durch. Dasselbe Aufgaben-Set bei low, medium, high und xhigh. Die Neukalibrierung bedeutet, dass low und medium bei Opus 5 deutlich stärker sind als bei früheren Opus-Modellen, und viele Workloads werden feststellen, dass ein günstigeres Niveau genauso oft besteht. Achten Sie auf max_tokens am oberen Ende.

5. Testen Sie die Agenten-Schleife, nicht den einzelnen Durchlauf. Die meisten Start-Benchmarks sind agentenbasiert (OSWorld, CursorBench, AutomationBench). Einzelne Spot-Checks werden sie nicht reproduzieren. Führen Sie mehrere Durchläufe mit Ihren echten Tools durch und zählen Sie die Durchläufe, nicht nur die Ergebnisse.

6. Vergleichen Sie mit Ihrem aktuellen Modell auf demselben Aufgaben-Set. Was auch immer Sie heute verwenden, Opus 4.8 oder Sonnet 5 oder etwas anderes, führen Sie es durch dieselbe Testumgebung. Ein relatives Ergebnis auf Ihren eigenen Daten ist mehr wert als eine absolute Punktzahl auf den Daten eines anderen.

7. Verweigert-Meldungen separat protokollieren. Cyber-nahe Arbeiten werden häufiger auf Verweigerungen stoßen als bei 4.8. Zählen Sie diese, bevor Sie entscheiden, ob der Fallback-Header das Verdrahten wert ist.

Für die Vergleichsmethodik bei einem früheren Start behandelt unser Sonnet 5 Benchmarks-Beitrag dieselbe Übung, und der Opus 5 API-Leitfaden enthält die Anfrageformen.

Die Bewertung in Apidog durchführen

Die obige Bewertung besteht aus einer Reihe von HTTP-Anfragen mit Auth-Headern, JSON-Bodies, Streaming-Antworten und einem usage-Block, den Sie bei jedem Aufruf lesen müssen. Das ist gewöhnliche API-Arbeit, die Apidog handhabt.

Eine praktikable Einrichtung:

1. Erstellen Sie eine Anfrage an den Anthropic Messages-Endpunkt und speichern Sie Ihren API-Schlüssel als Umgebungsvariable, anstatt ihn in den Body einzufügen.
2. Duplizieren Sie diese Anfrage einmal pro Aufwandsebene, damit Sie den gleichen Prompt von low bis xhigh senden und die Antworten nebeneinander vergleichen können.
3. Schalten Sie das Streaming ein und überprüfen Sie die SSE-Ereignisse direkt, wenn Sie sehen möchten, wie sich Denk-Tokens ansammeln, bevor die sichtbare Antwort beginnt.
4. Überprüfen Sie die Tool-Call-Payloads in der Antwort, um zu bestätigen, dass das Modell tatsächlich strukturierte Tool-Aufrufe ausgibt, anstatt sie in Prosa zu beschreiben, was das zu beachtende Artefakt bei deaktiviertem Denken ist.
5. Fügen Sie eine Assertion für die usage-Felder hinzu, damit Cache-Hits und Token-Gesamtzahlen bei jedem Lauf erfasst werden, anstatt nur geschätzt zu werden.
6. Speichern Sie das Ganze als Sammlung, sodass der nächste Modellstart ein Modell-ID-Tausch ist und keine Neuerstellung.

Hier ist die Basisanfrage:

curl https://api.anthropic.com/v1/messages \
  --header "x-api-key: $ANTHROPIC_API_KEY" \
  --header "anthropic-version: 2023-06-01" \
  --header "content-type: application/json" \
  --data '{
    "model": "claude-opus-5",
    "max_tokens": 8192,
    "output_config": {"effort": "medium"},
    "messages": [
      {"role": "user", "content": "Fix the failing test in this diff."}
    ]
  }'

Ändern Sie ein Feld pro Lauf, halten Sie alles andere konstant und protokollieren Sie den usage-Block jedes Mal. Laden Sie Apidog herunter, wenn Sie diesem Muster mit bereits eingerichteten Umgebungen und Assertions folgen möchten.

Die ehrliche Zusammenfassung

Die Benchmark-Geschichte von Opus 5 ist wirklich stark: der größte Sprung gegenüber seinem Vorgänger, den Anthropic für eine Opus-Veröffentlichung beansprucht hat, zu unveränderten Listenpreisen. Sie ist auch vollständig vom Anbieter durchgeführt, bis zum 25. Juli 2026 nicht reproduziert und weitgehend in Verhältnissen angegeben, die ihre Nenner verbergen. Beides trifft gleichzeitig zu.

Betrachten Sie die Tabelle oben auf dieser Seite als Anthropic's Hypothese über sein eigenes Modell. Dann ermitteln Sie Ihre eigenen Zahlen. Die Lücke zwischen einem Startdiagramm und einer Produktionsarbeitslast ist der Punkt, an dem jede Modellmigration tatsächlich entschieden wird, und der Opus 5 Säulen-Leitfaden deckt den Rest der Änderungen ab.

FAQ

Sind die Claude Opus 5 Benchmarks unabhängig verifiziert? Nein. Stand 25. Juli 2026 stammen alle veröffentlichten Opus 5 Benchmark-Ergebnisse von Anthropic. Kein Drittanbieter-Labor oder unabhängiger Gutachter hat eine Reproduktion veröffentlicht. Lesen Sie sie als vom Anbieter gemeldete Zahlen.

Was ist die größte Opus 5 Benchmark-Behauptung? Frontier-Bench v0.1, wo Anthropic angibt, dass Opus 5 die Punktzahl von Opus 4.8 mehr als verdoppelt, und das zu geringeren Kosten pro Aufgabe. Anthropic hat die zugrunde liegenden Punktzahlen nicht veröffentlicht, nur das Verhältnis, und Frontier-Bench v0.1 ist ein neuer Benchmark ohne etablierte Erfolgsbilanz.

Ist Claude Opus 5 das leistungsfähigste Claude-Modell? Nein. Fable 5 behält die Bezeichnung „leistungsfähigstes weit verbreitetes Modell“, und Anthropic erklärt, dass Opus 5 bei der Cybersicherheits-Exploitation und der autonomen Biologieforschung immer noch hinter Mythos 5 zurückliegt. Das Verkaufsargument von Opus 5 ist die Leistungsfähigkeit der Frontier-Klasse zum halben Preis von Fable 5, nicht die Spitze des Stacks.

Wie viel besser ist Opus 5 bei wissenschaftlichen Aufgaben als Opus 4.8? Anthropic meldet +10,2 Punkte in organischer Chemie und +7,7 Punkte in Proteinanalyse gegenüber Opus 4.8. Dies sind die beiden Behauptungen, die als absolute Deltas statt als Verhältnisse angegeben werden, was sie am einfachsten zu interpretieren macht, obwohl die Basislinien-Scores nicht veröffentlicht wurden.

Schlägt Opus 5 Fable 5? Nach den Zahlen von Anthropic übertrifft es Fable 5 auf OSWorld 2.0 zu einem Drittel der Kosten und liegt innerhalb von 0,5 % des Spitzenwerts von Fable 5 auf CursorBench 3.2 zum halben Preis. Fable 5 behält weiterhin die allgemeine Leistungsbezeichnung. Siehe den vollständigen Vergleich.

Was sollte ich selbst benchmarken? Kosten pro gelöster Aufgabe bei zwanzig bis fünfzig realen Aufgaben aus Ihrem eigenen Backlog, ausgeführt auf mehreren Aufwandsebenen, mit Ihren tatsächlichen Tools und aktivierten Multi-Turn-Schleifen. Vergleichen Sie mit dem, was Sie heute auf derselben Testumgebung ausführen.