Claude Fable 5.1 Benchmarks: Was die Zahlen wirklich aussagen

Anthropic hat Claude Fable 5.1 am 1. September 2026 eingeführt, zusammen mit einer Benchmark-Tabelle, die es über neun Tests hinweg mit Fable 5, Opus 5 und GPT-5.6 Sol vergleicht. Die Schlagzeile, mit der jedes Medium berichtete, war Terminal-Bench-Science, wo Fable 5.1 52,6 % gegenüber Fable 5’s 24,7 % erzielte. Die Zahl, über die weniger Medien berichteten, war CursorBench, wo der Abstand zu Opus 5 3,4 Punkte bei einem Modell beträgt, das doppelt so viel kostet.

Dieser Leitfaden fasst jede veröffentlichte Zahl mit Quellenangabe an einem Ort zusammen, erklärt, was jeder Benchmark misst, trennt die großen von den kleinen Unterschieden und behandelt dann den Teil, den die Einführungberichterstattung übersprungen hat: Dies sind alles vom Anbieter durchgeführte Ergebnisse, Mythos 5.1 übertrifft Fable 5.1 bei dem einen agentischen Codierungstest, bei dem beide veröffentlicht wurden, und die richtige Reaktion auf eine Einführungstabelle ist es, eigene Evaluierungen durchzuführen. Die Hauptquelle ist Anthropic’s Einführungsbeitrag; der Modellkontext findet sich unter was Claude Fable 5.1 ist.

Die vollständige Tabelle

Anthropic veröffentlichte auch eine Zahl für Mythos 5.1: 60,9 % auf Terminal-Bench 4.0. VentureBeat berichtete auch über ein Browserbase-Ergebnis von 82 % für Fable 5.1 gegenüber 74 % für Opus 5 und 57 % für Fable 5 bei den schwierigsten Browser-Agent-Aufgaben; diese Zahl stammt aus der Presseberichterstattung und nicht aus dem Einführungsbeitrag, daher sollte sie entsprechend gewichtet werden.

Die großen Unterschiede

Terminal-Bench-Science 0.1: 52,6 % vs. 24,7 % (Fable 5) und 29,0 % (Opus 5). Das ist das Ergebnis. Fable 5.1 verdoppelt seinen Vorgänger mehr als und verdoppelt fast Opus 5 in einem Benchmark, der das Modell in ein Terminal mit wissenschaftlichen Werkzeugen setzt und es bittet, mehrstufige Forschung durchzuführen. Es ist der klarste Beweis dafür, dass Anthropic’s erklärtes Ziel, sich auf „langfristige Problemlösung“ zu konzentrieren, etwas Messbares hervorgebracht hat. Es ist auch ein Benchmark der Version 0.1, was bedeutet, dass der Aufgabensatz jung ist und die Ergebnisse sich wahrscheinlich verschieben werden, wenn er reift.

AutomationBench: 31,4 % vs. 17,1 % (Fable 5) und 26,9 % (Opus 5). Ein Benchmark von End-to-End-Geschäftsprozessen über Anwendungen hinweg, bei dem die absoluten Zahlen für alle niedrig sind. Fable 5.1 verdoppelt Fable 5 hier fast und liegt 4,5 Punkte vor Opus 5. Wenn Ihr Produkt geschäftliche Aufgaben über mehrere Anwendungen hinweg automatisiert, ist dies die Zeile, die Sie interessieren sollte.

Terminal-Bench 4.0: 55,8 % vs. 42,0 % (Fable 5). Ein Sprung von 13,8 Punkten gegenüber Fable 5 bei der agentischen Codierung, was die Zahl ist, mit der Anthropic in seinem Einführungsbeitrag im Codierungsbereich führte. Gegenüber Opus 5 beträgt der Vorsprung 3,5 Punkte. Opus 5 hatte Fable 5 bei diesem Benchmark bereits im Juli übertroffen, sodass der Vorteil der Fable-Stufe gegenüber der Opus-Stufe bei der agentischen Codierung zurückgekehrt ist, aber geringer ist als im Juni. Die Aufschlüsselung der Opus 5 Benchmarks enthält die Julizahlen.

GDPval-AA v2: 1853 vs. 1723 (Fable 5). Ein Elo-Gewinn von 130 gegenüber Fable 5 bei Wissensarbeitsaufgaben und der Benchmark, auf den Anthropic für seine Behauptungen zu Dokumenten, Tabellen und Präsentationen verweist. Gegenüber Opus 5 beträgt der Abstand 29 Elo, was gering ist.

Die kleinen Unterschiede

CursorBench 3.2.0: 73,4 % vs. 70,5 % (Fable 5) und 70,0 % (Opus 5). Codierungsaufgaben im IDE-Stil. Drei Punkte Vorsprung gegenüber beiden Modellen. Dies ist der Benchmark, der für die größte Entwicklergemeinschaft am wichtigsten ist, und hier ist der Vorsprung von Fable 5.1 am geringsten. Wenn Ihre Arbeitslast „hilf mir in meinem Editor“ lautet, rechtfertigt die Einführungstabelle allein keinen doppelten Preis.

OSWorld 2.0: 77,9 % / 41,7 % vs. 75,4 % / 39,6 % (Opus 5). Computernutzung. Zwei Punkte Vorsprung gegenüber Opus 5 bei beiden Bewertungen, fünf gegenüber Fable 5. Real, nicht dramatisch. Beachten Sie die strenge Bewertung: Weniger als die Hälfte der Aufgaben wurde von keinem Modell vollständig erledigt. Die Computernutzung ist immer noch der schwächste Bereich im Spitzenbereich der Entwicklung.

Humanity’s Last Exam: 60,9 % / 65,0 % vs. 56,6 % / 63,6 % (Opus 5). Ohne Tools ein Vorsprung von 4,3 Punkten gegenüber Opus 5, was der größte der kleinen Unterschiede ist. Mit Tools schrumpft er auf 1,4 Punkte, da Suche und Codeausführung das Feld nivellieren. Die Zahl ohne Tools ist das bessere Maß für das reine logische Denken; die Zahl mit Tools kommt der tatsächlichen Nutzung des Modells näher.

Fable 5.1 vs. GPT-5.6 Sol

Anthropic veröffentlichte vier Zeilen mit einer GPT-5.6 Sol-Spalte, und Fable 5.1 führt in allen vier: Terminal-Bench-Science um 30,2 Punkte, Terminal-Bench 4.0 um 18,5, AutomationBench um 11,8 und CursorBench um 6,2. GDPval-AA zeigt 1853 gegenüber 1711. Zwei Vorbehalte. Dies sind Anthropic’s Läufe eines Konkurrenzmodells, und die fünf Zeilen ohne eine GPT-5.6 Sol-Spalte fehlen aus einem Grund, den Anthropic nicht angegeben hat. Unser GPT-5.6 Sol vs. Fable 5 Vergleich behandelte den früheren Vergleich; anhand dieser Zahlen vergrößert Fable 5.1 jeden Vorsprung, den Fable 5 hatte.

Was die Einführungsberichterstattung übersprungen hat

Alle Zahlen stammen vom Anbieter. Anthropic führte alle durch, einschließlich der Konkurrenzspalte, und kein unabhängiges Labor hatte sie zum Zeitpunkt der Einführung reproduziert. Anthropic’s Benchmark-Historie hat sich im Allgemeinen bewährt, aber die Unterschiede bei CursorBench und OSWorld sind gering genug, dass eine andere Testumgebung oder Bewertungsoption sie umkehren könnte.

Mythos 5.1 ist die wahre Obergrenze. Anthropic’s Systemkarte und Einführungsbeitrag besagen, dass Fable 5.1 und Mythos 5.1 „dasselbe Modell, aber mit unterschiedlichen Sicherheitsstufen“ sind, und es veröffentlichte Mythos 5.1 mit 60,9 % auf Terminal-Bench 4.0 gegenüber Fable 5.1’s 55,8 %. Dieser Fünf-Punkte-Abstand ist der Preis der Schutzmaßnahmen bei der agentischen Codierung, und er bedeutet, dass „Anthropic’s fähigstes weit verbreitetes Modell“ einen bekannten, besseren Bruder über sich hat. Der Vergleich von Mythos 5.1 vs. Fable 5.1 behandelt, wer darauf zugreifen kann.

Aufwand wurde nicht angegeben. Anthropic’s Aufwandsdokumentation besagt, dass die Gewinne von Fable 5.1 bei xhigh und max am größten sind. Der Einführungsbeitrag gibt nicht an, welches Aufwandsniveau jede Punktzahl erzeugte oder mit welchem Aufwand die Vergleichsmodelle liefen. Da der Aufwand der primäre Qualitätshebel bei diesen Modellen ist, ist diese Auslassung wichtig, wenn Sie versuchen, eine Zahl zu reproduzieren.

Die mehrsprachige Leistung ist gleichbleibend. Anthropic gibt an, dass die mehrsprachige Leistung auf dem Niveau von Fable 5 liegt und nicht verbessert wurde. Wenn Ihre Arbeitslast nicht-englisch ist, übertreibt die Einführungstabelle den Gewinn.

Die Schutzmaßnahmen-Zahlen sind eine andere Art von Benchmark. Anthropic berichtet von 85 % weniger biologischen Fehlalarmen bei gutartigen Anfragen und etwa 60 % weniger Cyber-Interventionen pro Claude Code-Sitzung gegenüber Fable 5. Diese werden am eigenen Traffic von Anthropic gemessen und sind extern nicht reproduzierbar, aber für einen Fable 5-Benutzer, der auf Ablehnungen stieß, könnten sie wichtiger sein als jede Fähigkeitsreihe.

Was Sie selbst testen sollten

Eine Einführungstabelle sagt Ihnen, wo Sie suchen müssen. Ihre Evaluierungen sagen Ihnen, ob Sie wechseln sollten. Vier Tests, die den oben genannten Zeilen entsprechen:

1. Eine Langzeit-Agentenaufgabe aus Ihrem eigenen Produkt, vollständig ausgeführt auf Fable 5.1 bei high, Opus 5 bei xhigh und Fable 5 bei high. Dies ist das Analogon zu Terminal-Bench-Science und AutomationBench, und hier zahlt sich der 2-fache Preis entweder aus oder nicht.
2. Ihre zehn schwierigsten Codierungs-Prompts mit dem gleichen Aufwand auf Fable 5.1 und Opus 5. Wenn die Ergebnisse gleich sind, haben Sie die CursorBench-Geschichte reproduziert, und Opus 5 ist die Antwort.
3. Eine Aufwandsuntersuchung nur für Fable 5.1, von low bis max, bei einer Routineaufgabe. Anthropic’s Behauptung ist, dass medium Fable 5 entspricht und low mit Opus 5 bei den Kosten pro Aufgabe konkurriert. Überprüfen Sie es.
4. Eine Verweigerungszählung bei Ihren gutartigen Sicherheits- oder Biowissenschafts-Prompts, Fable 5 versus Fable 5.1. Das ist die 60 %- und 85 %-Behauptung, und es ist diejenige, die Sie an einem Nachmittag überprüfen können.

Erstellen Sie alle vier als Anfragen in Apidog mit model und effort als Umgebungsvariablen, fügen Sie Zusicherungen für stop_reason und für das Vorhandensein einer erwarteten Zeichenkette in der Antwort hinzu und führen Sie die Sammlung pro Modell aus. Der Ausführungsverlauf liefert Ihnen eine reproduzierbare Evaluierungstabelle ohne neue Infrastruktur. Laden Sie Apidog herunter, um es einzurichten; die API-Anleitung enthält die Anfragenformen.

Wie die Benchmarks zur Entscheidung beitragen

• Langfristige Agenten, Forschung, Automatisierung: Die Unterschiede sind groß und konstant. Fable 5.1 ist das Modell, und die Preisübersicht zeigt, dass die günstigeren Cache-Zugriffe die Kostenlücke bei genau diesen Arbeitslasten verringern.
• IDE-Codierung, Wissens-Q&A, werkzeuggestütztes Denken: Die Unterschiede zu Opus 5 betragen ein bis vier Punkte. Anthropic’s eigene Regel gilt: Bleiben Sie bei Opus 5, es sei denn, es scheitert bei Ihren Evaluierungen mit höherem Aufwand. Der Fable 5.1 vs. Opus 5 Vergleich behandelt dies.
• Wechsel von Fable 5: Jede Zeile verbesserte sich, der Preis nicht, und die Rate der falsch-positiven Ergebnisse sank. Der Fable 5.1 vs. Fable 5 Vergleich behandelt die Migrationskosten.

FAQ

Was ist das beste Benchmark-Ergebnis von Claude Fable 5.1? Terminal-Bench-Science 0.1 mit 52,6 %, mehr als das Doppelte von Fable 5’s 24,7 % und vor Opus 5’s 29,0 % und GPT-5.6 Sol’s 22,4 %. Alle Zahlen stammen von Anthropic.

Wie schneidet Fable 5.1 im Vergleich zu Opus 5 beim Codieren ab? 55,8 % vs. 52,3 % auf Terminal-Bench 4.0 und 73,4 % vs. 70,0 % auf CursorBench 3.2.0, laut Anthropic’s Zahlen. Reale, aber geringe Vorsprünge von etwa drei Punkten.

Ist Fable 5.1 besser als GPT-5.6 Sol? Bei den vier Benchmarks, bei denen Anthropic beide veröffentlichte, ja, um 6 bis 30 Punkte. Anthropic führte die GPT-5.6 Sol-Zahlen selbst durch, und fünf seiner neun Zeilen haben keinen GPT-5.6 Sol-Eintrag.

Sind die Fable 5.1 Benchmarks unabhängig überprüft? Nicht zum Start. Jede Zahl wird von Anthropic durchgeführt. Betrachten Sie sie als Behauptungen, die Sie in Ihrer eigenen Arbeitslast testen müssen.

Wie schneidet Mythos 5.1 ab? Anthropic veröffentlichte eine Zahl: 60,9 % auf Terminal-Bench 4.0, fünf Punkte über Fable 5.1’s 55,8 %. Die beiden sind dasselbe Modell mit unterschiedlichen Schutzmaßnahmen.

Welches Aufwandsniveau erzeugte diese Ergebnisse? Anthropic hat es nicht gesagt. Seine Empfehlung ist, dass die Gewinne von Fable 5.1 bei xhigh und max am größten sind, gehen Sie also von hohem Aufwand aus und erwarten Sie bei niedrigeren Einstellungen niedrigere Ergebnisse.