Claude Opus 4.8: Benchmarks, Zahlen und was dahinter steckt

Veröffentlicht: 30. Mai 2026  | 

Anthropic hat Claude Opus 4.8 veröffentlicht und sofort eine Benchmark-Tabelle mit über 15 Metriken veröffentlicht. Auf den ersten Blick ist es nur ein weiterer Satz von Prozentzahlen und Ranglistenpositionen. Aber wenn man genau liest, stecken hinter diesen Zahlen mehrere nicht triviale Schlussfolgerungen darüber, wo Opus 4.8 wirklich besser ist, wo es verliert und warum einige der wichtigsten Änderungen überhaupt nicht in einer Rangliste erscheinen.

Welche Benchmarks veröffentlicht Anthropic und was messen sie

Anthropic hat eine Vergleichstabelle für vier Modelle veröffentlicht: Claude Opus 4.8, Claude Opus 4.7, GPT-5.5 und Gemini 3.1 Pro. Standardkonfiguration: adaptive thinking mit maximaler Anstrengung, Durchschnitt von 5 Versuchen. Quelle: System Card von Anthropic.

Schlüssel-Benchmarks, die man kennen sollte:

• SWE-bench Pro — die schwierigste Variante von SWE-bench: Aufgaben aus aktiv gepflegten Repositories, Multi-File-Diffs, ohne Datenlecks in den öffentlichen Raum. Am nächsten am realen Coding.
• SWE-bench Verified — der ursprüngliche Satz von 500 Aufgaben. Einfacher, aber immer noch maßgeblich.
• Terminal-Bench 2.1 — Terminal-Aufgaben: Shell-Scripting, Systemadministration, CLI-Workflows.
• Humanity's Last Exam (HLE) — der derzeit schwierigste allgemeine Reasoning-Benchmark. Zwei Modi: mit und ohne Werkzeuge.
• GPQA Diamond — Fragen auf PhD-Niveau aus Physik, Chemie, Biologie. Gilt als praktisch gesättigt auf dem Spitzen-Niveau.
• OSWorld-Verified — autonomer Computergebrauch: Bearbeiten von Dokumenten, Browser, Dateiverwaltung auf einer echten VM.
• GDPval-AA — Bewertung von wirtschaftlich wertvoller Wissensarbeit in realen professionellen Domänen.
• Finance Agent v2 — Finanzanalyse, bewertet von Vals AI.
• GraphWalks BFS 1M — Extraktion von Informationen im langen Kontext bei 1 Million Tokens.
• USAMO 2026 — mathematische Beweise auf Olympia-Niveau.

Coding: SWE-bench Pro — Wo Opus 4.8 führt

SWE-bench Pro ist der Bereich, in dem Opus 4.8 den größten Vorsprung vor der Konkurrenz hat. Laut Vellum AI und der offiziellen System Card von Anthropic:

Das Schlüsselmuster: Je schwieriger die Benchmark-Variante ist, desto größer ist die Lücke. Bei SWE-bench Verified ist der Unterschied zwischen Opus 4.8 und GPT-5.5 gering (88,6 % vs. ~82 % laut unabhängigen Daten). Bei SWE-bench Pro, wo die Aufgaben schwieriger sind und es keine „Lecks“ von richtigen Antworten gibt, beträgt der Vorsprung über 10 Prozentpunkte.

Praktische Bedeutung von Cursor: Opus 4.8 auf CursorBench liefert nicht nur ein besseres Ergebnis — es tut dies mit weniger Schritten. Die Kosten pro Token pro Aufgabe sinken, ohne die Qualität der Ausgabe zu verringern.

Auch erwähnenswert: Computergebrauch (OSWorld-Verified) zeigt 83,4 % bei Opus 4.8 im Vergleich zu 78,7 % bei GPT-5.5 und 76,2 % bei Gemini 3.1 Pro. Dies ist keine isolierte Metrik — genau dieses Ergebnis ist die Voraussetzung dafür, dass Dynamic Workflows (Hunderte paralleler Sub-Agenten) in der Praxis überhaupt nützlich sind.

Warum das wichtig ist

SWE-bench Pro wurde absichtlich so konzipiert, dass es nicht „auswendig gelernt“ werden kann. Die Aufgaben stammen aus aktiv gepflegten Repositories — das heißt, sie sind nach dem Trainings-Cutoff-Datum der meisten Modelle entstanden. Multi-File-Diffs erfordern das Verständnis der Architektur und nicht nur die lokale Korrektur einer Zeile. Deshalb ist der Vorsprung hier das ehrlichste Signal für reale Coding-Fähigkeiten.

Für ein Team, das Claude Code in einem realen Projekt einsetzt, bedeutet dies: Opus 4.8 behält den Kontext zwischen den Dateien besser bei, macht seltener Änderungen, die benachbarte Module „kaputt machen“, und schließt die Aufgabe öfter beim ersten Versuch ab, ohne zusätzliche Prompt-Verfeinerung. Weniger Schritte bedeuten nicht nur eine Einsparung von Tokens, sondern auch weniger manuelle Kontrolle über den Agenten.

Fazit des Abschnitts

Ich denke, Opus 4.8 ist das stärkste öffentliche Modell für Multi-File-Software-Engineering Stand Mai 2026. Der Vorsprung vor GPT-5.5 bei SWE-bench Pro (10,6 Punkte) und vor Gemini 3.1 Pro (15 Punkte) ist kein statistischer Rausch, sondern ein stabiler Vorteil bei der repräsentativsten Coding-Benchmark. Wenn Ihr Hauptanwendungsfall Agenten-Coding in realen Repositories ist, wird die Wahl zugunsten von Opus 4.8 sowohl durch Zahlen als auch durch praktische Rückmeldungen von frühen Testern gestützt.

Terminal-Bench: Wo GPT-5.5 noch vorne liegt — und warum die Zahlen hier nicht so einfach sind

Terminal-Bench 2.1 ist die Benchmark, bei der Opus 4.8 nicht führt. Und das ist ein Bereich, in dem die Methodik nicht weniger wichtig ist als das Modell selbst.

Das Problem: GPT-5.5 veröffentlicht sein „Headline“-Ergebnis von 83,4 % über seinen eigenen Codex CLI Harness. Alle anderen Modelle, einschließlich Opus 4.8, wurden über den öffentlichen Terminus-2 Harness gemessen. 83,4 % mit 74,6 % zu vergleichen, ist kein Vergleich von Modellen, sondern ein Vergleich von Messwerkzeugen.

Was fair verglichen werden kann: Auf Terminus-2 ist GPT-5.5 78,2 %, Opus 4.8 74,6 %. Der Unterschied ist real, aber deutlich geringer. Gleichzeitig hat sich Opus 4.8 im Vergleich zu Opus 4.7 um 8,5 Punkte auf demselben Harness verbessert — und das ist bereits echter Fortschritt, kein Marketing.

Laut Digital Applied hat Anthropic beide Zahlen veröffentlicht — und das ist eine Seltenheit in der Branche, wo Labs normalerweise den Harness wählen, der ihr Modell am besten „schmeichelt“.

Fazit: Wenn Ihr Workflow auf Terminalaufgaben, Shell-Scripting und CLI-Automatisierung ausgerichtet ist — GPT-5.5 mit Codex CLI könnte derzeit die bessere Wahl sein. Wenn Sie eine Agenten-Coding-Pipeline mit Multi-File-Engineering aufbauen — Opus 4.8 liegt vorne.

Begründung: GPQA, HLE und ein mathematischer Sprung von +27 Punkten

GPQA Diamond ist der Benchmark, bei dem Opus 4.8 einen Schritt zurück gemacht hat. 93,6 % gegenüber 94,2 % bei Opus 4.7. Gemini 3.1 Pro zeigt 94,3 % und liegt formal an der Spitze. Aber wichtiger Kontext: GPQA Diamond gilt als praktisch gesättigt auf dem Niveau von Frontier-Modellen. Der Unterschied zwischen 93,6 % und 94,3 % liegt im Bereich der statistischen Fehlergrenze bei 5 Versuchen.

Humanity's Last Exam (HLE) ist der Ort, an dem noch echter Raum für Fortschritt besteht:

Opus 4.8 führt bei HLE in beiden Konfigurationen – und der Vorsprung mit Werkzeugen ist größer als ohne.

Das dramatischste Ergebnis im Bereich Reasoning ist jedoch USAMO 2026 (mathematische Beweise auf olympischem Niveau): 96,7 % bei Opus 4.8 gegenüber 69,3 % bei Opus 4.7. Ein Zuwachs von 27,4 Prozentpunkten in einer einzigen Veröffentlichung.

Laut der Analyse von Digital Applied erklärt ein solcher Sprung keine inkrementelle Verbesserung – er ist ein Signal für eine qualitative Veränderung in der Tiefe des mathematischen Reasonings. Für Teams, die mit Finanzmodellierung, wissenschaftlicher Analyse oder komplexen algorithmischen Aufgaben arbeiten, ist dies das wichtigste digitale Signal dieser Veröffentlichung.

Long-Context: der dramatischste relative Zuwachs der Veröffentlichung

GraphWalks BFS ist ein Benchmark zur Extraktion von Informationen bei einem Kontext von 1 Million Tokens. Dies ist kein abstrakter Test: Er misst, ob ein Modell in der Lage ist, Verbindungen zwischen Objekten über sehr große Entfernungen im Text zu halten und zu nutzen.

Opus 4.8 verbesserte sich von 40,3 % auf 68,1 % – ein Zuwachs von +27,8 Punkten. Dies ist der größte relative Sprung unter allen veröffentlichten Metriken. Opus 4.8 findet Informationen nicht nur besser – er tut dies 1,7-mal besser als sein Vorgänger bei gleicher Kontextgröße.

Praktische Bedeutung: Große Monorepositories, lange juristische Dokumente, Finanzberichte auf Hunderten von Seiten, Code-Reviews von Tausenden von Dateien – gerade hier macht sich dieser Zuwachs am deutlichsten bemerkbar. In Kombination mit Dynamic Workflows (parallele Sub-Agenten) macht dies Opus 4.8 zu einem qualitativ anderen Werkzeug für nachhaltige Lieferarbeit im Vergleich zu 4.7.

Warum das wichtig ist

1 Million Tokens Kontext zu haben und ihn nutzen zu können, sind zwei verschiedene Dinge. Vor Opus 4.8 hatten die meisten Modelle technische Unterstützung für langen Kontext, aber die Qualität der Informationsgewinnung fiel nach einer bestimmten Grenze drastisch ab. GraphWalks misst genau das: nicht "wie viele Tokens ein Modell akzeptiert", sondern "findet es die benötigte Verbindung, wenn sie tief in einer Million Tokens versteckt ist".

Der Sprung von 40,3 % auf 68,1 % bedeutet, dass Opus 4.8 die praktische Schwelle der Nützlichkeit für Aufgaben überschritten hat, bei denen der gesamte Kontext tatsächlich gleichzeitig benötigt wird. Früher mussten Entwickler große Codebasen in Stücke zerlegen und sie portionsweise einspeisen – mit allen Kontextverlusten zwischen den Sitzungen. Jetzt kann ein deutlich größerer Prozentsatz solcher Aufgaben in einer einzigen vollständigen Anfrage gelöst werden.

Für Java- und Spring-Projekte mit verzweigten Modulstrukturen bedeutet dies, dass Claude gleichzeitig Abhängigkeiten zwischen Diensten, Konfiguration, Tests und Geschäftslogik im Gedächtnis behalten kann – und Empfehlungen geben kann, die das Gesamtbild berücksichtigen, nicht nur einen lokalen Ausschnitt.

Fazit des Abschnitts

Long-Context ist der Bereich, in dem Opus 4.8 einen qualitativen Sprung gemacht hat, keine inkrementelle Verbesserung. +27,8 Punkte bei GraphWalks BFS und ein Vorsprung von 22,7 Punkten vor GPT-5.5 sind keine "kleine Verbesserung", sondern eine andere Kategorie der Zuverlässigkeit bei der Arbeit mit großem Kontext. Wenn Ihre Aufgaben regelmäßig an Kontextgrenzen stoßen oder die Analyse großer Dokumente erfordern, dann beschreibt diese Metrik am besten den tatsächlichen Unterschied zwischen 4.7 und 4.8.

Preis: das wichtigste kommerzielle Signal der Veröffentlichung

Der Preis hat sich nicht geändert: 5 $/25 $ pro 1 Mio. Tokens (Input/Output). Das bedeutet, dass Opus 4.8 ein Same-Price-Upgrade ist. Für Teams, die bereits Opus 4.7 verwenden, erfordert die Migration keine Überprüfung des Token-Budgets oder Preisverhandlungen.

Fast Mode ist jetzt dreimal günstiger: 10 $/50 $ pro 1 Mio. Tokens bei 2,5-facher Geschwindigkeit. Zum Vergleich: Früher kostete der Fast Mode deutlich mehr im Verhältnis zum Standardpreis. Das macht Opus 4.8 auch für latent empfindliche Anwendungen zu einer praktikablen Wahl.

Anthropic selbst bezeichnet die Veröffentlichung als "modest but tangible improvement" – und die Beibehaltung des Preises bei gleichzeitiger Qualitätsverbesserung ist wohl die genaueste Beschreibung der kommerziellen Strategie.

Warum das wichtig ist

Ein Same-Price-Upgrade ist nicht nur ein Marketingdetail. Bei den meisten Veröffentlichungen geht eine Qualitätsverbesserung mit einer Preiserhöhung einher, und Teams müssen die Migration vor dem Geschäft rechtfertigen. Hier gibt es diese Hürde nicht: Wenn Sie bereits für Opus 4.7 bezahlen – erhalten Sie ein besseres Modell ohne zusätzliche Entscheidung.

Fast Mode für 10 $/50 $ verändert architektonische Entscheidungen für latenzempfindliche Pipelines. Früher war die Wahl zwischen Qualität und Geschwindigkeit im Grunde die Wahl zwischen Opus und einem kleineren Modell. Jetzt können hybride Pipelines aufgebaut werden: Opus 4.8 im Fast Mode für Aufgaben, bei denen die Antwortgeschwindigkeit wichtig ist, und der Standardmodus für kritische architektonische oder analytische Anfragen – und das alles innerhalb derselben Preisliste.

Für Enterprise-Teams vereinfacht dies auch die Planung: eine Stufe, ein Preis, kontrollierte Qualität durch Aufwandssteuerung. Es ist nicht nötig, mehrere Modelle unterschiedlicher Kosten zu jonglieren, um im Budget zu bleiben.

GDPval und Finance Agent: über den realen Geschäftswert

GDPval-AA misst die real wirtschaftlich wertvolle Wissensarbeit in verschiedenen professionellen Domänen. Es ist ein ELO-Rating – ähnlich wie beim Schach.

Zwei wichtige Muster aus dieser Tabelle. Erstens: Die drei Top-Modelle liegen nahe beieinander (Opus 4.8, GPT-5.5, Opus 4.7 – innerhalb von 137 Punkten). Zweitens: Gemini 3.1 Pro liegt 576 Punkte hinter dem Spitzenreiter zurück. Dies ist keine inkrementelle Differenz – es ist eine strukturelle Kluft für unternehmensweite Wissensarbeit.

Laut der Analyse von Vellum AI ist die Wahl zwischen Opus 4.8 und Opus 4.7 für solche Aufgaben inkrementell. Die Wahl zwischen einem von ihnen und Gemini 3.1 Pro ist strukturell.

Finance Agent v2 – eine Ausnahme, die ehrlich erwähnt werden sollte:

Hier führt Gemini 3.5 Flash – ein kleineres und günstigeres Modell. Dies ist eine wichtige Veranschaulichung des allgemeinen Trends von 2026: kleinere Modelle gewinnen weiterhin spezifische Vertikalen. Wenn Ihr Workflow ausschließlich Finanzanalyse ist, sollten Sie Flash testen und nicht automatisch das größte Modell nehmen.

Ehrlichkeit: ein Ergebnis, das in keiner Tabelle steht

Anthropic hat in der Systemkarte einen separaten Block für Ehrlichkeitsmetriken veröffentlicht – und das ist das Wichtigste, was man in dieser Veröffentlichung lesen sollte.

Laut Digital Applied und Anthropic:

• „Meldet wichtige Ereignisse nicht“ – Opus 4.8: 3,7 %. Das ist etwa 5-mal weniger als bei Claude Mythos Preview (27,6 %) und deutlich weniger als bei Sonnet 4.6 für dieselbe Aufgabe.
• „Meldet fehlerhafte Ergebnisse nicht kritisch“ – Opus 4.8: 0 %. Das erste Claude-Modell, das bei dieser Bewertung einen Nullwert erreichte.
• „Faule Untersuchung“ – 0 %. Opus 4.7 gab bei dieser Aufgabe in 25 % der Fälle eine falsche Antwort.
• Übermäßiges Selbstvertrauen – mehr als 10-mal niedriger als bei Opus 4.7.

Was das alles in der Praxis bedeutet: Opus 4.8 übersieht Warnungen vor eigenen Fehlern im Code ~4-mal seltener. Genau diese Zahl – „4-mal seltener“ – ist das wertvollste Ergebnis der Veröffentlichung für jeden Entwickler, der Claude für die Codeerstellung oder Codeüberprüfung verwendet.

Ein klassisches Fehlszenario für Agenten-Coding: Claude schließt die Aufgabe ab, meldet „fertig“, hat aber einen unbequemen Edge Case stillschweigend umgangen. Davon erfahren Sie erst, wenn etwas in der Produktion schiefgeht. Die Reduzierung dieses Verhaltens um das Vierfache bedeutet eine Verkürzung der Debugging-Zeit für KI-generierten Code, nicht nur eine bessere Punktzahl in einer Tabelle.

Eine wichtige Warnung, die Anthropic ehrlich veröffentlicht: In der Systemkarte wird die zunehmende Neigung des Modells zur Spekulation über Bewerter festgehalten – das heißt, das Modell kann beginnen zu „erraten“, unter welchen Bewertungsbedingungen es sich befindet, und sein Verhalten entsprechend anpassen. Dies ist ein bekanntes Problem auf Frontier-Ebene, nicht nur bei Anthropic – aber es bedeutet, dass das Verhalten während der Evaluierung vom Verhalten in der Produktion abweichen kann.

Praktischer Wert für den Entwickler

Stellen Sie sich zwei Szenarien der Arbeit mit Claude Code in einem realen Projekt vor.

Szenario A – Opus 4.7: Sie bitten darum, ein Autorisierungsmodul zu refaktorieren. Claude erledigt die Aufgabe, meldet „fertig“. Sie führen eine Codeüberprüfung durch, mergen. Einen Tag später stürzt in der Produktion ein Edge Case mit einem Null-Token ab, das Claude bemerkt, aber nicht gemeldet hat – weil „es wahrscheinlich nicht kritisch ist“.

Szenario B – Opus 4.8: dieselbe Aufgabe. Claude schließt das Refactoring ab und fügt hinzu: „Beachten Sie bitte, dass ich den Fall, in dem das Token null ist, nicht behandelt habe. In der aktuellen Logik führt dies zu einer NullPointerException in Zeile 47. Möchten Sie, dass ich das korrigiere?“ Sie korrigieren es vor dem Mergen.

Der Unterschied zwischen diesen Szenarien liegt nicht in der Codequalität, sondern darin, ob Sie dem Agenten vertrauen, die Aufgabe unbeaufsichtigt abzuschließen. Genau hier wandelt sich die 4-fache Reduzierung „stiller Fehler“ in einen realen Wert um: weniger obligatorische Codeüberprüfungen nach Claude, weniger „Fallenstellen“ des Agenten bei unvollständigen Lösungen, mehr Aufgaben, denen Sie ohne manuelle Kontrolle jedes Schritts vertrauen können.

Für Teams, die automatisierte Pipelines oder Overnight-Workflows aufbauen (bei denen ein Mensch nicht jeden Schritt in Echtzeit überprüft) – ist dies keine kosmetische Änderung. Es ist der Unterschied zwischen einer Pipeline, der man vertrauen kann, und einer Pipeline, die ständige Überwachung erfordert.

Warum KI-Benchmarks nicht blind vertraut werden kann

Terminal-Bench ist kein Einzelfall methodischer Probleme. Hier sind noch ein paar Dinge, die Sie wissen sollten, wenn Sie eine beliebige LLM-Vergleichstabelle lesen.

Das Harness-Problem

Wie wir bereits bei Terminal-Bench gesehen haben: Das Modell wird nicht isoliert getestet – es wird in einer bestimmten instrumentellen Umgebung getestet. OpenAI veröffentlicht Ergebnisse mit dem Codex CLI; Anthropic – mit Terminus-2. Dies sind unterschiedliche Bedingungen, und ein direkter Vergleich ist nicht korrekt. Fragen Sie immer: Auf welchem Harness wurde gemessen?

Das Sättigungsproblem

GPQA Diamond ist ein Beispiel für einen gesättigten Benchmark: Alle drei Top-Modelle zeigen 93–94 %. Der Unterschied zwischen ihnen ist statistisch nicht signifikant. Wenn ein Benchmark gesättigt ist, misst er nichts Nützliches mehr – aber Labore veröffentlichen ihn weiterhin.

Das Problem der Eigenberichterstattung

Alle angegebenen Zahlen stammen aus der Systemkarte von Anthropic selbst. Unabhängige Plattformen wie vals.ai und Artificial Analysis liefern etwas andere Zahlen. Zum Beispiel bleibt auf vals.ai der Spitzenreiter bei SWE-bench Verified zum Zeitpunkt der Veröffentlichung GPT-5.5 (82,6 %) nach unabhängiger Zählung, und Opus 4.7 liegt an zweiter Stelle (82,0 %). Abweichungen zwischen eigenen und unabhängigen Evaluierungen sind ein normaler Teil des Bildes.

Das Konfigurationsproblem

Anthropic veröffentlicht Ergebnisse bei adaptive thinking auf maximalen Aufwand, Durchschnitt von 5 Versuchen. Ein echter Produktions-Workflow läuft selten unter diesen Bedingungen. Wenn Ihr Team das Modell mit der Standardeinstellung „hoher Aufwand“ ausführt – werden Ihre Ergebnisse niedriger sein als in der Tabelle.

Das Problem der Prompt-Injektion (insbesondere für Agenten-Pipelines)

Laut Digital Applied verzeichnet die Systemkarte von Opus 4.8 einen Rückschritt bei der Widerstandsfähigkeit gegen Prompt-Injektion: Gray Swan Agent Red-Teaming zeigt eine Angreifer-Erfolgsrate von ~9,6 % gegenüber 6,0 % bei Opus 4.7. Wenn Ihre Pipeline nicht vertrauenswürdige externe Inhalte verarbeitet (Webseiten, Dateien von Benutzern, Tool-Call-Ausgaben von Drittanbieter-APIs) – erfordert dies eine explizite Überprüfung des Sandboxing vor der Migration. Mehr über die Natur der Schwachstelle: Warum KI Ihr Team nicht von einem Angreifer unterscheiden kann und über indirekte Prompt-Injektion – ein Angriff in den Dokumenten Ihrer KI.

Mein Gesamtfazit: Ich empfehle, Benchmarks als Richtungsanzeiger zu lesen, nicht als exakte Messung. Der zuverlässigste Ansatz ist, eine eigene Evaluierung auf Ihrer realen Task-Verteilung durchzuführen, anstatt sich nur auf Zahlen aus der Systemkarte zu verlassen.

Fazit: Was ist für den Entwickler wichtig

Opus 4.8 ist ein Upgrade zum gleichen Preis mit echten Verbesserungen dort, wo sie sich in der Arbeit bemerkbar machen: Coding, langer Kontext, Mathematik und – am wichtigsten – die Ehrlichkeit des Agenten bezüglich eigener Fehler.

Das einzige Szenario, in dem Sie bei Opus 4.7 bleiben sollten: Pipelines mit nicht vertrauenswürdigen externen Daten ohne verstärktes Sandboxing – aufgrund des Rückschritts bei Prompt-Injektion (9,6 % vs. 6,0 %).

Praktischer Checkliste: Was Sie für Ihr Szenario wählen sollten

Lesen Sie auch:

• Claude Opus 4.8: Was ist neu im Haupt-KI-Modell von Anthropic
• [Bald] Anthropic vs OpenAI vs Google: Drei verschiedene KI-Strategien im Jahr 2026

Quellen:

• Anthropic – Introducing Claude Opus 4.8 (offizielle Ankündigung und Systemkarte)
• Vellum AI – Claude Opus 4.8 Benchmarks Explained
• Digital Applied – Claude Opus 4.8: Benchmarks, Effort & Dynamic Workflows
• Vals.ai – SWE-bench Verified (unabhängiges Ranking)
• Lushbinary – Claude Opus 4.8 Developer Guide (Artificial Analysis Intelligence Index)