Kurz gesagt:
- Vergleich von drei Flaggschiff-Linien im August 2026: Claude Opus 5 (Anthropic), GPT-5.6 in Sol/Terra/Luna (OpenAI) und Gemini 3.6 Flash (Google) – mit einer separaten Erklärung, warum Gemini 3.6 Flash nicht mit dem älteren Gemini 3.1 Pro verwechselt werden sollte.
- Im direkten Benchmark-Vergleich übertrifft Opus 5 GPT-5.6 Sol in 9 von 12 gemeinsamen Tests, darunter SWE-bench Pro (+14,6 Pkt.) und ARC-AGI-3 (3,9x).
- Sol kontert auf Terminal-Bench 2.1, DeepSWE und BrowseComp – Aufgaben mit langen Terminal-Agenten-Ketten.
- Gemini 3.6 Flash ist kein Anwärter auf den ersten Platz in Bezug auf Intelligenz (50 gegenüber 61 bei Opus 5 im Artificial Analysis Intelligence Index), sondern ein Modell für Geschwindigkeit und Preis: etwa 4-mal schneller als Opus 5 und 3,3-mal günstiger pro Token.
- Für Java und Spring Boot gibt es von keinem Anbieter direkte Benchmarks für die Sprache, daher ist der Anhaltspunkt allgemeine Coding-Benchmarks (SWE-bench Pro) und die Praxis der Arbeit mit großen Codebasen.
Inhalt
- Welche Modelle vergleichen wir
- Vergleich von Architekturen und Ansätzen
- Programmierung
- Agentenaufgaben
- Langer Kontext
- Tool-Aufrufe
- MCP
- Code-Generierung
- Code-Überprüfung
- Schlussfolgerung
- Mathematik
- Multimodal
- API und Preisgestaltung
- Geschwindigkeit der Ausführung
- Welches Modell ist am besten für Java geeignet
- Welches Modell ist besser für Spring Boot
- Welches Modell funktioniert besser mit großen Projekten
- Zusammenfassungstabelle
- Häufig gestellte Fragen
- Schlussfolgerungen
Welche Modelle vergleichen wir
Bevor wir zu den Zahlen kommen, müssen wir die Linien auseinanderhalten – sonst wird der Vergleich zu einem Durcheinander.
GPT-5.6 (OpenAI) ist nicht ein einzelnes Modell, sondern eine Familie von drei Stufen, die aus einem einzigen Basis-Training destilliert wurden: Sol (Flaggschiff, `gpt-5.6-sol`), Terra (ausgewogen, `gpt-5.6-terra`) und Luna (schnell und günstig, `gpt-5.6-luna`). Die öffentliche Veröffentlichung fand am 9. Juli 2026 statt, nach einer begrenzten Vorschau ab dem 26. Juni für einen vertrauenswürdigen Kreis von Partnern. Alle drei Modelle haben einen Kontext von ~1,05 Millionen Token und eine Ausgabe von 128.000 Token.
Gemini 3.6 Flash (Google) wurde am 21. Juli 2026 veröffentlicht und ist die untere Stufe im Vergleich zu Gemini 3.1 Pro, das immer noch den Status Preview hat (Modell `gemini-3.1-pro-preview`). Aber "untere Stufe" bedeutet hier nicht "schwächer" – laut Google übertrifft Flash Pro in den meisten aktuellen Coding- und Agenten-Benchmarks, und unterliegt nur bei den schwierigsten abstrakten Reasoning-Aufgaben. Der Grund ist einfach: 3.1 Pro wurde bis Januar 2025 trainiert und steckt im Pre-Preview-Status fest, während 3.6 Flash aktuellere Daten (bis März 2026) und den Stable-Status hat. Daher funktioniert der Vergleich "Pro ist besser als Flash" im Jahr 2026 nicht mehr automatisch – es lohnt sich, spezifische Benchmarks zu prüfen.
Claude Opus 5 (Anthropic) ist das einzige Modell ohne interne Unterstufen im Namen, aber mit fünf Aufwandsebenen (low → max), die tatsächlich die Idee einer "Modellreihe" durch einen einzigen Schalter innerhalb desselben Modells ersetzen. Es wurde am 24. Juli 2026 veröffentlicht, mit einem Kontext von 1 Million Token (gleichzeitig Standard und Maximum) und einer Ausgabe von bis zu 128.000 Token.
| Modell | Anbieter | Veröffentlichung | Kontext | Maximale Ausgabe | Wissensstand |
|---|---|---|---|---|---|
| Claude Opus 5 | Anthropic | 24.07.2026 | 1 Mio. (Standard=Maximum) | 128 Tsd. | Januar 2026 |
| GPT-5.6 Sol / Terra / Luna | OpenAI | 09.07.2026 | ~1,05 Mio. | 128 Tsd. | Februar 2026 |
| Gemini 3.6 Flash | Google DeepMind | 21.07.2026 | ~1,05 Mio. | 64 Tsd. | März 2026 |
Vergleich von Architekturen und Ansätzen
Drei Unternehmen wählten drei verschiedene Strategien, um Preis und Qualität innerhalb eines Modells auszubalancieren:
- OpenAI (tiered family): drei separate Modelle mit unterschiedlichen Gewichten – Sol, Terra, Luna. Der Entwickler wählt das Modell für die Aufgabe im Voraus aus; Terra wird offiziell als Leistung auf GPT-5.5-Niveau zu etwa der Hälfte des Preises von Sol positioniert, und Luna behält den vollen Kontext zu einem Viertel der Kosten von Terra.
- Anthropic (effort dial): ein Modell, fünf "Aufwandsebenen" (low/medium/high/xhigh/max), die die Tiefe des Denkens und damit die Kosten einer Anfrage dynamisch ändern – ohne zwischen verschiedenen Modellen oder API-Endpunkten zu wechseln.
- Google (Flash-Strategie): Fokus auf Effizienz – weniger Reasoning-Schritte, weniger Tool-Aufrufe und weniger Ausgabe-Token für das gleiche Ergebnis, anstatt die Anzahl der "schweren" Modelle zu erhöhen. Gemini 3.6 Flash ist eindeutig darauf ausgelegt, mit teureren Flaggschiffen gerade durch Geschwindigkeit und günstige Token zu konkurrieren, nicht durch Spitzenintelligenz.
Praktische Konsequenz: Bei GPT-5.6 ist die Wahl des Modells eine Entscheidung, die der Entwickler einmal bei der Integration trifft. Bei Opus 5 ist der Aufwand ein Anfrageparameter, der dynamisch sogar innerhalb einer Sitzung geändert werden kann. Gemini geht einen dritten Weg – hier gibt es überhaupt keinen expliziten "Aufwandsebenen"-Schalter, die Effizienz ist in das Modell selbst eingebaut.
Programmierung
Auf dem schwierigsten der gängigen Coding-Benchmarks – SWE-bench Pro (1865 reale Probleme aus aktiven Repositories wie Django, Flask, React, Next.js) – erreicht Claude Opus 5 79,2 %, während GPT-5.6 Sol bei 64,6 % stoppt. Der Unterschied von 14,6 Pkt. ist der Unterschied zwischen einem "Senior" und einem "Middle", wenn man ihn mit der üblichen Beschreibung eines solchen Leistungsunterschieds vergleicht. Ein direkter Vergleich mit Gemini 3.6 Flash auf SWE-bench Pro fehlt in den veröffentlichten Daten, aber nach dem allgemeinen Artificial Analysis Intelligence Index ist der Abstand zu Opus 5 erheblich: 50 gegenüber 61 bei Opus 5.
Es ist wichtig zu verstehen, was SWE-bench Pro genau misst und warum dieser Unterschied überhaupt aussagekräftig ist. Dies sind keine Aufgaben wie "schreibe eine Sortierfunktion" – das Modell erhält ein reales, offenes Problem aus einem Live-Repository, muss selbstständig relevante Dateien unter Hunderten von anderen finden, Abhängigkeiten zwischen Modulen verstehen und einen Patch generieren, der die eigene Testsuite des Projekts besteht. Das ist dem täglichen Arbeitsaufwand eines Entwicklers viel näher als isolierte Lehrbuchaufgaben, und deshalb ist der Unterschied von 14,6 Pkt. hier gewichtiger als derselbe Unterschied beispielsweise bei HumanEval wäre.
Auf SWE-bench Verified (einer leichteren, kuratierten Version desselben Tests) ist der Unterschied zwischen Opus 5 und Sol bereits minimal – 96,0 % gegenüber 95,0 %, was zeigt: Bei einfachen und mittleren Aufgaben sind alle drei Anbieter nah beieinander, und die Unterschiede zeigen sich gerade bei schwierigen Problemen.
Dies ist ein Muster, das ich bereits von früheren Modellgenerationen kenne und das sich hier wieder bestätigt: Der Unterschied zwischen Flaggschiffen versteckt sich fast immer nicht bei einfachen Aufgaben, sondern am "Schwanz" der Komplexität. Wenn man ein Modell nur anhand leichter Beispiele bewertet – aus Demos, aus kurzen Prompts in Marketingmaterialien – sehen alle drei Anbieter heute fast gleich aus. Der Unterschied wird spürbar, wenn die Aufgabe erfordert, mehrere Dateien gleichzeitig im Auge zu behalten, implizite Abhängigkeiten zu verstehen und bestehende Tests nicht zu brechen. Daher ist meine praktische Schlussfolgerung: Wenn Ihr Team hauptsächlich isolierten, gut spezifizierten Code schreibt – wird der Gewinn durch den Wechsel zu Opus 5 gering sein, und Sie sollten sich eher auf Preis und Geschwindigkeit konzentrieren. Aber wenn Sie regelmäßig Aufgaben wie "einen Bug-Report in einem unbekannten Teil eines großen Legacy-Projekts beheben" haben – hier verwandeln sich die 14,6 Pkt. auf SWE-bench Pro in eine reale Zeitersparnis bei der Überprüfung und Anzahl der Iterationen, und ich würde empfehlen, Opus 5 zuerst auf solchen Aufgaben zu testen, nicht auf einfachen CRUD-Beispielen, wo der Unterschied zwischen den Modellen fast verschwindet.
Agentenaufgaben
Hier ist das Bild uneinheitlich, selbst innerhalb des Paares Opus 5 / Sol:
- AutomationBench (durchgängige Geschäftsautomatisierung): Opus 5 – 26,0 %, Sol – 18,1 %. Der Vorteil von Opus 5 ist erheblich.
- OSWorld 2.0 (Computer-Nutzung): Opus 5 – 70,6 %, Sol – 62,6 %. Wieder ein Vorteil für Opus 5.
- Terminal-Bench 2.1 (CLI-Agentenarbeit): Hier gewinnt Sol – 91,9 % im Ultra-Modus mit parallelen Sub-Agenten gegenüber 89,1 % bei Opus 5.
- DeepSWE v1.1 (lange Ingenieurzyklen): Wieder liegt Sol vorn – 72,7 % gegenüber 68,8 %.
- BrowseComp (Agenten-Browsing): Ein minimaler Vorteil für Sol – 92,2 % gegenüber 90,8 %.
Für Gemini 3.6 Flash gibt es keine direkten Zahlen für dieselben Tests in vergleichbarer Form, aber Google berichtet über eigene Fortschritte gegenüber 3.5 Flash: OSWorld-Verified stieg von 78,4 % auf 83,0 %, und die Token-Kosten bei langen Ingenieuraufgaben sanken dank der Reduzierung der Schritte auf 65 %.
Ich habe diese fünf Benchmarks absichtlich separat aufgeführt und nicht zu einer einzigen Durchschnittspunktzahl zusammengefasst – denn in der Praxis sind "Agentenaufgaben" keine einzelne Kategorie, sondern mindestens zwei von unterschiedlicher Natur: BrowseComp und Terminal-Bench messen, wie gut das Modell eine lange sequentielle Kette von Aktionen in einer Umgebung (Browser, Terminal) ausführt, während AutomationBench und OSWorld 2.0 messen, wie gut das Modell in einer heterogenen, weniger vorhersehbaren Umgebung navigiert und eine Geschäftsaufgabe ohne menschliches Eingreifen abschließt. Dies sind unterschiedliche Fähigkeiten, und deshalb wechseln sich Opus 5 und Sol ab, je nachdem, welche von ihnen getestet wird. Wenn ich eine solche "kreuzförmige" Verteilung der Vorteile in Benchmarks sehe, ist das für mich ein Signal, nicht nach einem einzigen Gewinner zu suchen, sondern zu sehen, welche Fähigkeit Ihrem Produkt am nächsten liegt.
Aus eigener Erfahrung beim Aufbau von Agenten-Systemen füge ich eine weitere Nuance hinzu, die in keinem dieser Benchmarks enthalten ist: Das Ergebnis von AutomationBench oder BrowseComp hängt stark nicht nur vom Modell ab, sondern auch davon, welche Werkzeuge der Agent zur Verfügung hat und wie gut ihre Auswahl organisiert ist. Ich habe dies am Beispiel von Suchwerkzeugen für Agenten detailliert untersucht – welche Search APIs Entwickler wählen und wo sie Fehler machen – und dort auch gezeigt, warum selbst das stärkste Modell anfängt, Werkzeuge zu verwechseln, wenn es zu viele davon gibt. Das heißt, bevor Sie zu dem Schluss kommen "Opus 5 ist besser für Automatisierung, weil es eine höhere Punktzahl bei AutomationBench hat", sollten Sie prüfen, ob nicht die Architektur Ihrer Tools und nicht das Modell selbst die Engstelle ist.
Fazit für diesen Abschnitt: Wenn Ihr Agent hauptsächlich im Terminal arbeitet und lange, mehrstufige CLI-Zyklen ausführt – hat Sol einen echten Vorteil durch parallele Sub-Agenten. Wenn der Agent mehr auf Computer-Nutzung, durchgängige Geschäftsautomatisierung oder Tool-Orchestrierung ausgerichtet ist – liegt der Vorteil bei Opus 5. Aber ich würde einen dritten Punkt hinzufügen: Bevor Sie ein Modell für diese Aufgaben auswählen, stellen Sie sicher, dass die Ursache für schwache Ergebnisse auf Ihrer Seite das Modell ist und nicht die Architektur der Werkzeuge darum herum.
Langer Kontext
Formal beanspruchen alle drei Modelle eine etwa gleich große Kontextfenstergröße – 1–1,05 Millionen Token. Aber die Fenstergröße und die Qualität des Abrufs von Informationen daraus sind unterschiedliche Dinge. Laut internen Tests von Google zeigt Gemini 3.6 Flash einen merklich besseren Langzeit-Recall als das frühere Gemini 3.5 Flash und übertrifft Gemini 3.1 Pro bei MRCR v2 (ein Test auf die "verlorene Nadel" im langen Kontext). Vergleichbare veröffentlichte MRCR-Zahlen für Claude Opus 5 und GPT-5.6 sind derzeit nicht verfügbar, daher ist ein direkter Vergleich der drei Modelle nach Recall-Qualität (und nicht nur nach Fenstergröße) derzeit nicht möglich – dies sollte mit eigenen Daten überprüft werden, anstatt sich auf die Marketing-Fenstergröße zu verlassen.
Der praktische Unterschied, der in den Zahlen steckt: die maximale Ausgabe. Bei Opus 5 und GPT-5.6 – 128.000 Token pro Anfrage, bei Gemini 3.6 Flash – 64.000. Für Aufgaben, bei denen ein großer Code- oder Dokumentationsumfang in einem einzigen Aufruf generiert werden muss, ist dies eine spürbare Einschränkung gerade für Gemini.
Tool-Aufrufe
OpenAI setzte auf programmatische Tool-Aufrufe: GPT-5.6 kann leichten JavaScript-Code schreiben, der mehrere verfügbare Tools koordiniert, Zwischenergebnisse verarbeitet und Daten zwischen Aufrufen innerhalb einer einzigen gehosteten Laufzeit übergibt – anstatt zur Modellrückkehr zwischen jeder einzelnen Aktion. Laut OpenAI reduziert dies die Anzahl der "Roundtrips" und den Token-Verbrauch bei Workflows mit begrenzter Komplexität.
Anthropic ging einen anderen Weg und fügte Opus 5 zwei Beta-API-Funktionen hinzu: die Änderung des Tool-Sets mitten im Gespräch, ohne den Prompt-Cache zu invalidieren, und automatische Fallback-Übergänge zu einem anderen Modell für Anfragen, die von Sicherheitsklassifikatoren markiert wurden, anstatt einer vollständigen Ablehnung.
Google ist historisch stark in der Zuverlässigkeit von Tool-Aufrufen in der Flash-Linie zu ihrem Preis: das frühere Gemini 3.5 Flash führte die MCP Atlas (83,6 %) an und übertraf damit sogar das damalige Claude Opus 4.7 und GPT-5.5. Direkte veröffentlichte MCP Atlas-Zahlen für Gemini 3.6 Flash im Vergleich zu Opus 5 und Sol sind zum Zeitpunkt der Erstellung dieses Artikels nicht verfügbar.
Hier möchte ich eine wichtige Warnung aus eigener Erfahrung hinzufügen, die keiner dieser Benchmarks zeigt: Alle drei Ansätze – programmatische Aufrufe, Tool-Set-Änderungen mitten im Gespräch oder einfach nur hohe Modellgenauigkeit – lösen das Problem der Qualität des Tool-Aufrufs, aber keiner von ihnen rettet vor dem gegenteiligen Problem – der Anzahl der gleichzeitig verfügbaren Tools. Selbst das beste Modell auf MCP Atlas wird anfangen, Tools zu verwechseln, wenn 30 oder 50 davon im System-Prompt sind, und nicht 3-5 – dies ist ein dokumentierter Effekt, den ich am Beispiel von Spring AI detailliert untersucht habe: Tool RAG – Was tun, wenn ein Agent zu viele Werkzeuge hat. Laut der RAG-MCP-Studie, auf die ich dort verweise, sinkt die Auswahlgenauigkeit von ~90 % bei 10 Tools auf kritische 13,62 % bei 100+ Tools – und das geschieht unabhängig davon, ob GPT-5.6, Opus 5 oder Gemini unter der Haube läuft.
Praktische Schlussfolgerung: Mid-conversation Tool-Änderungen in Opus 5 sind genau die Funktion, die direkt hilft, dieses Problem auf Architekturebene zu bewältigen und nicht nur auf der Ebene der Modellqualität. Anstatt den gesamten möglichen Satz von Tools "für alle Fälle" im Kontext zu halten, kann der Entwickler dynamisch nur die wenigen laden, die für den aktuellen Gesprächsschritt relevant sind – dies ist das gleiche Prinzip, das Tool RAG zugrunde liegt, nur auf API-Ebene implementiert und nicht auf der Ebene der eigenen Infrastruktur des Entwicklers. Wenn Ihr Agent bereits mehr als 15-20 Tools hat, würde ich empfehlen, sich gerade diese Funktion von Opus 5 in Kombination mit eigenem Tool RAG oder einer Routing-Schicht anzusehen, anstatt darauf zu hoffen, dass ein "intelligenteres Modell" selbst mit einem großen Werkzeugregister zurechtkommt.
MCP
Bevor wir zu den Zahlen kommen – kurz zum Protokoll selbst, da ein Teil der Leser diese Abkürzung zum ersten Mal hören könnte. MCP (Model Context Protocol) ist ein offener Standard, den Anthropic im November 2024 vorgestellt hat, um KI-Modelle einheitlich an externe Datenquellen und Tools anzubinden: Datenbanken, Dateisysteme, APIs, interne Unternehmensdienste. Vor MCP schrieb jeder Entwickler seine eigene Integration für jedes Paar "Modell + Tool" – die Anbindung von Claude an Google Drive sah anders aus als die Anbindung von GPT an dasselbe Google Drive. MCP löst dies wie ein USB-Port für KI: ein Standardprotokoll, über das jedes kompatible Modell sich mit jedem kompatiblen Tool "verbinden" kann, ohne benutzerdefinierten Code für jedes Paar schreiben zu müssen.
Ein einfaches Beispiel aus meiner Erfahrung mit der Entwicklung auf Spring AI: Wenn Ihr Agent Zugriff auf einen MCP-Server hat, der das interne CRM eines Unternehmens umschließt, verarbeitet eine Anfrage wie "Zeige alle offenen Geschäfte des Kunden Ivanov im letzten Quartal" das Modell so – es erkennt, dass Daten aus dem CRM benötigt werden, greift über das Standardprotokoll auf den entsprechenden MCP-Server zu, erhält eine strukturierte Antwort und formuliert das Ergebnis. Ohne MCP müsste man einen separaten Tool-Konnektor speziell für dieses CRM, speziell für dieses Modell schreiben und diese Arbeit für jedes neue Paar "Modell – Dienst" wiederholen. Da MCP ein offener Standard und keine proprietäre Technologie von Anthropic ist, unterstützen ihn heute sowohl OpenAI als auch Google – daher hat der Vergleich von Modellen nach der Qualität der Arbeit mit MCP einen praktischen Sinn und ist kein künstlicher Vorteil der "eigenen" Anthropic-Technologie.
Dies ist einer der wenigen Abschnitte, in denen es einen direkten dreiseitigen Vergleich in Zahlen gibt – zumindest für das Paar Opus 5 / Sol. Auf MCP Atlas (ein Benchmark für die Orchestrierung von Tools über das Model Context Protocol) erreicht Claude Opus 5 85,8 %, GPT-5.6 Sol – 75,3 %. Der Vorteil von Opus 5 von 10,5 Pkt. ist einer der größten Abstände im gesamten Vergleich, und das ist logisch: Anthropic ist der Autor und Haupttreiber des MCP-Protokolls selbst, daher überrascht die tiefere Integration damit in das eigene Modell nicht.
Für Gemini 3.6 Flash ist kein direktes MCP Atlas-Ergebnis im Vergleich zu Opus 5 und Sol veröffentlicht, aber angesichts der Tatsache, dass das frühere Flash-Modell das beste Ergebnis seiner Generation erzielte, ist es vernünftig anzunehmen, dass 3.6 Flash auch eine starke Wahl für MCP-orientierte Aufgaben im Verhältnis Preis/Leistung bleibt – dies sollte vor der Auswahl für eine Produktions-MCP-Pipeline mit einem eigenen Test verifiziert werden.
Mein Kommentar: Wenn Sie ein Modell speziell für ein MCP-orientiertes Produkt auswählen (ein Agent, der über MCP-Server mit mehreren internen Systemen arbeitet), würde ich keine Schlussfolgerung nur aus einem Benchmark ziehen. MCP Atlas misst die Qualität der Orchestrierung unter kontrollierten Bedingungen, aber in der Produktion hängt das Ergebnis genauso stark davon ab, wie viele MCP-Server und Tools gleichzeitig mit dem Agenten verbunden sind – siehe oben Abschnitt über Tool Calling und das Problem der Skalierbarkeit von Tools. Das Modell mit dem höchsten MCP Atlas wird sich trotzdem verheddern, wenn ihm gleichzeitig 10 MCP-Server ohne jegliche Filterung oder Routing-Schicht zur Verfügung stehen.
Code-Generierung
Auf der Ebene "Code von Grund auf nach Spezifikation schreiben" ist der Unterschied zwischen den Modellen derzeit weniger spürbar als auf der Ebene "einen echten Bug in einem fremden Repository beheben" – das zeigt sich daran, wie nah Opus 5 und Sol auf CursorBench 3.2 (67,7 % gegenüber 67,2 %, nur 0,5 Pkt. Unterschied) und SWE-bench Verified (96,0 % gegenüber 95,0 %) liegen. Das heißt, für die typische Aufgabe "generiere einen REST-Controller basierend auf einer Beschreibung" liefern alle drei Modelle heute ein akzeptables Ergebnis – der Hauptunterschied zeigt sich gerade bei komplexen, mehrdateiligen, realen Aufgaben (SWE-bench Pro), wo Opus 5 Sol um 14,6 Pkt. übertrifft.
Code-Überprüfung
Unabhängige Vergleichsdaten zur Code-Überprüfung gleichzeitig für alle drei Modelle sind zum Zeitpunkt der Erstellung dieses Artikels nicht verfügbar – Anbieter veröffentlichen hauptsächlich Generierungs-Benchmarks, keine Benchmarks für die Überprüfung von Fremdcode. Was spezifisch über Claude Opus 5 bekannt ist: Eine unabhängige Überprüfung von CodeRabbit identifiziert Schwachstellen gerade bei Fehlerklassen, die am schwersten ohne tiefes Verständnis des Laufzeitverhaltens zu erkennen sind – logische Fehler, Race Conditions und falsche API-Nutzung. Das bedeutet nicht, dass GPT-5.6 oder Gemini 3.6 Flash in diesen Kategorien besser sind – es wurden einfach noch keine vergleichbaren Daten dazu veröffentlicht. Praktische Schlussfolgerung: Für kritische Code-Überprüfungen (Produktionsmigrationen, Sicherheit, konkurrierender Code) sollte keines der drei Modelle heute als alleinige Verteidigungslinie verwendet werden.
Schlussfolgerung
Der aussagekräftigste Test für "reines" Denken ohne Rückgriff auf auswendig gelernte Muster ist ARC-AGI-3. Hier ist der Abstand zwischen Opus 5 und Sol am größten im gesamten Vergleich: 30,2 % gegenüber 7,78 % – fast das 3,9-fache. Die ARC Prize Foundation nannte das Ergebnis von Sol einen "historischen Meilenstein" (das erste Modell, das das öffentliche Spiel ARC-AGI-3 gewonnen hat), aber nur zwei Wochen später hat Anthropic dieses Ergebnis fast verdreifacht.
Im allgemeinen Artificial Analysis Intelligence Index, der neun verschiedene Bewertungen (einschließlich GDPval-AA v2, GPQA Diamond und Humanity's Last Exam) zusammenfasst, sieht die Rangfolge auf der maximalen "Aufwandsebene" jedes Modells wie folgt aus: Opus 5 – 61 Punkte, GPT-5.6 Sol – 59, Gemini 3.6 Flash – 50. Das heißt, beim zusammengesetzten Reasoning-Indikator führt Opus 5, mit einem geringen Vorsprung vor Sol und einem merklichen Abstand zu Gemini 3.6 Flash – was logisch ist, angesichts der Positionierung von Flash als Modell für Geschwindigkeit und Preis, nicht für Spitzenintelligenz.
Mathematik
Ein separater direkter Benchmark wie AIME oder MATH mit veröffentlichten Zahlen für alle drei Modelle gleichzeitig ist zum Zeitpunkt der Erstellung dieses Artikels nicht zu finden – Anbieter konzentrieren sich derzeit in ihren Release-Materialien mehr auf Agenten- und Coding-Benchmarks. Ein indirekter Anhaltspunkt ist GPQA Diamond (wissenschaftliches Reasoning auf Doktorandenniveau), das Teil des Artificial Analysis Intelligence Index ist und das zusammengesetzte Ergebnis beeinflusst, das oben beschrieben wurde. Wenn mathematische Berechnungen ein kritischer Teil Ihres Anwendungsfalls sind, würde ich empfehlen, sich nicht auf den allgemeinen Intelligence Index zu verlassen, sondern Ihren eigenen Satz von Aufgaben auf allen drei Modellen auszuführen: Der Unterschied im reinen mathematischen Reasoning stimmt möglicherweise nicht mit dem Unterschied im zusammengesetzten Benchmark überein.