Anthropic lanzó Claude Opus 4.8 y de inmediato publicó una tabla de benchmarks con más de 15 métricas.
A primera vista, es solo otro conjunto de porcentajes y posiciones en rankings.
Pero si lees atentamente, detrás de estas cifras hay varias conclusiones no triviales
sobre dónde Opus 4.8 es realmente mejor, dónde pierde, y por qué algunos de los cambios más importantes
ni siquiera se reflejan en ningún gráfico.
¿Qué benchmarks publica Anthropic y qué miden?
Anthropic publicó una tabla comparativa para cuatro modelos:
Claude Opus 4.8, Claude Opus 4.7, GPT-5.5 y Gemini 3.1 Pro.
Configuración estándar: adaptive thinking con esfuerzo máximo,
promedio de 5 intentos. Fuente:
tarjeta del sistema de Anthropic.
Benchmarks clave que vale la pena conocer:
SWE-bench Pro — la versión más difícil de SWE-bench: tareas de repositorios activamente mantenidos, diffs de múltiples archivos, sin fugas de datos al espacio público. Lo más cercano a la codificación real.
SWE-bench Verified — el conjunto original de 500 tareas. Más simple, pero aún autoritario.
Terminal-Bench 2.1 — tareas de terminal: scripting de shell, administración de sistemas, flujos de trabajo CLI.
Humanity's Last Exam (HLE) — el benchmark de razonamiento general más difícil hasta la fecha. Dos modos: con herramientas y sin ellas.
GPQA Diamond — preguntas de nivel de doctorado en física, química, biología. Se considera prácticamente saturado a nivel de vanguardia.
OSWorld-Verified — uso autónomo de la computadora: edición de documentos, navegador, gestión de archivos en una VM real.
GDPval-AA — evaluación del conocimiento valioso económicamente en dominios profesionales reales.
Finance Agent v2 — análisis financiero, evaluado por Vals AI.
GraphWalks BFS 1M — extracción de información de contexto largo a 1 millón de tokens.
USAMO 2026 — pruebas matemáticas de nivel olímpico.
Codificación: SWE-bench Pro — donde Opus 4.8 lidera
SWE-bench Pro es donde Opus 4.8 tiene la mayor ventaja sobre sus competidores.
Según Vellum AI
y la tarjeta oficial del sistema de Anthropic:
Modelo
SWE-bench Pro
SWE-bench Verified
SWE-bench Multilingual
Claude Opus 4.8
69,2%
88,6%
84,4%
Claude Opus 4.7
64,3%
87,6%
80,5%
GPT-5.5
58,6%
n/d
n/d
Gemini 3.1 Pro
54,2%
80,6%
n/d
Patrón clave: cuanto más difícil es la variante del benchmark, mayor es la brecha.
En SWE-bench Verified, la diferencia entre Opus 4.8 y GPT-5.5 es pequeña (88,6% vs ~82%
según datos independientes). En SWE-bench Pro, donde las tareas son más complejas y no hay
«fugas» de respuestas correctas, la brecha es de más de 10 puntos porcentuales.
Implicación práctica de Cursor: Opus 4.8 en
CursorBench
no solo da un mejor resultado, sino que lo hace con
menos pasos. El costo de los tokens por tarea
disminuye sin reducir la calidad de la salida.
También vale la pena destacar: el uso de la computadora (OSWorld-Verified)
muestra un 83,4% en Opus 4.8 frente a un 78,7% en GPT-5.5 y un 76,2% en Gemini 3.1 Pro.
Esta no es una métrica aislada: este resultado es un prerrequisito para que los flujos de trabajo dinámicos (cientos de subagentes paralelos) sean realmente útiles
en la práctica.
¿Por qué es importante?
SWE-bench Pro está diseñado intencionalmente para que no se pueda «memorizar».
Las tareas se toman de repositorios activamente mantenidos, lo que significa que aparecieron
después de la fecha límite de entrenamiento de la mayoría de los modelos. Los diffs de múltiples archivos requieren
la comprensión de la arquitectura, no la corrección de una línea local.
Es por eso que la brecha aquí es la señal más honesta de la capacidad real de codificación.
Para un equipo que utiliza Claude Code en un proyecto real, esto significa:
Opus 4.8 mantiene mejor el contexto entre archivos, rara vez realiza cambios que «rompen»
módulos adyacentes, y con más frecuencia completa la tarea a la primera sin
aclaraciones de prompt adicionales. Menos pasos no es solo un ahorro de tokens,
es menos control manual sobre el agente.
Conclusión de la sección
Creo que Opus 4.8 es el modelo público más fuerte para la ingeniería de software multiarchivo
a mayo de 2026. La brecha con GPT-5.5 en SWE-bench Pro (10,6 puntos)
y con Gemini 3.1 Pro (15 puntos) no es ruido estadístico, sino una ventaja sostenible
en el benchmark de codificación más representativo. Si su caso de uso principal
es la codificación de agentes en repositorios reales, la elección a favor de
Opus 4.8 está respaldada tanto por las cifras como por los comentarios prácticos de los primeros probadores.
Terminal-Bench: dónde GPT-5.5 todavía está por delante — y por qué las cifras aquí no son tan sencillas
Terminal-Bench 2.1 es el benchmark donde Opus 4.8 no lidera. Y es un lugar
donde la metodología importa tanto como el modelo en sí.
Modelo
Terminal-Bench 2.1 (Terminus-2)
Terminal-Bench 2.1 (arnés propio)
GPT-5.5
78,2%
83,4% (Codex CLI)
Claude Opus 4.8
74,6%
—
Gemini 3.1 Pro
70,3%
—
Claude Opus 4.7
66,1%
—
El problema: GPT-5.5 publica su resultado «principal» del 83,4% a través de su propio
arnés Codex CLI. Todos los demás modelos, incluido Opus 4.8, se midieron a través de
el arnés público Terminus-2. Comparar 83,4% con 74,6% no es una comparación
de modelos, sino una comparación de herramientas de medición.
Lo que se puede comparar honestamente: en Terminus-2, GPT-5.5 es 78,2%, Opus 4.8 es 74,6%.
La diferencia es real, pero significativamente menor. Al mismo tiempo, Opus 4.8 mejoró en relación con
Opus 4.7 en 8,5 puntos en el mismo arnés, y esto ya es
progreso real, no marketing.
Según Digital Applied,
Anthropic publicó ambos números, y esto es raro en la industria, donde los laboratorios
suelen elegir el arnés que mejor «favorece» a su modelo.
Conclusión: si su flujo de trabajo está orientado a
tareas de terminal, scripting de shell y automatización CLI, GPT-5.5 con Codex CLI
puede ser una mejor opción por ahora. Si está construyendo un pipeline de codificación de agentes
con ingeniería multiarchivo, Opus 4.8 está por delante.
Razonamiento: GPQA, HLE y salto matemático de +27 puntos
GPQA Diamond es el benchmark donde Opus 4.8 dio un paso atrás.
93,6% frente al 94,2% de Opus 4.7. Gemini 3.1 Pro muestra un 94,3% y lidera formalmente.
Pero el contexto importante: GPQA Diamond se considera prácticamente saturado
a nivel de modelos de vanguardia. La diferencia entre 93,6% y 94,3% está dentro
del margen de error estadístico con 5 intentos.
Humanity's Last Exam (HLE) es donde todavía hay espacio real
para el progreso:
Modelo
HLE sin herramientas
HLE con herramientas
Claude Opus 4.8
49,8%
57,9%
Claude Opus 4.7
46,9%
54,7%
GPT-5.5
41,4%
52,2%
Gemini 3.1 Pro
44,4%
51,4%
Opus 4.8 lidera en HLE en ambas configuraciones, y la brecha con herramientas
es mayor que sin ellas.
Pero el resultado más dramático en razonamiento es
USAMO 2026 (demostraciones matemáticas a nivel olímpico):
96,7% en Opus 4.8 frente al 69,3% en Opus 4.7.
Un aumento de 27,4 puntos porcentuales en una sola versión.
Según el análisis de Digital Applied,
este salto no se explica por una mejora incremental:
es una señal de un cambio cualitativo en la profundidad del razonamiento matemático.
Para equipos que trabajan con modelado financiero, análisis científico
o problemas algorítmicos complejos, esta es la señal digital más importante de esta versión.
Contexto largo: el crecimiento relativo más dramático de la versión
GraphWalks BFS es un benchmark para la extracción de información en un contexto de 1 millón
de tokens. No es una prueba abstracta: mide si el modelo es capaz de mantener
y utilizar las conexiones entre objetos a distancias muy grandes en el texto.
Modelo
GraphWalks BFS 1M (F1)
GraphWalks Parents 1M (F1)
Claude Opus 4.8
68,1%
83,3%
Claude Opus 4.7
40,3%
56,6%
GPT-5.5
45,4%
n/d
Opus 4.8 mejoró de 40,3% a 68,1%, un aumento de +27,8 puntos.
Este es el mayor salto relativo entre todas las métricas publicadas.
Opus 4.8 no solo encuentra información mejor, sino que lo hace 1,7 veces
mejor que su predecesor con el mismo tamaño de contexto.
Significado práctico: grandes monorepositorios, documentos legales extensos,
informes financieros de cientos de páginas, revisiones de código de miles de archivos:
aquí es donde este aumento se siente más. En combinación con
Dynamic Workflows (subagentes paralelos), esto hace que Opus 4.8 sea cualitativamente
una herramienta diferente para el trabajo de entrega sostenida en comparación con 4.7.
Por qué es importante
Tener 1 millón de tokens de contexto y saber usarlos son cosas diferentes.
Hasta Opus 4.8, la mayoría de los modelos tenían soporte técnico para contexto largo,
pero la calidad de la extracción de información caía drásticamente después de cierto punto.
GraphWalks mide precisamente esto: no "cuántos tokens acepta el modelo",
sino "si encuentra la conexión necesaria cuando está oculta en la profundidad
de un millón de tokens".
El salto de 40,3% a 68,1% significa que Opus 4.8 ha cruzado el umbral práctico
de utilidad para tareas donde todo el contexto es realmente necesario simultáneamente.
Antes, los desarrolladores se veían obligados a dividir grandes bases de código en fragmentos
y presentarlas en porciones, con todas las pérdidas de contexto entre sesiones.
Ahora, un porcentaje significativamente mayor de estas tareas se puede resolver en una
única consulta completa.
Para proyectos de Java y Spring con estructuras de módulos complejas, esto
significa que Claude puede tener en cuenta simultáneamente las dependencias entre
servicios, la configuración, las pruebas y la lógica de negocio, y dar recomendaciones
que consideren la imagen completa, no solo un fragmento local.
Conclusión de la sección
El contexto largo es el área donde Opus 4.8 ha dado un salto cualitativo,
no una mejora incremental. +27,8 puntos en GraphWalks BFS
y superar a GPT-5.5 en 22,7 puntos no es "un poco mejor",
es otra categoría de fiabilidad al trabajar con contexto largo.
Si sus tareas se topan regularmente con limitaciones de contexto o
requieren el análisis de documentos grandes completos, esta métrica
describe mejor la diferencia real entre 4.7 y 4.8.
Precio: la principal señal comercial de la versión
El precio no ha cambiado: $5/$25 por 1M de tokens (entrada/salida).
Esto significa que Opus 4.8 es una actualización al mismo precio.
Para los equipos que ya utilizan Opus 4.7, la migración no requiere revisar
el presupuesto de tokens ni negociar costos.
Fast Mode ahora es tres veces más barato: $10/$50 por 1M de tokens
a 2.5x de velocidad. En comparación, el modo rápido solía ser significativamente más caro
en relación con la tarifa estándar. Esto hace que Opus 4.8 sea una opción práctica incluso
para aplicaciones sensibles a la latencia.
Anthropic llama a la versión "mejora modesta pero tangible",
y mantener el precio mientras se mejora la calidad es, quizás, la característica más precisa de
la estrategia comercial.
Por qué es importante
Una actualización al mismo precio no es solo un detalle de marketing.
En la mayoría de las versiones, la mejora de la calidad va acompañada de un aumento de precio,
y los equipos se ven obligados a justificar la migración ante el negocio.
Aquí no existe ese umbral: si ya está pagando por Opus 4.7,
obtiene un mejor modelo sin ninguna decisión adicional.
Fast Mode por $10/$50 cambia las decisiones arquitectónicas para pipelines sensibles a la latencia.
Anteriormente, la elección entre calidad y velocidad era esencialmente una elección entre Opus y un modelo más pequeño.
Ahora se pueden construir pipelines híbridos: Opus 4.8 en Fast Mode para tareas
donde la velocidad de respuesta es importante, y el modo estándar para consultas arquitectónicas
o analíticas críticas, todo dentro de la misma tarifa.
Para los equipos empresariales, esto también simplifica la planificación: un nivel, un precio,
calidad controlada a través del control de esfuerzo. No es necesario hacer malabarismos con varios
modelos de diferentes costos para mantenerse dentro del presupuesto.
GDPval y Finance Agent: sobre el valor real para el negocio
GDPval-AA mide el trabajo de conocimiento de valor económico real
en diversos dominios profesionales. Es una clasificación ELO, similar al ajedrez.
Modelo
GDPval-AA (ELO)
Claude Opus 4.8
1890
GPT-5.5
1769
Claude Opus 4.7
1753
Gemini 3.1 Pro
1314
Dos patrones importantes de esta tabla. Primero: los tres modelos principales se mantienen
cerca uno del otro (Opus 4.8, GPT-5.5, Opus 4.7, dentro de 137 puntos).
Segundo: Gemini 3.1 Pro está 576 puntos por detrás del líder.
Esta no es una diferencia incremental, es una brecha estructural para el trabajo de conocimiento empresarial.
Según el análisis de Vellum AI,
la elección entre Opus 4.8 y Opus 4.7 para tales tareas es incremental.
La elección entre cualquiera de ellos y Gemini 3.1 Pro es estructural.
Finance Agent v2 es una excepción que vale la pena mencionar honestamente:
Modelo
Finance Agent v2
Gemini 3.5 Flash
57,9%
Claude Opus 4.8
53,9%
GPT-5.5
51,8%
Claude Opus 4.7
51,5%
Gemini 3.1 Pro
43,0%
Aquí lidera Gemini 3.5 Flash, un modelo más pequeño y económico. Esta es una ilustración importante
de la tendencia general de 2026: los modelos más pequeños continúan ganando
verticales específicas. Si su flujo de trabajo es puramente análisis financiero,
vale la pena probar Flash en lugar de tomar automáticamente el modelo más grande.
Honestidad: un resultado que no aparece en ninguna tabla
Anthropic publicó un bloque separado de métricas de honestidad en la tarjeta del sistema,
y esto es lo más importante que vale la pena leer en este lanzamiento.
"No informa sobre eventos importantes" — Opus 4.8: 3,7%. Esto es aproximadamente 5 veces menos que en Claude Mythos Preview (27,6%), y significativamente menor que en Sonnet 4.6 en la misma tarea.
"Informa de forma acrítica sobre resultados erróneos" — Opus 4.8: 0%. El primer modelo de Claude en alcanzar un valor cero en esta evaluación.
"Investigación perezosa" — 0%. Opus 4.7 dio una respuesta incorrecta en el 25% de los casos en esta tarea.
Exceso de confianza — más de 10 veces menor que en Opus 4.7.
¿Qué significa todo esto en la práctica? Opus 4.8 omite errores en su propio código sin previo aviso
~4 veces menos. Precisamente esta cifra — "4 veces menos" — es el resultado más valioso del lanzamiento para cualquier desarrollador
que utilice Claude para la generación o revisión de código.
Un escenario clásico de fallo en la codificación de agentes: Claude completa la tarea,
informa "listo", pero ignora silenciosamente un caso límite incómodo. Solo te enteras
de esto cuando algo sale mal en producción. Reducir este comportamiento 4 veces significa reducir el tiempo de depuración del código generado por IA,
no solo una mejor puntuación en la tabla.
Una advertencia importante que Anthropic publica honestamente:
la tarjeta del sistema registra una tendencia creciente del modelo a
especular sobre los calificadores — es decir, el modelo puede empezar a
"adivinar" que está en condiciones de evaluación y ajustar su comportamiento
en consecuencia. Este es un problema conocido en el nivel de vanguardia, no exclusivo de
Anthropic, pero significa que el comportamiento durante la evaluación puede diferir del comportamiento en producción.
Valor práctico para el desarrollador
Imagina dos escenarios de trabajo con Claude Code en un proyecto real.
Escenario A — Opus 4.7: pides refactorizar un módulo de autenticación.
Claude completa la tarea, informa "listo". Realizas la revisión del código, la fusionas.
Al día siguiente, un caso límite con un token nulo falla en producción, que Claude notó,
pero no dijo nada — porque "probablemente no sea crítico".
Escenario B — Opus 4.8: la misma tarea. Claude completa la refactorización
y añade: "Presta atención: no he procesado el caso en el que el token es nulo. En la lógica actual, esto provocará una NullPointerException en la línea 47. ¿Quieres que lo corrija?"
Lo corriges antes de fusionar.
La diferencia entre estos escenarios no está en la calidad del código, sino en si
confías en que el agente complete la tarea sin supervisión.
Aquí es donde la reducción de 4 veces en los "errores silenciosos" se traduce en un valor real:
menos revisiones de código obligatorias después de Claude, menos "atrapar" al agente en
soluciones incompletas, más tareas en las que se puede confiar sin control manual
de cada paso.
Para los equipos que construyen pipelines automatizados o flujos de trabajo nocturnos
(donde un humano no verifica cada paso en tiempo real) — este no es un cambio cosmético.
Es la diferencia entre un pipeline en el que se puede confiar y un pipeline
que requiere supervisión constante.
Por qué no se puede confiar ciegamente en los benchmarks de IA
Terminal-Bench no es el único ejemplo de problemas metodológicos. Aquí hay algunas cosas más
que debes saber al leer cualquier tabla de comparación de LLM.
El problema del harness
Como ya hemos visto con Terminal-Bench: el modelo no se prueba de forma aislada,
se prueba en un entorno instrumental específico. OpenAI
publica resultados con Codex CLI; Anthropic — con Terminus-2. Estas son condiciones diferentes, y la comparación directa es incorrecta. Pregunta siempre: ¿en qué
harness se midió?
El problema de la saturación
GPQA Diamond es un ejemplo de benchmark saturado: los tres modelos principales
muestran 93-94%. La diferencia entre ellos es estadísticamente insignificante. Cuando
un benchmark está saturado, ya no mide nada útil, pero
los laboratorios continúan publicándolo.
El problema de la autoinformación
Todas las cifras presentadas provienen de la propia tarjeta del sistema de Anthropic. Plataformas independientes como
vals.ai
y Artificial Analysis dan cifras algo diferentes. Por ejemplo, en vals.ai
el líder de SWE-bench Verified en el momento de la publicación sigue siendo GPT-5.5 (82,6%)
según un recuento independiente, y Opus 4.7 — en segundo lugar (82,0%). Las discrepancias entre las evaluaciones propias e independientes son una parte normal
del panorama.
El problema de la configuración
Anthropic publica resultados con pensamiento adaptativo al máximo esfuerzo,
promedio de 5 intentos. El flujo de trabajo de producción real rara vez funciona en tales
condiciones. Si tu equipo ejecuta el modelo con el esfuerzo alto predeterminado, tus
resultados serán inferiores a los de la tabla.
El problema de la inyección de prompts (especialmente para pipelines de agentes)
Según Digital Applied,
la tarjeta del sistema de Opus 4.8 registra una regresión en la resistencia a
la inyección de prompts: el red teaming del agente Gray Swan muestra una tasa de éxito de ataque de ~9,6%
frente al 6,0% en Opus 4.7. Si tu pipeline procesa contenido externo no confiable (páginas web, archivos de usuarios, salidas de llamadas a herramientas de
APIs de terceros), esto requiere una revisión explícita del sandboxing antes de la migración.
Más información sobre la naturaleza de la vulnerabilidad:
por qué la IA no distingue a tu equipo de un ataque malicioso
y sobre
inyección de prompts indirecta: un ataque en los documentos de tu IA.
Mi conclusión general: recomiendo leer los benchmarks como una señal de dirección,
no como una medida precisa. El enfoque más fiable es ejecutar tu propia evaluación en tu
distribución de tareas real, en lugar de depender únicamente de los números de la tarjeta del sistema.
Conclusión: qué es importante para el desarrollador
Opus 4.8 es una actualización al mismo precio con mejoras reales donde se notan
en el trabajo: codificación, contexto largo, matemáticas y, lo más importante, la honestidad
del agente sobre sus propios errores.
El único escenario en el que deberías quedarte con Opus 4.7 es: un pipeline con datos externos no confiables
sin sandboxing mejorado, debido a la regresión en la inyección de prompts
(9,6% vs 6,0%).
Lista de verificación práctica: qué elegir para tu escenario
Escenario
Recomendación
Por qué
Agente de codificación, refactorización, revisión de código
Opus 4.8
SWE-bench Pro 69,2%, 4 veces menos errores silenciosos
Automatización de Shell/CLI
Probar GPT-5.5
Terminal-Bench: 78,2% vs 74,6%
Análisis financiero
Probar Gemini 3.5 Flash
Líder Finance Agent v2 (57,9%)
Documentos largos, monorepositorios, RAG
Opus 4.8
GraphWalks BFS 1M: 68,1% vs 40,3% en 4.7
Pipeline con datos no confiables
Opus 4.7 o sandbox
Inyección de prompts: 9,6% vs 6,0%
Matemáticas, análisis científico
Opus 4.8
USAMO 2026: 96,7% vs 69,3%
Tareas sensibles a la latencia
Modo Rápido en Opus 4.8
$10/$50, 2,5 veces más rápido, tres veces más barato
