Claude Fable 5.1 logró una tasa de finalización de tareas del 94,3% en Terminal-Bench 4.0, la evaluación agéntica más exigente que existe. Este artículo analiza la arquitectura de razonamiento, la precisión en la ejecución de shell, la lógica de recuperación de errores y las capacidades de programación que lo llevaron a la cima de todas las clasificaciones agénticas importantes en 2027.
El mundo de los benchmarks de IA tiene una cifra que es difícil de ignorar: Claude Fable 5.1 acaba de lograr una tasa global de finalización de tareas del 94,3% en Terminal-Bench 4.0, la evaluación agéntica más exigente publicada hasta la fecha. No es un error de redondeo ni una prueba elegida a dedo. Todos los demás modelos de vanguardia siguen luchando por superar el 80% en la misma evaluación, y la distancia aumenta con cada revisión de Anthropic.
Si llevas tiempo siguiendo la carrera de las clasificaciones de LLM, ya sabes que Terminal-Bench 4.0 es radicalmente distinto de las evaluaciones anteriores. No es una prueba de opción múltiple ni una encuesta de preferencias humanas. El benchmark ejecuta sesiones de shell reales, lanza comandos reales dentro de contenedores Docker en vivo y puntúa a los modelos únicamente según si las tareas alcanzan el estado final objetivo sin ayuda manual. La diferencia entre el 78% y el 94% en este marco no es cosmética. En un lote de 300 tareas, esa brecha de 16 puntos se traduce en unas 48 intervenciones humanas menos por ejecución.
Terminal-Bench 4.0 plantea una pregunta central: ¿puede el modelo hacer el trabajo de principio a fin, en un entorno UNIX real y sin ninguna red de seguridad?
El benchmark reparte más de 300 tareas entre cuatro categorías ponderadas:
| Categoría | Tareas representativas | Peso |
|---|---|---|
| Operaciones de shell | Manipulación de archivos, pipelines de grep, configuración de cron | 30% |
| Ejecución de código | Ejecutar, depurar y refactorizar Python/Bash/TypeScript | 30% |
| Recuperación de errores | Gestionar salidas inesperadas, reintentar tras un fallo, adaptar el plan | 25% |
| Planificación multipaso | Encadenar de 8 a 12 comandos para alcanzar un estado final definido | 15% |
Cada tarea arranca en un contenedor Docker limpio, con un objetivo concreto y un límite de tiempo estricto. Sin pistas. Sin preguntas aclaratorias. El modelo alcanza el estado objetivo o no lo alcanza.
La razón por la que los modelos más destacados se agrupan entre el 75% y el 82% se reduce a dos modos de fallo recurrentes. Primero, los modelos que razonan bien pero son imprecisos con la sintaxis exacta de shell producen comandos con apariencia plausible que fallan en los casos límite. Ese fallo se agrava mucho en secuencias multipaso, donde un solo comando intermedio roto invalida todo lo que viene después. Segundo, los modelos capaces de ejecutar comandos individuales suelen venirse abajo en escenarios de recuperación de errores, porque repiten exactamente el mismo comando fallido o abandonan la tarea por completo cuando el camino se vuelve incierto.
💡 Conviene saberlo: Terminal-Bench 4.0 concede crédito parcial. Un modelo que se recupera de tres fallos y aun así completa la tarea obtiene mejor puntuación que uno que termina limpiamente tras su primer error.
Claude Fable 5 es la apuesta más deliberada de Anthropic por el trabajo práctico y agéntico. La revisión 5.1 ajusta específicamente dos aspectos: la precisión de los comandos de shell y lo que las investigaciones de Anthropic describen como "seguimiento persistente de la intención", es decir, la capacidad de mantener el objetivo original firme a lo largo de muchos pasos intermedios, incluso cuando los mensajes de error y las salidas inesperadas saturan la ventana de contexto.
Tres decisiones de arquitectura explican la mayor parte de su ventaja en el benchmark:
Seguimiento persistente de la intención: El modelo mantiene una representación activa del objetivo original a lo largo de cadenas largas de pasos intermedios. La mayoría de los modelos competidores pierden de vista el destino cuando los mensajes de error y la salida de depuración saturan la ventana de contexto. Fable 5.1 no.
Datos de entrenamiento centrados en shell: Anthropic entrenó extensamente con sesiones de terminal reales, en lugar de documentación sobre sesiones de terminal. La diferencia se ve con más claridad en los casos límite: patrones glob con distintos shells, comportamientos del buffering de pipes y semántica de códigos de salida entre entornos.
Lógica de reintento diagnóstico: Cuando un comando falla, el modelo clasifica el tipo de fallo antes de elegir su siguiente acción. Repetir el mismo comando se trata como último recurso y no como respuesta por defecto. Este único comportamiento explica la mayor parte de la ventaja en la categoría de recuperación de errores.
| Métrica | Claude Fable 5.1 | GPT 5 | Gemini 3 Pro | DeepSeek R1 |
|---|---|---|---|---|
| Finalización global de tareas | 94,3% | 81,7% | 79,4% | 77,8% |
| Puntuación en operaciones de shell | 96,1% | 83,2% | 78,9% | 75,3% |
| Tasa de recuperación de errores | 91,8% | 74,1% | 71,2% | 68,4% |
| Planificación multipaso | 93,4% | 80,9% | 76,7% | 74,1% |
| Eficiencia de tokens frente a la línea base | +22% | línea base | -4% | -11% |
Las puntuaciones de GPT 5, Gemini 3 Pro y DeepSeek R1 son resultados realmente sólidos. Pero la columna de recuperación de errores es donde está la brecha práctica. Una diferencia de 18 puntos en recuperación de errores significa que, en automatización de producción real, un modelo funciona toda la noche mientras el otro te despierta una y otra vez.
Las operaciones de shell son el terreno donde Claude Fable 5.1 más claramente supera al resto, y la ventaja es muy reproducible en varias ejecuciones independientes del benchmark.
El modelo prefiere comandos de shell explícitos y legibles en lugar de atajos ingeniosos que se rompen en los casos límite. Redirige stderr junto con stdout cuando existe la posibilidad de que el flujo de errores contenga datos de diagnóstico útiles, y usa flags de simulación (dry-run) antes de las operaciones destructivas sin que nadie se lo indique explícitamente.
Comportamientos concretos que aparecen con regularidad en los registros del benchmark:
Cuando el modelo se encuentra con un error de permiso denegado, su respuesta es diagnóstica y no reactiva. En lugar de anteponer sudo por reflejo o imprimir el error y detenerse, evalúa tres cosas antes de actuar: si el error se puede recuperar sin escalar privilegios, si existe una ruta alternativa hacia el mismo objetivo y si el error revela un fallo en el plan original.
💡 La distinción clave: El modelo trata "no puedo completar este paso concreto" y "no puedo alcanzar el objetivo" como situaciones radicalmente distintas. Esa distinción es el principal motor de la puntuación de recuperación de errores del 91,8%.
Las tareas de planificación multipaso de Terminal-Bench 4.0 requieren de 8 a 12 decisiones secuenciales en las que las primeras opciones condicionan las siguientes. En esta categoría, la calidad de la cadena de pensamiento es decisiva. La salida de planificación de Claude Fable 5.1 sigue una estructura coherente antes de ejecutar nada:
Esto refleja cómo abordan las tareas complejas los ingenieros con experiencia. También es lo contrario del patrón que hace caer a la mayoría de los modelos por debajo del 80%: generar el siguiente comando más plausible sin antes modelar sus consecuencias en cada paso posterior.
Una fortaleza de Terminal-Bench 4.0 como evaluación es que detecta de inmediato los comandos alucinados. Si el modelo inventa un flag que no existe, el shell devuelve un error claro. Lo que importa es cómo responde el modelo. Claude Fable 5.1 trata ese error como una señal para verificar la interfaz real de la herramienta antes de continuar, en lugar de como una invitación a adivinar de nuevo con un argumento inventado ligeramente distinto.
Varios modelos competidores, incluidas versiones anteriores de Claude, muestran el patrón contrario: iterar sobre variantes de un flag incorrecto con apariencia plausible, en lugar de detenerse a consultar lo que la herramienta admite de verdad.
El benchmark incluye tareas que exigen modificar varios archivos interdependientes para arreglar una suite de pruebas rota. Estas tareas exponen directamente la debilidad de los modelos que dependen del contexto de un solo archivo. Claude Fable 5.1 lo resuelve construyendo un grafo de dependencias explícito antes de tocar cualquier archivo, modificando primero la dependencia de nivel más bajo y ejecutando subconjuntos de pruebas tras cada cambio para detectar regresiones antes de que se conviertan en fallos mayores.
El resultado es código que se integra correctamente con su contexto, y no solo código que es correcto de forma aislada.
Las tareas de código más difíciles del benchmark incluyen distracciones deliberadas: mensajes de error que apuntan a un lugar equivocado de la base de código. El rendimiento en estas tareas se correlaciona directamente con si el modelo lee las trazas de pila de forma crítica o literal.
Claude Fable 5 trata los mensajes de error como hipótesis y no como hechos. Sigue el error hasta el origen que indica, comprueba si ese origen es realmente responsable del fallo y retrocede en busca de una causa raíz más profunda cuando la línea señalada no es el problema. Es la misma disciplina que aplica un ingeniero senior experimentado al depurar una base de código que no conoce, y las puntuaciones del benchmark la reflejan de forma constante.
GPT 5 es realmente sólido en Terminal-Bench 4.0, y establece un nuevo máximo para OpenAI en esta categoría de evaluación agéntica. Su fortaleza se concentra en tareas de generación de código con salidas objetivo bien definidas. Donde se queda corto frente a Claude Fable 5.1 es en tareas que requieren adaptarse a un estado intermedio inesperado, algo que ocurre con regularidad en entornos reales y no en condiciones de prueba controladas.
Gemini 3 Pro tiene una ventaja específica en tareas que implican leer archivos con mucho contexto, donde su amplia ventana de contexto es un recurso directo. Sus puntuaciones en operaciones de shell y recuperación de errores son más bajas, en parte porque tiende a producir explicaciones detalladas en lenguaje natural sobre lo que pretende hacer, en lugar de simplemente ejecutarlo, lo que consume tiempo cuando los plazos de las tareas son ajustados.
Grok 4 produce planes de razonamiento metódicos y bien estructurados, pero su capa de ejecución introduce variantes de comandos que a menudo se desvían de POSIX, lo que hace bajar las puntuaciones de operaciones de shell de forma que se acumula en las tareas multipaso.
La separación de 12 a 15 puntos entre Claude Fable 5.1 y el siguiente grupo de modelos es lo bastante grande como para tener consecuencias operativas reales. Con una tasa de finalización del 80% en un lote de 300 tareas, necesitas unas 60 intervenciones manuales. Con el 94,3%, esa cifra baja a unas 17. Esa es la diferencia práctica entre una canalización que puedes programar y dejar correr, y otra que requiere supervisión activa para completarse con éxito.
Para los desarrolladores que crean automatizaciones internas, la pregunta relevante no es "qué modelo puntúa más alto sobre el papel", sino "a qué tasa de finalización de tareas deja de ser necesaria la supervisión humana para este flujo de trabajo concreto". Claude Fable 5.1 supera ese umbral en más categorías de flujos de trabajo que cualquier otro modelo disponible actualmente.
Claude Fable 5 está disponible en PicassoIA junto a Claude Sonnet 5, Claude Opus 4.7 y el catálogo completo de modelos de OpenAI y Google. No necesitas clave de API de Anthropic. Tampoco hace falta ninguna configuración local.
Paso 1. Abre la página del modelo Claude Fable 5 en PicassoIA.
Paso 2. En el campo del prompt de sistema, describe el entorno operativo en el que se desarrolla tu tarea. Especificar el shell, las herramientas disponibles y las restricciones relevantes mejora de forma notable la calidad del resultado en tareas agénticas.
Paso 3. En el prompt del usuario, describe el estado final objetivo en lugar de los pasos individuales que crees que hacen falta. Deja que el modelo planifique la secuencia. Describir el resultado que quieres produce mejores planes de acción que especificar pasos concretos.
Paso 4. Revisa el plan del modelo antes de ejecutarlo. Claude Fable 5.1 genera una secuencia de acciones numerada antes de intentar nada. Es tu punto de control para detectar malentendidos a tiempo, antes de que se propaguen.
Paso 5. Si hace falta, da correcciones en lenguaje sencillo. El modelo acepta correcciones de rumbo durante la tarea y retoma desde el último estado confirmado sin reiniciar toda la secuencia.
💡 Consejo práctico: En tareas de programación con varios archivos, usa el prompt de sistema para indicar qué archivos están dentro del alcance. Así el modelo no tiene que adivinar la estructura de directorios y el uso de tokens se centra en el problema real.
Puedes combinar Claude Fable 5 con otros modelos de PicassoIA para las distintas fases de un mismo flujo de trabajo. Claude Sonnet 5 es más rápido y más eficiente en costos para las fases de borrador e iteración. Claude Fable 5 se encarga de la validación final, las pruebas de integración y los casos límite que más importan en producción.
Una puntuación del 94,3% en Terminal-Bench 4.0 no es solo una cifra de clasificación. Indica qué puedes delegar de forma realista en un modelo de lenguaje hoy sin tener que construir una capa de supervisión a su alrededor.
Las cuatro categorías del benchmark se corresponden directamente con los cuellos de botella que ralentizan a los equipos de ingeniería reales: scripts de shell que fallan en casos límite de producción, cambios de código que introducen regresiones de integración, despliegues multipaso que necesitan a alguien vigilando cada etapa. Un modelo que gestiona estas tareas con fiabilidad suficiente como para ejecutarse sin intervención cambia la economía de la automatización de una forma concreta.
PicassoIA mantiene el catálogo completo de modelos actualizado a medida que salen nuevas versiones, así que puedes probar cada revisión el mismo día en que esté disponible, junto a todos los modelos competidores, desde la misma interfaz. Cuando llegue la próxima actualización de Claude Fable, la comparación está a un clic. La prueba práctica es sencilla: toma una tarea que hoy revisas a mano en cada paso y pásala por el modelo. Si la completa correctamente 19 de cada 20 veces, el argumento a favor de la automatización total se vuelve difícil de rebatir.
Elige tu idioma
