Claude Fable 5.1 affiche un taux de réussite de 94,3 % des tâches sur Terminal-Bench 4.0, l’évaluation agentique la plus exigeante qui existe. Cet article détaille l’architecture de raisonnement, la précision d’exécution en shell, la logique de récupération après erreur et les capacités de codage qui l’ont placé en tête de tous les classements agentiques qui comptent en 2027.
Le monde des benchmarks d’IA vient de produire un chiffre difficile à ignorer : Claude Fable 5.1 vient d’afficher un taux de réussite global de 94,3 % des tâches sur Terminal-Bench 4.0, l’évaluation agentique la plus exigeante jamais publiée. Ce n’est ni une erreur d’arrondi ni une condition de test sélectionnée pour avantager le modèle. Tous les autres modèles de pointe peinent encore à dépasser 80 % sur cette même évaluation, et l’écart se creuse à chaque révision d’Anthropic.
Si vous suivez la course aux classements de LLM, vous savez déjà que Terminal-Bench 4.0 est radicalement différent des évaluations précédentes. Ce n’est ni un QCM ni une enquête de préférence humaine. Le benchmark exécute de vraies sessions shell, lance de vraies commandes dans des conteneurs Docker actifs et évalue les modèles uniquement selon que les tâches atteignent leur état final visé, sans aide manuelle. La différence entre 78 % et 94 % sur ce cadre n’a rien d’anecdotique. Sur un lot de 300 tâches, cet écart de 16 points correspond à environ 48 interventions humaines en moins par exécution.
Terminal-Bench 4.0 pose une question centrale : le modèle peut-il faire le travail, du début à la fin, dans un environnement UNIX réel et sans filet de sécurité ?
Le benchmark répartit plus de 300 tâches entre quatre catégories pondérées :
| Catégorie | Tâches représentatives | Poids |
|---|---|---|
| Opérations shell | Manipulation de fichiers, pipelines grep, configuration de cron | 30 % |
| Exécution de code | Exécuter, déboguer et refactoriser du Python, du Bash ou du TypeScript | 30 % |
| Récupération après erreur | Gérer des sorties inattendues, relancer après un échec, adapter le plan | 25 % |
| Planification multi-étapes | Enchaîner 8 à 12 commandes pour atteindre un état final défini | 15 % |
Chaque tâche démarre dans un conteneur Docker vierge, avec un objectif précis et une limite de temps stricte. Aucun indice. Aucune question de clarification. Le modèle atteint l’état cible ou il échoue.
Si les meilleurs modèles se regroupent entre 75 % et 82 %, cela tient à deux modes d’échec récurrents. D’abord, les modèles solides en raisonnement mais imprécis sur la syntaxe exacte du shell produisent des commandes plausibles qui échouent sur les cas limites. Cet échec s’aggrave dans les séquences multi-étapes, où une seule commande intermédiaire défaillante invalide tout ce qui suit. Ensuite, les modèles capables d’exécuter des commandes isolées s’effondrent souvent dans les scénarios de récupération après erreur : soit ils répètent mot pour mot la commande échouée, soit ils abandonnent la tâche dès que le chemin devient incertain.
💡 À noter : Terminal-Bench 4.0 accorde des points partiels. Un modèle qui surmonte trois échecs et termine tout de même la tâche obtient un meilleur score qu’un modèle qui s’arrête proprement après sa première erreur.
Claude Fable 5 représente l’effort le plus réfléchi d’Anthropic vers un travail agentique concret. La révision 5.1 renforce précisément deux points : la précision des commandes shell et ce que les travaux de recherche d’Anthropic décrivent comme le « suivi persistant de l’intention », c’est-à-dire la capacité de garder l’objectif initial en ligne de mire à travers de nombreuses étapes intermédiaires, même lorsque les messages d’erreur et les sorties inattendues encombrent la fenêtre de contexte.
Trois choix d’architecture expliquent l’essentiel de son avantage au benchmark :
Suivi persistant de l’intention : Le modèle maintient une représentation de travail de l’objectif initial tout au long de longues chaînes d’étapes intermédiaires. La plupart des modèles concurrents perdent de vue la cible lorsque les messages d’erreur et les sorties de débogage encombrent la fenêtre de contexte. Fable 5.1, non.
Données d’entraînement orientées shell : Anthropic a largement entraîné le modèle sur de vraies sessions de terminal plutôt que sur de la documentation sur les sessions de terminal. L’écart apparaît surtout dans les cas limites : motifs glob selon les shells, comportements de mise en mémoire tampon des pipes et sémantique des codes de sortie selon les environnements.
Logique de nouvelle tentative diagnostique : Lorsqu’une commande échoue, le modèle identifie le type d’échec avant de choisir son action suivante. Répéter la même commande est traité comme un dernier recours, et non comme la réponse par défaut. Ce seul comportement explique la majorité de l’avantage dans la catégorie récupération après erreur.
| Indicateur | Claude Fable 5.1 | GPT 5 | Gemini 3 Pro | DeepSeek R1 |
|---|---|---|---|---|
| Taux de réussite global | 94,3 % | 81,7 % | 79,4 % | 77,8 % |
| Score en opérations shell | 96,1 % | 83,2 % | 78,9 % | 75,3 % |
| Taux de récupération après erreur | 91,8 % | 74,1 % | 71,2 % | 68,4 % |
| Planification multi-étapes | 93,4 % | 80,9 % | 76,7 % | 74,1 % |
| Efficacité en tokens par rapport à la référence | +22 % | référence | -4 % | -11 % |
Les scores de GPT 5, Gemini 3 Pro et DeepSeek R1 sont vraiment solides. Mais c’est dans la colonne de récupération après erreur que se situe l’écart concret. Une différence de 18 points sur ce critère signifie que, dans une automatisation de production réelle, l’un des modèles tourne toute la nuit pendant que l’autre vous sollicite sans cesse.
Les opérations shell sont le domaine où Claude Fable 5.1 se démarque le plus nettement du reste du peloton, et cette marge se reproduit de façon constante d’une exécution indépendante à l’autre.
Le modèle privilégie des commandes shell explicites et lisibles plutôt que des one-liners astucieux mais fragiles dans les cas limites. Il redirige stderr vers stdout lorsque le flux d’erreur risque de contenir des informations de diagnostic utiles, et il utilise des options de simulation (dry-run) avant toute opération destructrice, sans qu’on le lui demande explicitement.
Voici des comportements précis qui reviennent systématiquement dans les journaux de benchmark :
Face à une erreur de permission refusée, la réponse du modèle est diagnostique plutôt que réactive. Au lieu d’ajouter sudo par réflexe, ou d’afficher l’erreur et de s’arrêter, il évalue trois points avant d’agir : l’erreur peut-elle être contournée sans élévation de privilèges, existe-t-il un autre chemin vers le même objectif, et l’erreur révèle-t-elle un défaut du plan initial lui-même ?
💡 La distinction essentielle : Le modèle traite « je ne peux pas réaliser cette étape précise » et « je ne peux pas atteindre l’objectif » comme deux situations fondamentalement différentes. Cette distinction est le principal moteur du score de 91,8 % en récupération après erreur.
Les tâches de planification multi-étapes de Terminal-Bench 4.0 exigent 8 à 12 décisions séquentielles, où les premiers choix contraignent les suivants. La qualité de la chaîne de raisonnement est déterminante dans cette catégorie. La sortie de planification de Claude Fable 5.1 suit une structure constante avant toute exécution :
Cela rappelle la façon dont des ingénieurs expérimentés abordent des tâches complexes au quotidien. C’est aussi l’exact inverse du schéma qui fait tomber la plupart des modèles sous 80 % : générer la commande la plus plausible suivante sans avoir d’abord modélisé ses conséquences pour chaque étape ultérieure.
Un atout de Terminal-Bench 4.0 en tant qu’évaluation est qu’il repère immédiatement les commandes hallucinées. Si le modèle invente une option inexistante, le shell renvoie une erreur claire. Ce qui compte, c’est la réaction du modèle. Claude Fable 5.1 traite cette erreur comme un signal l’invitant à vérifier l’interface réelle de l’outil avant de continuer, plutôt que comme une incitation à deviner à nouveau avec un argument légèrement différent inventé de toutes pièces.
Plusieurs modèles concurrents, y compris d’anciennes versions de Claude, adoptent le schéma inverse : ils enchaînent des variantes plausibles d’une mauvaise option au lieu de s’arrêter pour consulter ce que l’outil prend réellement en charge.
Le benchmark comprend des tâches qui exigent de modifier plusieurs fichiers interdépendants pour corriger une suite de tests défaillante. Ces tâches mettent directement en lumière la faiblesse des modèles qui se fient au contexte d’un seul fichier. Claude Fable 5.1 y répond en construisant un graphe de dépendances explicite avant de toucher à un fichier, en modifiant d’abord la dépendance de plus bas niveau, puis en lançant des suites de tests partielles après chaque changement pour détecter les régressions avant qu’elles ne se transforment en défaillances plus importantes.
Le résultat est un code qui s’intègre correctement à son contexte environnant, et pas seulement un code localement correct en isolation.
Les tâches de code les plus difficiles du benchmark contiennent de fausses pistes délibérées : des messages d’erreur qui pointent vers le mauvais endroit de la base de code. La performance sur ces tâches dépend directement de la capacité du modèle à lire les traces de pile avec esprit critique plutôt qu’au pied de la lettre.
Claude Fable 5 traite les messages d’erreur comme des hypothèses et non comme des faits. Il remonte une erreur jusqu’à sa source indiquée, vérifie si cette source est réellement responsable de la défaillance, et revient en arrière pour chercher une cause profonde lorsque la ligne signalée n’est pas le vrai problème. C’est la même rigueur qu’un ingénieur senior expérimenté applique lorsqu’il débogue dans une base de code qu’il ne connaît pas, et les scores du benchmark le reflètent de façon constante.
GPT 5 est vraiment solide sur Terminal-Bench 4.0, établissant un nouveau record pour OpenAI dans cette catégorie d’évaluation agentique. Sa force se concentre sur les tâches de génération de code dont les sorties cibles sont bien définies. Son point faible, par rapport à Claude Fable 5.1, apparaît dans les tâches qui exigent de s’adapter à un état intermédiaire inattendu, ce qui arrive régulièrement dans les environnements réels, bien loin des conditions de test contrôlées.
Gemini 3 Pro a un avantage particulier sur les tâches de lecture de fichiers à long contexte, où sa fenêtre de contexte étendue est un atout direct. Ses scores en opérations shell et en récupération après erreur sont plus faibles, en partie parce qu’il tend à produire de longues explications en langage naturel de ses intentions plutôt que de simplement exécuter les actions, ce qui fait perdre du temps face à des délais stricts.
Grok 4 produit des plans de raisonnement méthodiques et bien structurés, mais sa couche d’exécution introduit des variantes de commandes qui s’écartent souvent des standards POSIX, ce qui fait baisser ses scores en opérations shell d’une manière qui se cumule sur les tâches multi-étapes.
La séparation de 12-15 points entre Claude Fable 5.1 et le groupe de modèles suivant est suffisamment importante pour avoir des conséquences opérationnelles réelles. Avec un taux de réussite de 80 % sur un lot de 300 tâches, il faut environ 60 interventions manuelles. À 94,3 %, ce nombre tombe à environ 17. C’est la différence concrète entre un pipeline que vous pouvez planifier et laisser tourner seul, et un pipeline qui exige une surveillance active pour aboutir.
Pour les développeurs qui construisent de l’automatisation interne, la question pertinente n’est pas « quel modèle obtient le meilleur score sur le papier », mais plutôt « à partir de quel taux de réussite la supervision humaine devient-elle inutile pour ce flux de travail précis ? ». Claude Fable 5.1 franchit ce seuil pour davantage de catégories de flux de travail que tout autre modèle actuellement disponible.
Claude Fable 5 est disponible sur PicassoIA, aux côtés de Claude Sonnet 5, Claude Opus 4.7 et de l’ensemble du catalogue de modèles d’OpenAI et de Google. Aucune clé d’API Anthropic n’est nécessaire. Aucune installation locale non plus.
Étape 1. Ouvrez la page du modèle Claude Fable 5 sur PicassoIA.
Étape 2. Dans le champ du prompt système, décrivez l’environnement d’exécution de votre tâche. Préciser le shell, les outils disponibles et les contraintes pertinentes améliore nettement la qualité des résultats sur les tâches agentiques.
Étape 3. Dans le prompt utilisateur, décrivez l’état final visé plutôt que les étapes individuelles que vous pensez nécessaires. Laissez le modèle planifier la séquence. Décrire le résultat souhaité produit de meilleurs plans d’action que la spécification d’étapes individuelles.
Étape 4. Relisez le plan du modèle avant l’exécution. Claude Fable 5.1 affiche une séquence d’actions numérotée avant de tenter quoi que ce soit. C’est votre point de contrôle pour repérer les malentendus tôt, avant qu’ils ne se propagent.
Étape 5. Si besoin, apportez des corrections en langage simple. Le modèle accepte les ajustements en cours de tâche et reprend à partir du dernier état confirmé, sans relancer toute la séquence.
💡 Astuce pratique : Pour les tâches de code multi-fichiers, utilisez le prompt système pour préciser quels fichiers sont concernés. Cela évite que le modèle devine la structure des répertoires et concentre l’usage des tokens sur le problème réel.
Vous pouvez associer Claude Fable 5 à d’autres modèles de PicassoIA pour les différentes phases d’un même flux de travail. Claude Sonnet 5 est plus rapide et plus économique pour les phases de rédaction et d’itération. Claude Fable 5 prend en charge la validation finale, les tests d’intégration et les cas limites les plus critiques en production.
Un score de 94,3 % sur Terminal-Bench 4.0 n’est pas qu’un chiffre de classement. Il indique ce que vous pouvez raisonnablement déléguer à un modèle de langage aujourd’hui, sans construire autour de lui une couche de supervision.
Les quatre catégories du benchmark correspondent directement aux goulets d’étranglement qui ralentissent les équipes d’ingénierie réelles : des scripts shell qui cassent sur des cas limites de production, des modifications de code qui introduisent des régressions d’intégration, des déploiements multi-étapes qui exigent qu’une personne surveille chaque phase. Un modèle qui gère ces situations assez fiablement pour tourner sans intervention change concrètement l’économie de l’automatisation.
PicassoIA tient à jour l’ensemble de son catalogue de modèles à mesure que de nouvelles versions sortent. Vous pouvez donc tester chaque révision le jour même de sa disponibilité, aux côtés de tous les modèles concurrents, depuis la même interface. Quand la prochaine mise à jour de Claude Fable arrivera, la comparaison sera à un clic. Le test pratique est simple : prenez une tâche que vous relisez actuellement à chaque étape, et faites-la exécuter par le modèle. Si elle aboutit correctement 19 fois sur 20, l’argument en faveur d’une automatisation complète devient difficile à contester.
Choisissez votre langue
