Claude Fable 5.1 ने Terminal-Bench 4.0 पर 94.3% टास्क-पूर्णता दर हासिल की है, जो अब तक का सबसे कठिन एजेंटिक मूल्यांकन है। यह लेख उन रीज़निंग आर्किटेक्चर, शेल एक्ज़ीक्यूशन की सटीकता, एरर-रिकवरी लॉजिक और कोडिंग क्षमताओं को समझाता है, जिन्होंने इसे 2027 के हर अहम एजेंटिक लीडरबोर्ड पर सबसे ऊपर पहुँचाया।
AI बेंचमार्क की दुनिया में एक ऐसा आँकड़ा है जिसे नज़रअंदाज़ करना मुश्किल है: Claude Fable 5.1 ने Terminal-Bench 4.0 पर 94.3% की कुल टास्क-पूर्णता दर हासिल की है, जो अब तक प्रकाशित सबसे कठिन एजेंटिक मूल्यांकन है। यह कोई राउंडिंग की गलती या चुनी हुई टेस्ट शर्तों का नतीजा नहीं है। इसी मूल्यांकन पर बाकी हर फ़्रंटियर मॉडल अब भी 80% का आँकड़ा पार करने के लिए जूझ रहा है, और Anthropic के हर नए संशोधन के साथ यह फ़ासला और बढ़ता जा रहा है।
अगर आप LLM लीडरबोर्ड की होड़ पर नज़र रख रहे हैं, तो आप जानते ही होंगे कि Terminal-Bench 4.0 पिछले मूल्यांकनों से बिल्कुल अलग है। यह कोई मल्टीपल-चॉइस क्विज़ या मानव पसंद का सर्वे नहीं है। यह बेंचमार्क असली शेल सेशन चलाता है, लाइव Docker कंटेनरों के अंदर असली कमांड चलाता है, और मॉडलों को इस आधार पर स्कोर करता है कि टास्क बिना किसी मैनुअल मदद के अपने लक्ष्य की अंतिम स्थिति तक पहुँचते हैं या नहीं। इस फ़्रेमवर्क पर 78% और 94% के बीच का फ़र्क सिर्फ़ दिखावटी नहीं है। 300 टास्क के एक बैच में, 16 अंकों का यह अंतर हर रन में लगभग 48 कम मानवीय हस्तक्षेप के बराबर है।
Terminal-Bench 4.0 एक केंद्रीय सवाल पूछता है: क्या मॉडल बिना किसी सुरक्षा जाल के, एक लाइव UNIX वातावरण में, शुरू से अंत तक काम पूरा कर सकता है?
यह बेंचमार्क 300 से ज़्यादा टास्क को चार भारित श्रेणियों में बाँटता है:
| श्रेणी | प्रतिनिधि टास्क | वेट |
|---|---|---|
| शेल ऑपरेशन | फ़ाइल मैनिपुलेशन, grep पाइपलाइन, cron कॉन्फ़िगरेशन | 30% |
| कोड एक्ज़ीक्यूशन | Python/Bash/TypeScript चलाना, डीबग करना और रीफ़ैक्टर करना | 30% |
| एरर रिकवरी | अप्रत्याशित आउटपुट सँभालना, विफलता के बाद फिर कोशिश करना, योजना बदलना | 25% |
| मल्टी-स्टेप प्लानिंग | अंतिम स्थिति तक पहुँचने के लिए 8-12 कमांड जोड़ना | 15% |
हर टास्क एक साफ़ Docker कंटेनर में एक खास लक्ष्य और सख़्त समय-सीमा के साथ शुरू होता है। कोई संकेत नहीं। कोई स्पष्टीकरण वाला सवाल नहीं। मॉडल या तो लक्ष्य की स्थिति तक पहुँचता है, या नहीं पहुँचता।
शीर्ष मॉडल 75-82% के दायरे में क्यों अटकते हैं, इसका कारण दो बार-बार होने वाली विफलता-विधियों में है। पहली, ऐसे मॉडल जो रीज़निंग में मज़बूत हैं पर शेल सिंटैक्स में सटीक नहीं हैं, ऐसी कमांड बनाते हैं जो सुनने में सही लगती हैं पर एज केस पर विफल हो जाती हैं। यह विफलता मल्टी-स्टेप क्रम में और भी बुरी तरह बढ़ती है, जहाँ एक टूटी बीच की कमांड आगे की हर चीज़ को अमान्य कर देती है। दूसरी, ऐसे मॉडल जो अलग-अलग कमांड चला सकते हैं, एरर-रिकवरी वाली स्थितियों में अक्सर ढह जाते हैं, क्योंकि या तो वे वही विफल कमांड शब्दशः दोहराते हैं, या रास्ता अनिश्चित होने पर टास्क ही छोड़ देते हैं।
💡 ध्यान देने वाली बात: Terminal-Bench 4.0 आंशिक अंक देता है। जो मॉडल तीन विफलताओं से उबरकर भी टास्क पूरा कर लेता है, वह उस मॉडल से बेहतर स्कोर करता है जो पहली गलती के बाद बिना आगे कोशिश किए बाहर निकल जाता है।
Claude Fable 5 व्यावहारिक, एजेंटिक काम की ओर Anthropic का सबसे सोच-समझकर उठाया गया कदम है। 5.1 संशोधन खास तौर पर दो चीज़ें कसता है: शेल-कमांड की सटीकता, और जिसे Anthropic के रिसर्च नोट्स "पर्सिस्टेंट इंटेंट ट्रैकिंग" कहते हैं। यानी कई बीच के चरणों में मूल लक्ष्य को स्थिर रखने की क्षमता, भले ही एरर मैसेज और अप्रत्याशित आउटपुट कॉन्टेक्स्ट विंडो को भर रहे हों।
तीन आर्किटेक्चरल फ़ैसले इसकी बेंचमार्क बढ़त का ज़्यादातर हिस्सा समझाते हैं:
पर्सिस्टेंट इंटेंट ट्रैकिंग: मॉडल लंबी बीच की चरण-शृंखलाओं में मूल लक्ष्य का एक कार्यशील प्रतिनिधित्व बनाए रखता है। ज़्यादातर प्रतिस्पर्धी मॉडल तब लक्ष्य खो देते हैं जब एरर मैसेज और डीबग आउटपुट कॉन्टेक्स्ट विंडो भरने लगते हैं। Fable 5.1 ऐसा नहीं करता।
शेल-फ़र्स्ट ट्रेनिंग डेटा: Anthropic ने टर्मिनल सेशन के बारे में लिखे दस्तावेज़ों के बजाय असली टर्मिनल सेशन पर व्यापक ट्रेनिंग की। यह अंतर एज केस में सबसे साफ़ दिखता है: अलग-अलग शेल में glob पैटर्न, पाइप बफ़रिंग के व्यवहार और विभिन्न वातावरणों में एग्ज़िट कोड के अर्थ।
डायग्नोस्टिक रीट्राई लॉजिक: जब कोई कमांड विफल होती है, तो मॉडल अगला कदम चुनने से पहले विफलता के प्रकार का वर्गीकरण करता है। एक ही कमांड दोहराना डिफ़ॉल्ट जवाब नहीं, बल्कि आख़िरी उपाय माना जाता है। एरर-रिकवरी श्रेणी में ज़्यादातर बढ़त इसी एक व्यवहार से आती है।
| मेट्रिक | Claude Fable 5.1 | GPT 5 | Gemini 3 Pro | DeepSeek R1 |
|---|---|---|---|---|
| कुल टास्क पूर्णता | 94.3% | 81.7% | 79.4% | 77.8% |
| शेल ऑपरेशन स्कोर | 96.1% | 83.2% | 78.9% | 75.3% |
| एरर रिकवरी दर | 91.8% | 74.1% | 71.2% | 68.4% |
| मल्टी-स्टेप प्लानिंग | 93.4% | 80.9% | 76.7% | 74.1% |
| बेसलाइन की तुलना में टोकन दक्षता | +22% | बेसलाइन | -4% | -11% |
GPT 5, Gemini 3 Pro और DeepSeek R1 के स्कोर सच में मज़बूत नतीजे हैं। लेकिन व्यावहारिक फ़ासला एरर रिकवरी कॉलम में दिखता है। एरर रिकवरी में 18 अंकों के अंतर का मतलब है कि असली प्रोडक्शन ऑटोमेशन में एक मॉडल रात भर चलता रहता है, जबकि दूसरा आपको बार-बार पेज करता है।
शेल ऑपरेशन वह क्षेत्र है जहाँ Claude Fable 5.1 बाकी मॉडलों से सबसे साफ़ दिखाई देने वाले अंतर से आगे है, और यह बढ़त कई स्वतंत्र बेंचमार्क रन में बार-बार दोहराई गई है।
यह मॉडल उन होशियारी भरे वन-लाइनर के बजाय साफ़, पढ़ने में आसान शेल कमांड को डिफ़ॉल्ट बनाता है, जो एज केस में नाज़ुक साबित होते हैं। जब भी एरर स्ट्रीम में उपयोगी डायग्नोस्टिक डेटा होने की ज़रा भी संभावना होती है, तो यह stderr को stdout के साथ पाइप करता है। और विनाशकारी ऑपरेशन से पहले, किसी साफ़ निर्देश के बिना भी, यह dry-run फ़्लैग का इस्तेमाल करता है।
बेंचमार्क लॉग में लगातार दिखने वाले कुछ खास व्यवहार:
जब मॉडल को permission-denied एरर मिलता है, तो उसका जवाब प्रतिक्रियात्मक नहीं, बल्कि डायग्नोस्टिक होता है। बिना सोचे sudo जोड़ने या एरर प्रिंट करके रुक जाने के बजाय, यह कार्य करने से पहले तीन बातें जाँचता है: क्या यह एरर बिना privilege escalation के सुधारा जा सकता है, क्या उसी लक्ष्य तक पहुँचने का कोई वैकल्पिक रास्ता है, और क्या यह एरर मूल योजना में ही कोई खामी दिखाता है।
💡 सबसे अहम फ़र्क: मॉडल "मैं इस खास चरण को पूरा नहीं कर सकता" और "मैं लक्ष्य तक नहीं पहुँच सकता" को पूरी तरह अलग स्थितियों के रूप में देखता है। यही फ़र्क 91.8% एरर रिकवरी स्कोर का मुख्य कारण है।
Terminal-Bench 4.0 के मल्टी-स्टेप प्लानिंग टास्क में 8-12 क्रमिक फ़ैसले चाहिए, जहाँ शुरुआती विकल्प बाद के विकल्पों को सीमित करते हैं। इस श्रेणी में चेन-ऑफ़-थॉट की गुणवत्ता निर्णायक होती है। Claude Fable 5.1 का प्लानिंग आउटपुट कुछ भी चलाने से पहले एक लगातार ढाँचे का पालन करता है:
यह उस तरीके को दर्शाता है जिससे अनुभवी इंजीनियर व्यवहार में जटिल टास्क पर काम करते हैं। यह उस पैटर्न का उलट भी है जो ज़्यादातर मॉडलों को 80% से नीचे गिरा देता है: हर बाद के चरण पर उसके परिणामों को पहले मॉडल किए बिना, अगली सबसे संभावित कमांड उत्पन्न करना।
Terminal-Bench 4.0 की एक खूबी यह है कि यह हैलुसिनेटेड कमांड को तुरंत पकड़ लेता है। अगर मॉडल कोई ऐसा फ़्लैग गढ़ता है जो मौजूद ही नहीं, तो शेल एक साफ़ एरर लौटाता है। असली बात यह है कि मॉडल उस पर कैसे प्रतिक्रिया देता है। Claude Fable 5.1 उस एरर को आगे बढ़ने से पहले टूल के असली इंटरफ़ेस की पुष्टि करने के संकेत के रूप में लेता है, न कि थोड़े अलग गढ़े गए आर्गुमेंट के साथ फिर से अनुमान लगाने के संकेत के रूप में।
कई प्रतिस्पर्धी मॉडल, जिनमें पिछले Claude वर्ज़न भी शामिल हैं, इसके उलट पैटर्न दिखाते हैं: किसी गलत फ़्लैग के सुनने में सही लगने वाले वेरिएंट को बार-बार आज़माना, बजाय यह रुककर देखने के कि टूल असल में क्या सपोर्ट करता है।
बेंचमार्क में ऐसे टास्क शामिल हैं जिनमें टूटे टेस्ट सुइट को ठीक करने के लिए कई आपस में जुड़ी फ़ाइलों में बदलाव करना पड़ता है। ये टास्क उन मॉडलों की कमज़ोरी को सीधे उजागर करते हैं जो सिंगल-फ़ाइल कॉन्टेक्स्ट पर निर्भर रहते हैं। Claude Fable 5.1 इसे इस तरह सँभालता है: किसी भी एक फ़ाइल को छूने से पहले वह एक साफ़ डिपेंडेंसी ग्राफ़ बनाता है, सबसे निचले स्तर की डिपेंडेंसी को पहले बदलता है, और हर बदलाव के बाद आंशिक टेस्ट सुइट चलाता है, ताकि रिग्रेशन बड़ी विफलताओं में बदलने से पहले ही पकड़ में आ जाएँ।
नतीजा ऐसा कोड है जो अपने आसपास के संदर्भ के साथ सही तरह जुड़ता है, न कि केवल अलग से देखने पर सही लगने वाला कोड।
बेंचमार्क के सबसे कठिन कोड टास्क में जानबूझकर भ्रम पैदा करने वाले सुराग होते हैं: ऐसे एरर मैसेज जो कोडबेस में गलत जगह की ओर इशारा करते हैं। इन टास्क पर प्रदर्शन इस बात से सीधे जुड़ा है कि मॉडल स्टैक ट्रेस को आलोचनात्मक रूप से पढ़ता है या शाब्दिक रूप से।
Claude Fable 5 एरर मैसेज को तथ्य नहीं, बल्कि परिकल्पना मानता है। वह एरर को उसके बताए गए स्रोत तक ट्रेस करता है, जाँचता है कि क्या वही स्रोत असल में विफलता के लिए ज़िम्मेदार है, और जब बताई गई लाइन समस्या नहीं होती, तो गहरे मूल कारण की खोज में वापस लौटता है। यह वही अनुशासन है जो एक अनुभवी सीनियर इंजीनियर किसी अनजान कोडबेस में डीबग करते समय अपनाता है, और बेंचमार्क स्कोर इसे लगातार दिखाते हैं।
GPT 5 Terminal-Bench 4.0 पर सच में मज़बूत है, और इस श्रेणी के एजेंटिक मूल्यांकन में OpenAI के लिए एक नया उच्चतम स्तर बनाता है। इसकी ताकत उन कोड-जनरेशन टास्क में केंद्रित है जिनके आउटपुट अच्छी तरह तय हों। Claude Fable 5.1 के मुकाबले यह वहाँ कमज़ोर पड़ता है जहाँ टास्क अप्रत्याशित बीच की स्थिति के अनुरूप ढलने की माँग करते हैं, और ऐसा असली दुनिया के वातावरण में नियंत्रित टेस्ट शर्तों की तुलना में नियमित रूप से होता है।
Gemini 3 Pro को लंबे कॉन्टेक्स्ट वाली फ़ाइल रीडिंग के टास्क में एक खास बढ़त है, जहाँ इसकी विस्तारित कॉन्टेक्स्ट विंडो सीधा फ़ायदा देती है। इसके शेल ऑपरेशन और एरर-रिकवरी स्कोर कम हैं, आंशिक रूप से इसलिए कि यह अपनी योजनाबद्ध कार्रवाइयों की विस्तृत प्राकृतिक-भाषा व्याख्या देने की प्रवृत्ति दिखाता है, बजाय उन्हें सीधे चलाने के, और यह सख़्त टास्क डेडलाइन के खिलाफ़ समय बर्बाद करता है।
Grok 4 व्यवस्थित, अच्छी तरह संरचित रीज़निंग योजनाएँ बनाता है, लेकिन इसकी एक्ज़ीक्यूशन परत ऐसे कमांड वेरिएंट लाती है जो अक्सर POSIX मानकों से हट जाते हैं। इससे शेल ऑपरेशन स्कोर उन तरीकों से गिरते हैं जो मल्टी-स्टेप टास्क में जुड़कर और बढ़ जाते हैं।
Claude Fable 5.1 और अगले मॉडल समूह के बीच 12-15 अंकों का फ़ासला इतना बड़ा है कि उसके असली परिचालन नतीजे होते हैं। 300 टास्क के बैच पर 80% टास्क-पूर्णता दर पर, आपको लगभग 60 मैनुअल हस्तक्षेपों की ज़रूरत पड़ती है। 94.3% पर यह संख्या घटकर लगभग 17 रह जाती है। यही वह व्यावहारिक फ़र्क है जो एक ऐसी पाइपलाइन को, जिसे आप शेड्यूल करके छोड़ सकते हैं, उस पाइपलाइन से अलग करता है जिसे सफलतापूर्वक पूरा होने के लिए सक्रिय निगरानी चाहिए।
आंतरिक ऑटोमेशन बनाने वाले डेवलपरों के लिए असली सवाल यह नहीं है कि "कागज़ पर कौन-सा मॉडल ज़्यादा स्कोर करता है", बल्कि यह है कि "इस खास वर्कफ़्लो के लिए किस टास्क-पूर्णता दर पर मानवीय निगरानी अनावश्यक हो जाती है।" Claude Fable 5.1 वर्कफ़्लो की किसी भी दूसरे उपलब्ध मॉडल से ज़्यादा श्रेणियों में यह सीमा पार करता है।
Claude Fable 5 PicassoIA पर Claude Sonnet 5, Claude Opus 4.7 और OpenAI व Google मॉडलों की पूरी कैटेलॉग के साथ उपलब्ध है। कोई Anthropic API key ज़रूरी नहीं है। कोई लोकल सेटअप नहीं चाहिए।
चरण 1. PicassoIA पर Claude Fable 5 मॉडल पेज खोलें।
चरण 2. सिस्टम प्रॉम्प्ट फ़ील्ड में वह ऑपरेटिंग वातावरण बताएँ जिससे आपका टास्क जुड़ा है। शेल, उपलब्ध टूल और प्रासंगिक बाधाएँ साफ़-साफ़ बताने से एजेंटिक टास्क पर आउटपुट की गुणवत्ता काफ़ी बेहतर होती है।
चरण 3. यूज़र प्रॉम्प्ट में अंतिम स्थिति बताएँ, न कि वे अलग-अलग चरण जिन्हें आप ज़रूरी समझते हैं। क्रम तय करने का काम मॉडल पर छोड़ दें। जो परिणाम आप चाहते हैं उसे बताना, अलग-अलग चरण तय करने से बेहतर एक्शन प्लान देता है।
चरण 4. एक्ज़ीक्यूशन से पहले मॉडल की योजना की समीक्षा करें। Claude Fable 5.1 कुछ भी आज़माने से पहले एक नंबर वाला एक्शन क्रम देता है। यह वह चेकपॉइंट है जहाँ आप गलतफ़हमियाँ जल्दी पकड़ सकते हैं, इससे पहले कि वे आगे तक फैलें।
चरण 5. ज़रूरत हो तो सरल भाषा में सुधार दें। मॉडल टास्क के बीच में कोर्स करेक्शन स्वीकार करता है और पूरा क्रम दोबारा शुरू किए बिना आखिरी पुष्ट स्थिति से आगे बढ़ जाता है।
💡 व्यावहारिक सुझाव: मल्टी-फ़ाइल कोडिंग टास्क के लिए सिस्टम प्रॉम्प्ट में यह बताएँ कि कौन-सी फ़ाइलें दायरे में हैं। इससे मॉडल डायरेक्टरी संरचना का अनुमान नहीं लगाता और टोकन उपयोग असली समस्या पर केंद्रित रहता है।
आप एक ही वर्कफ़्लो के अलग-अलग चरणों के लिए PicassoIA पर Claude Fable 5 को दूसरे मॉडलों के साथ जोड़ सकते हैं। ड्राफ़्टिंग और इटरेशन के चरणों के लिए Claude Sonnet 5 तेज़ और ज़्यादा किफ़ायती है। Claude Fable 5 अंतिम सत्यापन, इंटीग्रेशन टेस्टिंग और प्रोडक्शन में सबसे ज़्यादा मायने रखने वाले एज केस सँभालता है।
Terminal-Bench 4.0 पर 94.3% सिर्फ़ लीडरबोर्ड का आँकड़ा नहीं है। यह बताता है कि आज आप किस काम को, उसके आसपास निगरानी का ढाँचा बनाए बिना, भाषा मॉडल को सौंप सकते हैं।
चारों बेंचमार्क श्रेणियाँ उन अड़चनों से सीधे जुड़ती हैं जो असली इंजीनियरिंग टीमों को धीमा करती हैं: ऐसी शेल स्क्रिप्ट जो प्रोडक्शन के एज केस पर टूट जाती हैं, ऐसे कोड बदलाव जो इंटीग्रेशन रिग्रेशन लाते हैं, और ऐसी मल्टी-स्टेप डिप्लॉयमेंट जिन्हें हर चरण पर कोई देखने वाला चाहिए। ऐसा मॉडल, जो इन कामों को इतने भरोसे के साथ सँभाले कि बिना हस्तक्षेप चल सके, ऑटोमेशन की अर्थव्यवस्था को एक ठोस तरीके से बदल देता है।
PicassoIA नए रिलीज़ आते ही पूरे मॉडल कैटेलॉग को अपडेट रखता है, ताकि आप हर संशोधन को उसी दिन, हर प्रतिस्पर्धी मॉडल के साथ, एक ही इंटरफ़ेस से आज़मा सकें। Claude Fable का अगला अपडेट आने पर तुलना बस एक क्लिक दूर होगी। व्यावहारिक परीक्षा सीधी है: एक ऐसा टास्क लें जिसे आप अभी हर चरण पर मैनुअली जाँचते हैं और उसे मॉडल से चलाएँ। अगर वह 20 में से 19 बार सही पूरा होता है, तो पूरी तरह ऑटोमेशन के पक्ष में तर्क को नकारना मुश्किल हो जाएगा।
अपनी भाषा चुनें
