Meta ने Llama 4 के दो मॉडल जारी किए हैं जो स्पेक शीट पर लगभग एक जैसे दिखते हैं, पर असल इस्तेमाल में बहुत अलग बर्ताव करते हैं। Scout और Maverick दोनों प्रति टोकन 17 बिलियन पैरामीटर सक्रिय करते हैं, फिर भी एक 109B मॉडल है जो विशाल कॉन्टेक्स्ट के लिए बना है और दूसरा 400B मॉडल है जो कच्ची क्वालिटी के लिए बना है। अगर आप इन दोनों में से चुनना चाहते हैं, या बस यह जानना चाहते हैं कि मुख्य आँकड़े टिकते हैं या नहीं, तो यह विश्लेषण है जिसमें सारे आँकड़े साथ-साथ रखे गए हैं।
नीचे की सारी जानकारी उन स्कोरों पर आधारित है जो Meta ने इंस्ट्रक्शन-ट्यून्ड वर्ज़न के लिए अपने मॉडल कार्ड पर प्रकाशित किए हैं, और जहाँ थर्ड-पार्टी लीडरबोर्ड अलग राय रखते हैं, वहाँ मैं उसका ज़िक्र करता हूँ। बेंचमार्क एक शुरुआती बिंदु हैं, फ़ैसला नहीं, इसलिए मैं यह भी समझाता हूँ कि हर संख्या असली काम के बारे में क्या बताती है और क्या नहीं।
संक्षेप में
विस्तार में जाने से पहले पूरी कहानी एक टेबल में यहाँ है।
| स्पेक | Llama 4 Scout | Llama 4 Maverick |
|---|
| कुल पैरामीटर | 109B | 400B |
| प्रति टोकन सक्रिय पैरामीटर | 17B | 17B |
| एक्सपर्ट | 16 | 128 |
| कॉन्टेक्स्ट विंडो | 10M टोकन तक | 1M टोकन तक |
| LiveCodeBench (0-shot) | 32.8 | 43.4 |
| MMLU Pro (0-shot) | 74.3 | 80.5 |
| GPQA Diamond | 57.2 | 69.8 |
पैटर्न सीधा है। Maverick हर क्वालिटी बेंचमार्क जीतता है, अक्सर 6 से 12 अंकों के अंतर से। Scout कॉन्टेक्स्ट की लंबाई और हार्डवेयर में आसानी से फ़िट होने में आगे है। कोई भी एक मॉडल हर किसी के लिए सही जवाब नहीं है।

Scout परफ़ॉर्मेंस के आँकड़े
Llama 4 Scout Instruct छोटा भाई है, और "छोटा" सापेक्ष शब्द है। इसमें कुल 109 बिलियन पैरामीटर हैं, जो 16 एक्सपर्ट में बँटे हैं, और किसी भी टोकन के लिए सिर्फ़ 17 बिलियन सक्रिय होते हैं। यह मिक्स्चर ऑफ़ एक्सपर्ट्स डिज़ाइन है: मॉडल हर टोकन को पूरे नेटवर्क को चलाने के बजाय छोटे विशेषज्ञ समूह तक भेजता है।
सक्रिय बनाम कुल पैरामीटर
सक्रिय संख्या स्पीड और प्रति-टोकन कंप्यूट तय करती है। कुल संख्या मेमोरी तय करती है। स्टोरेज में आप पूरे 109B का भार उठाते हैं, पर एक समय में सिर्फ़ 17B से कंप्यूट होता है। इसी वजह से Scout अपने साइज़ के हिसाब से तेज़ लग सकता है, फिर भी इसे होस्ट करने के लिए गंभीर GPU सेटअप चाहिए। Meta का कहना है कि Int4 में क्वांटाइज़ होने पर Scout एक ही H100 GPU में फ़िट हो सकता है, और जो लोग खुद होस्ट करना चाहते हैं, उनके लिए यह सबसे बड़ा दावा है।
10 मिलियन टोकन का दावा
Scout की सबसे ज़्यादा चर्चित खासियत 10 मिलियन टोकन तक की कॉन्टेक्स्ट विंडो है। कागज़ पर यह एक ही प्रॉम्प्ट में पूरे कोड रिपॉज़िटरी, सालों की मीटिंग ट्रांसक्रिप्ट या कानूनी दस्तावेज़ों की अलमारी को समेटने के लिए काफ़ी है।

💡 असलियत की जाँच: शुरुआती यूज़र्स ने बताया कि कुछ होस्टेड सेटअप में लगभग 32,000 टोकन पर असरदार क्वालिटी गिरने लगी। कई प्रोवाइडर मेमोरी लागत कम रखने के लिए विंडो को 10M से काफ़ी नीचे सीमित कर देते हैं। बड़ी विज्ञापित विंडो एक सीमा है, वादा नहीं, इसलिए हमेशा अपने लंबे दस्तावेज़ों से जाँचें।
जहाँ Scout अपनी जगह बनाता है
Scout को MMLU Pro पर 74.3 और GPQA Diamond पर 57.2 मिलते हैं। इस आकार के मॉडल के लिए ये सम्मानजनक संख्याएँ हैं, और समरीज़ेशन, डेटा निकालने, कस्टमर सपोर्ट के ड्राफ़्ट और सामान्य सवाल-जवाब के लिए ये ठीक हैं। जहाँ यह पीछे रहता है वह है कठिन रीज़निंग और कोड, और यहीं से बड़े मॉडल की बात आती है।

Maverick का साइज़ समझें
Llama 4 Maverick Instruct इस जोड़ी का भारी मॉडल है। इसके 400 बिलियन कुल पैरामीटर हैं और वही 17 बिलियन सक्रिय, लेकिन ये 16 की जगह 128 एक्सपर्ट में फैले हैं। ज़्यादा एक्सपर्ट का मतलब ज़्यादा स्पेशलाइज़ेशन है, और वह स्कोर में दिखता है।
कागज़ पर 400B, रनटाइम पर 17B
यही हिस्सा लोगों को उलझाता है। 400B मॉडल 40B मॉडल से दस गुना धीमा लग सकता है। ऐसा नहीं है, क्योंकि प्रति-टोकन कंप्यूट सक्रिय पैरामीटर पर निर्भर करता है। Maverick लगभग उसी कंप्यूट लागत पर टोकन बनाता है जितना Scout। बदलता है मेमोरी का बिल: 400B वेट्स रखने की जगह चाहिए, भले ही हर टोकन के लिए उनमें से ज़्यादातर खाली पड़े रहें।

128 एक्सपर्ट क्यों मायने रखते हैं
128 एक्सपर्ट के साथ राउटर के पास यह चुनने की कहीं ज़्यादा गुंजाइश है कि कौन सा विशेषज्ञ किस टोकन को संभालेगा। व्यवहार में इससे Maverick को खास (नीश) विषयों की बेहतर कवरेज, मज़बूत कोड हैंडलिंग और भरोसेमंद मल्टी-स्टेप रीज़निंग मिलती है। यह मॉडल डेंस और एक्सपर्ट लेयर्स को बारी-बारी से जोड़ता है, जिसका श्रेय Meta उस डिज़ाइन को देता है जो लागत बेतहाशा बढ़े बिना क्वालिटी ऊँची रखता है।
हार्डवेयर की असलियत
Meta ने Maverick को एक ही H100 DGX होस्ट में फ़िट होने वाला बताया है, यानी एक कार्ड नहीं बल्कि आठ GPU वाला सर्वर। इसलिए ज़्यादातर शौकिया लोगों के लिए खुद होस्ट करना पहुँच से बाहर है। बाकी सबके लिए होस्टेड एक्सेस सबसे समझदार रास्ता है, और यहीं PicassoIA जैसा प्लेटफ़ॉर्म काम आता है, क्योंकि आप एक भी GPU खरीदे बिना ब्राउज़र से इसे चला सकते हैं।

| होस्टिंग का सवाल | Scout | Maverick |
|---|
| मेमोरी फ़ुटप्रिंट | मध्यम | बहुत बड़ा |
| एक GPU पर चल सकता है? | हाँ, Int4 क्वांटाइज़ेशन के साथ | नहीं, मल्टी-GPU होस्ट चाहिए |
| प्रति टोकन स्पीड | तेज़ | तेज़, सक्रिय कंप्यूट लगभग समान |
| सबसे उपयुक्त | लंबा कॉन्टेक्स्ट, कम बजट | क्वालिटी-पहले वाले काम |
कोडिंग स्कोर आमने-सामने
कोडिंग में ज़्यादातर पाठकों की दिलचस्पी है, इसलिए सीधे कहता हूँ: दोनों में से Maverick साफ़ तौर पर बेहतर कोडर है।
LiveCodeBench के नतीजे
Meta के मॉडल कार्ड पर LiveCodeBench में Scout के लिए 32.8 और Maverick के लिए 43.4 लिखा है। यह मापा गया है अक्टूबर 2024 और फ़रवरी 2025 के बीच जारी हुए सवालों पर, zero-shot प्रॉम्प्टिंग के साथ। यह 10 अंक से ज़्यादा का अंतर है, जो इस तरह के बेंचमार्क के लिए बड़ा है। कुछ थर्ड-पार्टी तुलना साइटें Maverick को लगभग 39.7 पर दिखाती हैं, जो संभवतः अलग मूल्यांकन सेटअप का नतीजा है, न कि अलग मॉडल का।
असली काम के लिए इस संख्या का मतलब
LiveCodeBench प्रतियोगिता-शैली के सवालों की जाँच करता है: ऐसे स्व-निहित सवाल जिनका साफ़ सही जवाब होता है। रोज़मर्रा का इंजीनियरिंग काम इससे ज़्यादा उलझा होता है। आप अनजाने कोड को पढ़ते हैं, कई फ़ाइलें एडिट करते हैं, और अधूरी आवश्यकताओं से निपटते हैं। LiveCodeBench पर 43 स्कोर करने वाला मॉडल भी बड़े रीफ़ैक्टर में लड़खड़ा सकता है, और 32 स्कोर करने वाला मॉडल भी बढ़िया बॉयलरप्लेट, टेस्ट और छोटी यूटिलिटी लिख देगा।
💡 व्यावहारिक नियम: कोड समझाने, डॉकस्ट्रिंग लिखने, यूनिट टेस्ट बनाने और रिपॉज़िटरी का सारांश देने के लिए Scout का इस्तेमाल करें। जब पहली बार में सही लॉजिक चाहिए हो, तब Maverick लें।
रीज़निंग के स्कोर भी यही कहते हैं
यही अंतर GPQA Diamond पर दिखता है, जो ग्रेजुएट-स्तर के विज्ञान सवालों का सेट है: Scout के लिए 57.2 और Maverick के लिए 69.8। MMLU Pro पर, जो क्लासिक ज्ञान परीक्षा का कठिन संस्करण है, संख्याएँ 74.3 और 80.5 हैं। यहाँ तक कि प्री-ट्रेन्ड बेस मॉडल भी यही रुझान दिखाते हैं, MMLU Pro (5-shot) पर Scout के लिए 58.2 और Maverick के लिए 62.9।
| बेंचमार्क | Scout | Maverick | अंतर |
|---|
| LiveCodeBench | 32.8 | 43.4 | +10.6 |
| MMLU Pro | 74.3 | 80.5 | +6.2 |
| GPQA Diamond | 57.2 | 69.8 | +12.6 |
| MMLU Pro (बेस, 5-shot) | 58.2 | 62.9 | +4.7 |

बेंचमार्क को बिना धोखा खाए पढ़ें
मॉडल कार्ड पर संख्याएँ सुथरी लगती हैं। असली दुनिया वैसी नहीं है। किसी फ़ैसले में इनमें से कोई भी आँकड़ा उद्धृत करने से पहले कुछ बातें ध्यान में रखने लायक हैं।
LMArena विवाद
Llama 4 के लॉन्च पर Meta ने LMArena चैट लीडरबोर्ड पर एक मज़बूत रैंकिंग को प्रमुखता से दिखाया। बाद में सामने आया कि वहाँ जिस वर्ज़न की टेस्टिंग हुई थी, वह एक प्रायोगिक चैट-ट्यून्ड वेरिएंट था, न कि जनता के लिए उपलब्ध रिलीज़। समुदाय की प्रतिक्रिया तीखी थी और इसने लॉन्च की चमक फीकी कर दी। मॉडल कार्ड स्वयं विवाद में नहीं हैं, पर यह प्रकरण याद दिलाता है कि ऐसे बेंचमार्क पर भरोसा करें जिन्हें आप खुद दोहरा सकें।
मूल्यांकन की सेटिंग सब कुछ बदल देती है
एक ही मॉडल कुछ अंक अलग-अलग स्कोर कर सकता है, यह इन बातों पर निर्भर करता है:
- शॉट की संख्या: zero-shot बनाम five-shot प्रॉम्प्टिंग
- प्रॉम्प्ट टेम्पलेट: इस्तेमाल किए गए सटीक शब्द और फ़ॉर्मेटिंग
- तारीख़ की खिड़की: LiveCodeBench समय के साथ नए सवाल जोड़ता रहता है
- सैंपलिंग सेटिंग: टेम्परेचर, प्रयासों की संख्या, रीज़निंग बजट
इसीलिए आप Scout का MMLU Pro स्कोर एक जगह 74.3 और दूसरी जगह काफ़ी कम पाएँगे। संख्याओं की तुलना तभी करें जब वे एक ही सेटअप से आई हों।
कॉन्टेक्स्ट की लंबाई कॉन्टेक्स्ट की क्वालिटी नहीं है
10M विंडो एक इंजीनियरिंग उपलब्धि है, पर उस पूरी विंडो में रिट्रीवल की सटीकता काम के हिसाब से बदलती है। नीडल-इन-ए-हेस्टैक टेस्ट आसान मामला है। बिखरे तथ्यों के बीच रीज़निंग कठिन मामला है। लंबे कॉन्टेक्स्ट को एक ऐसी क्षमता मानें जिसे जाँचना है, मान ली गई बात नहीं।
आपके लिए कौन सा Llama 4 मॉडल सही है

Scout कब चुनें
- आप बहुत लंबे इनपुट के साथ काम करते हैं, जैसे पूरे कोडबेस, लंबी ट्रांसक्रिप्ट या दस्तावेज़ों के संग्रह
- आप ऐसा मॉडल चाहते हैं जिसे होस्ट करना हल्का हो और बड़े पैमाने पर चलाना सस्ता पड़े
- आपके काम समरीज़ेशन, ड्राफ़्टिंग, वर्गीकरण या सवाल-जवाब हैं
- स्पीड सटीकता के आख़िरी कुछ अंक निचोड़ने से ज़्यादा ज़रूरी है
Maverick कब चुनें
- आपको बेहतर कोड जनरेशन और लॉजिक चाहिए
- आप कठिन रीज़निंग, तकनीकी सवालों या मल्टी-स्टेप कामों से निपटते हैं
- आप इमेज और टेक्स्ट को साथ लेकर काम करते हैं और ऊँचा क्वालिटी स्तर चाहते हैं
- आउटपुट की क्वालिटी मेमोरी लागत से ज़्यादा मायने रखती है
नए विकल्पों पर भी विचार करें
Llama 4 अप्रैल 2025 में आया था, और यह क्षेत्र आगे बढ़ चुका है। अगर बेंचमार्क में सबसे आगे रहना आपकी प्राथमिकता है, तो PicassoIA पर नए विकल्प भी देखें। GPT 5.6 Sol कठिन कोडिंग कामों के लिए बना है, Claude Sonnet 5 एक मज़बूत कोडिंग असिस्टेंट है, Gemini 3.1 Pro लंबे, मल्टीमॉडल प्रॉम्प्ट संभालता है, और Deepseek v3.1 एक और ओपन-वेट शैली का मिक्स्चर ऑफ़ एक्सपर्ट्स विकल्प है जिसे आज़माना चाहिए। Llama 4 अपने ओपन वेट्स और लचीले लाइसेंस के लिए अब भी आकर्षक है, पर अब यह बातचीत में अकेला नाम नहीं है।
PicassoIA पर Llama 4 कैसे इस्तेमाल करें
दोनों मॉडल PicassoIA पर उपलब्ध हैं, इसलिए आप बिना कुछ इंस्टॉल किए अपनी तुलना खुद चला सकते हैं। यह जाँचने का सबसे तेज़ तरीका है कि बेंचमार्क का अंतर आपके काम के लिए मायने रखता है या नहीं।

चरण दर चरण
- मॉडल पेज खोलें। Llama 4 Scout Instruct या Llama 4 Maverick Instruct पर जाएँ।
- साफ़ प्रॉम्प्ट लिखें। काम, आपको चाहिए फ़ॉर्मेट और कोई भी शर्त बताएँ। कोड के लिए संबंधित फ़ंक्शन चिपकाएँ और अपेक्षित व्यवहार लिखें।
- पैरामीटर सेट करें। कोड और तथ्यों के लिए टेम्परेचर कम (लगभग 0.2 से 0.4) रखें, और क्रिएटिव ड्राफ़्टिंग के लिए बढ़ाएँ (0.7 से 0.9)।
- आउटपुट की लंबाई सीमित करें। जवाब केंद्रित और तेज़ रहें, इसके लिए समझदारी भरी अधिकतम टोकन संख्या सेट करें।
- चलाएँ और तुलना करें। दोनों मॉडल को एक ही प्रॉम्प्ट भेजें और आउटपुट साथ-साथ पढ़ें।
काम आने वाले पैरामीटर टिप्स
- फ़ॉर्मेट के बारे में साफ़-साफ़ बताएँ। "सिर्फ़ कोड, कोई स्पष्टीकरण नहीं" या "तीन कॉलम वाली टेबल" माँगें, दोनों मॉडल इसे अच्छी तरह मानते हैं।
- बड़े काम को चरणों में बाँटें। बड़े कॉन्टेक्स्ट के बावजूद, चरणबद्ध प्रॉम्प्ट एक ही विशाल अनुरोध से ज़्यादा भरोसेमंद नतीजे देता है।
- सिस्टम-शैली की शुरुआती पंक्ति इस्तेमाल करें। "आप एक सावधान वरिष्ठ रिव्यूअर हैं" जैसी छोटी भूमिका-निर्देश लहजे और सटीकता को कसता है।
- अपने डेटा पर जाँचें। कोई असली दस्तावेज़ या असली बग चिपकाएँ। आपका अपना नमूना किसी भी सार्वजनिक बेंचमार्क से बेहतर है।
💡 तेज़ तुलना टेस्ट: अपने प्रोजेक्ट का कोई मुश्किल बग लें, उसे दोनों मॉडल में चिपकाएँ और समझाने के साथ फ़िक्स माँगें। रीज़निंग की क्वालिटी का फ़र्क आमतौर पर पहले ही जवाब में दिख जाता है।
एक सरल वर्कफ़्लो
ड्राफ़्ट, सारांश और खोज के लिए Scout से शुरू करें, क्योंकि यह हल्का है। जब काम में सटीकता चाहिए, जैसे कोई उलझा एल्गोरिदम या सटीक दावों वाली तकनीकी रिपोर्ट, तब Maverick पर जाएँ। यह दो-स्तरीय तरीका बड़े मॉडल का ज़रूरत से ज़्यादा इस्तेमाल किए बिना क्वालिटी ऊँची रखता है।
संख्याओं पर अंतिम फ़ैसला
Scout और Maverick का सक्रिय साइज़ एक है, पर ये अलग-अलग औज़ार हैं। Scout 10M टोकन की सीमा वाला लंबे कॉन्टेक्स्ट का वर्कहॉर्स है, जिसकी होस्टिंग ज़रूरतें हल्की हैं और सामान्य स्कोर ठोस हैं। Maverick क्वालिटी का विकल्प है, जिसका कुल साइज़ 400B है, 128 एक्सपर्ट हैं, और LiveCodeBench (43.4 बनाम 32.8), MMLU Pro (80.5 बनाम 74.3) और GPQA Diamond (69.8 बनाम 57.2) पर साफ़ बढ़त है।

आज ही अपना बेंचमार्क चलाएँ
सबसे अच्छा बेंचमार्क वह है जो आपके अपने काम से बना हो। Llama 4 Scout Instruct और Llama 4 Maverick Instruct को Picasso IA पर दो टैब में खोलें, दोनों को एक ही असली प्रॉम्प्ट दें और देखें कि आप वास्तव में किस जवाब को इस्तेमाल करेंगे। फिर पूरे मॉडल कलेक्शन से कुछ नए मॉडल आज़माएँ, प्लेटफ़ॉर्म के जनरेटर से अपने टेक्स्ट को इमेज और वीडियो के साथ जोड़ें, और ऐसा वर्कफ़्लो बनाएँ जो आपके काम करने के तरीके में फ़िट हो। एक प्रॉम्प्ट से शुरू करें और नतीजों की तुलना खुद करें।