Llama 4 Scout Ollama: सेटिंग्स, काम न करने वाले फ़िक्स, Windows ऐप और विकल्प
Windows PC पर Ollama में Llama 4 Scout चलाने का मतलब है लगभग 60 GB या उससे ज़्यादा का डाउनलोड, एक कॉन्टेक्स्ट सेटिंग जो तय करती है कि मॉडल मेमोरी में फ़िट होगा या नहीं, और कुछ बार-बार आने वाली एरर। यहाँ सेटिंग्स, फ़िक्स और वे विकल्प हैं जब आपका हार्डवेयर साथ न दे।
आपने ollama run llama4:scout टाइप किया, एक छोटी गेम लाइब्रेरी जितने बड़े डाउनलोड का इंतज़ार किया, और फिर हर कुछ सेकंड में बस एक शब्द वाली धीमी आउटपुट मिली, या मेमोरी की एरर आई, या ऐसा मॉडल मिला जो दो मैसेज पहले कही बात भूल जाता है। इस मॉडल के साथ पहला अनुभव आम तौर पर ऐसा ही होता है, और इनमें से लगभग कुछ भी इस बात का संकेत नहीं कि कुछ टूटा है। Llama 4 Scout एक 109 बिलियन पैरामीटर वाला mixture of experts मॉडल है, और Ollama को इसे आपके पास मौजूद GPU और RAM में जैसे-तैसे फ़िट करना पड़ता है।
इस आर्टिकल में ज़रूरी सेटिंग्स, आम समस्याओं के फ़िक्स, Ollama Windows ऐप कैसे फ़िट होता है, और जब आपकी मशीन मॉडल को सँभाल ही न पाए तो क्या इस्तेमाल करें, यह बताया गया है।
💡 छोटा सार: Scout को उसके "17B active" लेबल से कहीं ज़्यादा मेमोरी चाहिए। कॉन्टेक्स्ट लेंथ यथार्थवादी रखें, ollama ps से जाँचें कि मॉडल आपके GPU पर है, और अगर आँकड़े काम न करें, तो हार्डवेयर से जूझने के बजाय होस्टेड वर्ज़न इस्तेमाल करें।
Llama 4 Scout असल में क्या है
Meta ने Llama 4 परिवार में Maverick के छोटे भाई के रूप में Scout जारी किया। लोग जो आँकड़े बताते हैं वे सही हैं, पर उन्हें गलत पढ़ना आसान है:
Spec
Llama 4 Scout
कुल पैरामीटर
लगभग 109 बिलियन
प्रति टोकन सक्रिय पैरामीटर
17 बिलियन
Experts
16
विज्ञापित कॉन्टेक्स्ट विंडो
10 मिलियन टोकन तक
डिफ़ॉल्ट Ollama टैग
llama4:scout (Q4_K_M quantization)
सामान्य डाउनलोड साइज़
स्रोत के आधार पर लगभग 60 से 67 GB
जाल "17B active" वाले आँकड़े में है। mixture of experts मॉडल में हर टोकन के लिए नेटवर्क का सिर्फ़ एक हिस्सा चलता है, इसलिए जब सब कुछ लोड हो तो जनरेशन तेज़ होती है। लेकिन सभी 109 बिलियन पैरामीटर फिर भी कहीं मेमोरी में रहने चाहिए। यानी 17B मॉडल की रफ़्तार के साथ 109B मॉडल का स्टोरेज खर्च आता है।
10 मिलियन टोकन वाला कॉन्टेक्स्ट आर्किटेक्चर की क्षमता है, यह कोई ऐसी चीज़ नहीं जिसे घर का PC इस्तेमाल कर सके। KV cache की मेमोरी हर कॉन्टेक्स्ट टोकन के साथ बढ़ती है, इसलिए भारी विंडो वज़न फ़िट होने पर भी VRAM खत्म कर सकती है।
इसे लोकली कौन चलाए
लोकल Scout तब समझदारी है जब आपके पास workstation GPU हो या ज़्यादा unified या system मेमोरी वाली मशीन हो, आपको प्रॉम्प्ट अपनी डिस्क पर ही रखने हों, या आप offline वर्कफ़्लो के साथ प्रयोग करना चाहते हों। अगर आपके पास सिर्फ़ 8 GB या 12 GB का गेमिंग कार्ड है, तो CPU पर आंशिक ऑफ़लोडिंग और धीमी आउटपुट की उम्मीद रखें।
हार्डवेयर की असली तस्वीर
तीसरे पक्ष की गाइड्स क्वांटाइज़्ड मॉडल के लिए व्यावहारिक न्यूनतम लगभग 24 GB VRAM बताती हैं, और पूरा Q4_K_M बिल्ड आराम से चलाने के लिए लगभग 70 GB की संयुक्त मेमोरी चाहता है। इन्हें मोटे लक्ष्य मानें, गारंटी नहीं।
आपका सेटअप
क्या उम्मीद करें
8 से 12 GB GPU, 32 GB RAM
ज़्यादातर लेयर CPU पर, बहुत धीमा, शायद लोड ही न हो
24 GB GPU, 64 GB RAM
आंशिक ऑफ़लोड के साथ चलता है, छोटी चैट के लिए उपयोगी
48 GB या उससे ज़्यादा GPU मेमोरी
ज़्यादातर या पूरी तरह GPU पर, अच्छी रफ़्तार
64 GB या उससे ज़्यादा वाली unified memory मशीन
अच्छी तरह चलता है, रफ़्तार memory bandwidth पर निर्भर करती है
आपको डिस्क स्पेस भी चाहिए। Ollama मॉडल फ़ाइलें डिफ़ॉल्ट रूप से आपकी user profile के अंतर्गत रखता है, और लगभग भरी हुई system drive पर 60+ GB का डाउनलोड अक्सर pull फ़ेल होने की वजह बनता है।
💡 त्वरित जाँच: शुरू करने से पहले उस drive पर लगभग 80 GB खाली रखें जिसमें आपका Ollama मॉडल फ़ोल्डर है। इसमें मॉडल और अस्थायी डाउनलोड डेटा दोनों आ जाते हैं।
Windows पर इंस्टॉल और चलाना
Ollama Windows 10 और 11 पर नेटिव रूप से चलता है। Ollama वेबसाइट से installer डाउनलोड करें, उसे चलाएँ, और ऐप system tray में शुरू हो जाएगा। WSL सेटअप की ज़रूरत नहीं है।
मॉडल pull करें और चलाएँ
PowerShell या Windows Terminal खोलें और चलाएँ:
ollama pull llama4:scout
ollama run llama4:scout
पहला कमांड weights डाउनलोड करता है। दूसरा एक इंटरैक्टिव चैट खोलता है। अगर आप बड़े डाउनलोड से पहले बस यह जाँचना चाहते हैं कि इंस्टॉल ठीक है, तो पहले कोई छोटा मॉडल pull करें, फिर Scout पर लौटें।
जाँचें कि मॉडल कहाँ है
मॉडल जवाब देने के तुरंत बाद चलाएँ:
ollama ps
PROCESSOR कॉलम देखें। "100% GPU" वही है जो आप चाहते हैं। "40%/60% CPU/GPU" जैसा split बताता है कि मॉडल का कुछ हिस्सा processor पर चल रहा है, और यही धीमी आउटपुट की वजह है। अकेला यह एक कमांड किसी भी दूसरी चीज़ से ज़्यादा शिकायतों की जाँच कर देता है।
वे सेटिंग्स जो मायने रखती हैं
कॉन्टेक्स्ट लेंथ
यही वह सेटिंग है जो ज़्यादातर लोग गलत करते हैं। Ollama VRAM के आधार पर डिफ़ॉल्ट कॉन्टेक्स्ट साइज़ चुनता है: 24 GiB से कम VRAM पर यह लगभग 4k टोकन होता है, और 24 से 48 GiB के बीच लगभग 32k पर जाता है। 4k विंडो का मतलब है कि लंबे दस्तावेज़ कट जाते हैं और मॉडल पहले के मैसेज "भूलता" दिखता है।
Environment variable। सर्वर शुरू होने से पहले OLLAMA_CONTEXT_LENGTH को 16384 जैसी कोई वैल्यू दें।
प्रति सेशन।ollama run के अंदर /set parameter num_ctx 16384 टाइप करें।
हर बढ़ोतरी मेमोरी लेती है। विंडो दोगुनी करने से KV cache लगभग दोगुना हो जाता है, इसलिए इसे धीरे-धीरे बढ़ाएँ और हर बदलाव के बाद ollama ps देखें।
Windows पर Environment variables सेट करना
system tray से Ollama बंद करें।
Settings खोलें, "environment variables" खोजें, और अपने account के लिए editor खोलें।
एक नया user variable जोड़ें, जैसे OLLAMA_CONTEXT_LENGTH जिसकी वैल्यू 16384 हो।
OK पर क्लिक करें और Start menu से Ollama फिर शुरू करें।
अगर आपने variable सेट किया और कुछ नहीं बदला, तो आम कारण यह है कि Ollama tray में चलता रहा और उसने environment दोबारा नहीं पढ़ा।
जानने लायक सेटिंग्स
सेटिंग
यह क्या करती है
कब बदलें
OLLAMA_CONTEXT_LENGTH
सभी मॉडल के लिए डिफ़ॉल्ट कॉन्टेक्स्ट
लंबे दस्तावेज़, लंबी चैट
OLLAMA_KEEP_ALIVE
मॉडल कितनी देर लोड रहता है
बहुत बड़े मॉडल के धीमे रीलोड से बचने के लिए ऊँचा रखें
OLLAMA_MODELS
वह फ़ोल्डर जहाँ मॉडल रखे जाते हैं
60+ GB फ़ाइलों को बड़ी drive पर ले जाएँ
OLLAMA_FLASH_ATTENTION
मेमोरी-अनुकूल attention
जब कॉन्टेक्स्ट VRAM सीमा से ऊपर धकेले तब आज़माएँ
OLLAMA_KV_CACHE_TYPE
KV cache को संपीड़ित करता है (जैसे q8_0)
उसी मेमोरी में ज़्यादा कॉन्टेक्स्ट भरें
temperature (Modelfile)
आउटपुट की रैंडमनेस
तथ्यों और कोड के लिए कम, लेखन के लिए ज़्यादा
एक कस्टम Modelfile आपकी पसंद सेव कर देती है:
FROM llama4:scout
PARAMETER num_ctx 16384
PARAMETER temperature 0.4
फिर ollama create scout-16k -f Modelfile चलाएँ और इसे ollama run scout-16k के साथ शुरू करें।
काम नहीं कर रहा? लक्षण के हिसाब से फ़िक्स
डाउनलोड फ़ेल होता है या रुक जाता है
मॉडल ड्राइव पर खाली डिस्क स्पेस जाँचें। डिस्क भरते ही 60+ GB का pull चुपचाप मर जाता है।
ollama pull llama4:scout फिर से चलाएँ। Pull दोबारा शुरू से नहीं, बल्कि जहाँ रुका था वहीं से चलता है।
कॉरपोरेट या स्कूल नेटवर्क पर proxy या filter बड़े डाउनलोड में रुकावट डाल सकते हैं। कोई दूसरा कनेक्शन आज़माएँ।
जाँचें कि आपका Ollama वर्ज़न नया है। नए मॉडल आर्किटेक्चर को नए runtime की ज़रूरत होती है, और पुराना इंस्टॉल वह टैग पहचान नहीं सकता।
"Model Requires More System Memory"
यह Ollama का बताना है कि weights और कॉन्टेक्स्ट मिलकर फ़िट नहीं होते। आपके विकल्प हैं, सबसे आसान से सबसे मुश्किल तक:
num_ctx को 4096 पर लाएँ और फिर कोशिश करें।
ब्राउज़र और दूसरे ऐप बंद करें जो RAM और VRAM घेरे हुए हैं।
Windows page file बढ़ाएँ ताकि overflow के लिए जगह हो, यह जानते हुए कि यह धीमा होगा।
RAM बढ़ाएँ, या कोई छोटा मॉडल चुनें।
चलता है पर बेहद धीमा है
ollama ps चलाएँ। अगर मॉडल CPU और GPU में बँटा है, तो जवाब यही है। लेयर system RAM में जाते ही रफ़्तार तेज़ी से गिरती है, क्योंकि CPU का रास्ता VRAM से कहीं कम bandwidth वाला है। कॉन्टेक्स्ट लेंथ घटाएँ, flash attention चालू करें, या मान लें कि इस हार्डवेयर के लिए कोई छोटा मॉडल बेहतर रहेगा।
बातचीत भूल जाता है
यह फिर से 4k डिफ़ॉल्ट विंडो है। ऊपर बताए अनुसार num_ctx बढ़ाएँ और एक लंबे प्रॉम्प्ट से जाँचें। अगर लंबा दस्तावेज़ चुपचाप कट रहा है, तो विंडो अब भी उसके लिए छोटी है।
GPU की जगह CPU इस्तेमाल करता है
अपना graphics driver अपडेट करें। पुराने driver एक आम वजह हैं।
पक्का करें कि कोई दूसरा प्रोग्राम GPU मेमोरी नहीं घेर रहा। गेम, वीडियो एडिटर और hardware acceleration वाले ब्राउज़र टैब सब अपना हिस्सा लेते हैं।
tray से Ollama फिर शुरू करें ताकि वह कार्ड दोबारा पहचाने।
अगर आपके पास integrated और dedicated दोनों GPU हैं, तो जाँचें कि Windows प्रोसेस को कमज़ोर GPU पर न भेज रहा हो।
ऐप खुलता है पर कुछ जवाब नहीं देता
tray से Ollama बंद करें, Task Manager में देखें कि कोई भटका हुआ ollama process बाकी न हो, फिर उसे दोबारा शुरू करें। अगर कोई दूसरा प्रोग्राम पहले से डिफ़ॉल्ट port इस्तेमाल कर रहा है, तो OLLAMA_HOST से उसे बदलें, जैसे 127.0.0.1:11500।
💡 मोटा नियम: जब कुछ गड़बड़ करे, तो एक समय में एक सेटिंग बदलें और हर बदलाव के बाद ollama ps जाँचें। एक साथ तीन चीज़ें बदलने से कारण छिप जाता है।
Windows ऐप बनाम टर्मिनल
Ollama Windows ऐप एक सरल चैट विंडो, मॉडल पिकर और कॉन्टेक्स्ट स्लाइडर वाला सेटिंग्स पैनल देता है, साथ ही वह background server भी जिससे दूसरे टूल बात करते हैं। अगर आपको command lines पसंद नहीं, तो Scout इस्तेमाल करने का यह सबसे आसान तरीका है।
फ़ीचर
Windows ऐप
टर्मिनल
चैट इंटरफ़ेस
हाँ
बेसिक टेक्स्ट
कॉन्टेक्स्ट स्लाइडर
हाँ
num_ctx या environment variable इस्तेमाल करें
कस्टम Modelfiles
नहीं
हाँ
Scripting और automation
सीमित
पूरा
Diagnostics (ollama ps, logs)
सीमित
पूरा
ज़्यादातर लोग दोनों इस्तेमाल करते हैं: आम चैट के लिए ऐप, और समस्या-निवारण के लिए टर्मिनल। आप जो भी इस्तेमाल करें, background server एक लोकल API भी देता है, इसलिए editors और तीसरे पक्ष के चैट front ends उससे जुड़ सकते हैं।
💡 टिप: अगर आपने environment variable सेट किया और ऐप का स्लाइडर कोई अलग वैल्यू दिखाता है, तो ऐप के अंदर शुरू हुई चैट के लिए स्लाइडर ही मान्य होता है। कॉन्टेक्स्ट प्रबंधित करने के लिए एक जगह चुनें और उसी पर टिके रहें।
जब लोकल सही विकल्प नहीं है
ट्रेड-ऑफ़ के बारे में ईमानदार रहें। एक बड़ा लोकल मॉडल आपको प्राइवेसी और हर मैसेज पर कोई लागत नहीं देता, लेकिन इसके बदले आप डिस्क स्पेस, बिजली, सेटअप का समय और धैर्य देते हैं। अगर इनमें से कोई भी बात आप पर लागू होती है, तो लोकल रास्ता छोड़ दें:
आपके पास 24 GB से कम VRAM और 64 GB से कम RAM है।
आपको लेखन, सारांश या कोड के लिए तेज़ जवाब चाहिए, वीकेंड प्रोजेक्ट नहीं।
आप कई डिवाइसों के बीच बदलते हैं, जिसमें ऐसा लैपटॉप भी शामिल है जो मॉडल नहीं रख सकता।
आप driver, runtime और 60 GB मॉडल फ़ोल्डर को संभालना नहीं चाहते।
दोनों तरीकों से मॉडल एक ही परिवार का है। इसे कहीं और होस्ट करने से बस यह बदलता है कि 109 बिलियन पैरामीटर कहाँ रहते हैं।
एक नज़र में मेमोरी का गणित
मोटी योजना ऐसे काम करती है: weights (डिफ़ॉल्ट quantization के लिए लगभग 60 से 67 GB) plus KV cache (कॉन्टेक्स्ट के साथ बढ़ता है) plus overhead runtime और ऑपरेटिंग सिस्टम के लिए। अगर यह कुल योग आपके VRAM से बड़ा है, तो बाकी system RAM में जाता है, और इस सीढ़ी के हर पायदान पर रफ़्तार घटती है। अगर कुल योग VRAM plus RAM से भी बड़ा है, तो मॉडल बिल्कुल लोड नहीं होगा।
PicassoIA पर Llama 4 Scout Instruct कैसे इस्तेमाल करें
अगर आप डाउनलोड के बिना Scout चाहते हैं, तो Llama 4 Scout Instruct PicassoIA पर उपलब्ध है और ब्राउज़र में चलता है। कोई installer नहीं, कोई driver जाँच नहीं और VRAM के हिसाब से ट्यून करने के लिए कोई कॉन्टेक्स्ट सेटिंग नहीं।
इनपुट बॉक्स में अपना प्रॉम्प्ट लिखें। फ़ॉर्मेट, लंबाई और ऑडियंस के बारे में साफ़-साफ़ बताएँ।
पेज पर दिखाई दे रही जनरेशन सेटिंग्स समायोजित करें। कम temperature (लगभग 0.2 से 0.5) तथ्यों, कोड और सारांशों के लिए ठीक है, जबकि ज़्यादा वैल्यू (0.7 से 1.0) ब्रेनस्टॉर्मिंग और रचनात्मक लेखन के लिए।
जवाब के लिए समझदारी भरी maximum length सेट करें ताकि आप ऐसे टेक्स्ट का इंतज़ार न करें जो आप इस्तेमाल ही नहीं करेंगे।
प्रॉम्प्ट चलाएँ, नतीजा पढ़ें और सुधारें। "shorter" या "as a table" जैसे छोटे फ़ॉलो-अप निर्देश अच्छा काम करते हैं।
प्रॉम्प्ट टिप्स
मॉडल को एक भूमिका और एक लक्ष्य दें: "एक तकनीकी संपादक की तरह काम करें। इस पैराग्राफ़ को शुरुआती पाठक के लिए दोबारा लिखें।"
स्रोत टेक्स्ट सीधे पेस्ट करें, फिर अपना वांछित आउटपुट फ़ॉर्मेट माँगें।
लंबे काम को चरणों में बाँटें: पहले outline, फिर draft, फिर polish।
💡 काम की तरकीब: वही प्रॉम्प्ट होस्टेड Scout पर और अपने लोकल Ollama सेटअप पर चलाएँ। अगर गुणवत्ता में जवाब मेल खाते हैं, तो आप जान जाएँगे कि आपकी लोकल सेटिंग्स सही हैं।
आज़माने लायक विकल्प
अगर Scout बहुत भारी है या आपके लिए सही नहीं है, तो PicassoIA के ये मॉडल ज़्यादातर वही काम कर लेते हैं:
लोकल इस्तेमाल के लिए, मामूली हार्डवेयर पर Ollama में छोटे मॉडल ही व्यावहारिक रास्ता हैं। 7B से 14B रेंज का कोई भी मॉडल मिड-रेंज GPU पर जल्दी लोड होता है, रोज़ की चैट सँभालता है, और ऊपर बताई गई हर मेमोरी समस्या से बचाता है। बदले में लंबे और जटिल कामों पर गुणवत्ता कम होती है।
कौन सा चुनें
प्राइवेसी सबसे ज़रूरी है: Ollama में कोई छोटा मॉडल लोकली चलाएँ।
गुणवत्ता सबसे ज़रूरी है और आपका हार्डवेयर मामूली है: होस्टेड मॉडल इस्तेमाल करें।
आपको रीज़निंग चाहिए: Deepseek R1 आज़माएँ।
आप इमेज और टेक्स्ट दोनों के साथ काम करते हैं: Qwen3.7-Plus आज़माएँ।
त्वरित फ़िक्स चेकलिस्ट
लोकल Scout सेटअप से हार मानने से पहले इस सूची से गुज़र लें:
कम से कम 80 GB डिस्क स्पेस खाली करें।
Ollama और अपना graphics driver अपडेट करें।
tray से Ollama बंद करें और फिर शुरू करें।
ollama ps चलाएँ और PROCESSOR कॉलम पढ़ें।
num_ctx को 4096 पर लाएँ, फिर धीरे-धीरे बढ़ाएँ।
VRAM इस्तेमाल करने वाले ऐप बंद करें।
OLLAMA_FLASH_ATTENTION और संपीड़ित KV cache आज़माएँ।
यह जाँचने के लिए छोटे मॉडल से तुलना करें कि इंस्टॉल खुद ठीक है।
सेटअप के बिना आज़माएँ
अगर आप कॉन्टेक्स्ट लेंथ ट्यून करने के बजाय लिखने, कोडिंग और विचार परखने में समय लगाना चाहते हैं, तो PicassoIA पर Llama 4 Scout Instruct खोलें और एक मिनट में अपना पहला प्रॉम्प्ट चलाएँ। उसी काम पर इसकी तुलना Deepseek V3.1 और Llama 4 Maverick Instruct से करें, और जो सबसे अच्छे जवाब दे, उसे रखें। जब आप टेक्स्ट से आगे जाना चाहें, तो PicassoIA इमेज जनरेशन, वीडियो, speech और music मॉडल भी देता है, और इन सबको picassoia.com/en/all-models पर देख सकते हैं।