आप क्लाउड चैटबॉट में एक पूरी तरह उचित सवाल टाइप करते हैं और जवाब की जगह एक विनम्र उपदेश मिलता है। हो सकता है आप किसी कठोर अपराध-दृश्य का ड्राफ़्ट लिख रहे हों, अपने ही नेटवर्क की जाँच कर रहे हों, या कोई सीधा मेडिकल सवाल पूछ रहे हों। यह सबके साथ होता है, और यही मुख्य वजह है कि बिना प्रतिबंध वाला लोकल AI इतनी तेज़ी से लोकप्रिय हुआ है: आप ओपन वेट्स डाउनलोड करते हैं, उन्हें अपनी मशीन पर चलाते हैं, और नियम खुद तय करते हैं।
मुश्किल यह है कि "मुफ़्त और अनसेंसर्ड" सुनने में जितना सरल लगता है, उतना है नहीं। कौन-सा मॉडल? कौन-सा ऐप? क्या आपका PC उसे लोड भी कर पाएगा? यह लेख तीनों सवालों का जवाब असली आँकड़ों, ईमानदार ट्रेड-ऑफ़ और लगभग बीस मिनट में पूरे होने वाले सेटअप के साथ देता है।
💡 त्वरित जवाब: 4-बिट फ़ॉर्म में एक 8B मॉडल को लगभग 5 से 6 GB VRAM चाहिए, यह पिछले कुछ सालों के ज़्यादातर गेमिंग लैपटॉप पर चल जाता है, और लगभग हर किसी के लिए पहला डाउनलोड यही सबसे अच्छा है।
"अनसेंसर्ड" का असल मतलब क्या है
यह शब्द ढीले-ढाले ढंग से इस्तेमाल होता है, इसलिए इसे साफ़ कर लेते हैं। अनसेंसर्ड लोकल मॉडल एक ओपन-वेट लैंग्वेज मॉडल है जिसके इनकार करने के व्यवहार को या तो अतिरिक्त फाइन-ट्यूनिंग से कम किया गया है या फिर उन आंतरिक दिशाओं को बदलकर हटाया गया है जो इनकार को ट्रिगर करती हैं। यह बिना हिचकिचाए, नैतिक उपदेश दिए या बातचीत बंद किए ज़्यादा सवालों के जवाब देगा।
इसका मतलब यह नहीं है कि मॉडल ज़्यादा समझदार, ज़्यादा सच्चा या पूर्वाग्रह से मुक्त है। इसका मतलब सिर्फ़ इतना है कि "मैं इसमें मदद नहीं कर सकता" जैसे जवाब कम मिलते हैं।

लोग लोकल क्यों जाते हैं
इसके कारण उतने रहस्यमय नहीं हैं जितनी इसकी साख बताती है:
- फ़िक्शन लेखक जिन्हें खलनायक, हिंसा या गहरे विषय बिना लगातार डिस्क्लेमर के लिखने हैं।
- सिक्योरिटी के शौकीन जो अपने लैब सेटअप और CTF चुनौतियों पर बात करना चाहते हैं।
- गोपनीयता को महत्व देने वाले उपयोगकर्ता जो निजी दस्तावेज़, स्वास्थ्य संबंधी सवाल या ड्राफ़्ट किसी कंपनी के सर्वर पर नहीं भेजना चाहते।
- टिंकरर्स जिन्हें बस वेट्स से लेकर प्रॉम्प्ट तक टूल्स का पूरा सेट अपने पास रखना अच्छा लगता है।
- यात्री और रिमोट वर्कर जिन्हें बिना इंटरनेट कनेक्शन के काम करने वाला चैटबॉट चाहिए।
गोपनीयता सबसे मज़बूत तर्क है। जब मॉडल आपके अपने हार्डवेयर पर चलता है, तो आपके प्रॉम्प्ट कभी मशीन से बाहर नहीं जाते। कोई अकाउंट नहीं होता, कोई विक्रेता चैट हिस्ट्री स्टोर नहीं करता, और कोई उपयोग सीमा नहीं होती।
किन चीज़ों पर कोई समझौता नहीं
किसी मॉडल को लोकल पर चलाने से आपके यहाँ का कानून नहीं बदल जाता। जिस कंटेंट को बनाना या अपने पास रखना गैरकानूनी है, वह गैरकानूनी ही रहता है, चाहे उसे किसी भी सॉफ़्टवेयर ने बनाया हो। बिना फ़िल्टर वाले मॉडल में आत्मविश्वास से कही गई बेतुकी बातों को रोकने के लिए कोई बिल्ट-इन ब्रेक भी नहीं होता। इसलिए मेडिकल, कानूनी और वित्तीय जवाबों को किसी इंसानी विशेषज्ञ से जाँचना फिर भी ज़रूरी है।
डाउनलोड करने लायक मुफ़्त मॉडल
ओपन-वेट मॉडल फ़ाइलों के रूप में साझा किए जाते हैं, आमतौर पर कॉम्पैक्ट GGUF फ़ॉर्मैट में, जिसे Ollama और LM Studio जैसे ऐप्स सीधे लोड कर लेते हैं। नाम तेज़ी से बदलते हैं और कम्युनिटी फ़ाइन-ट्यून हर हफ़्ते आते हैं, इसलिए नीचे की सूची को तय रैंकिंग नहीं, बल्कि मॉडल परिवारों का नक्शा समझें।

Dolphin और Hermes फ़ाइन-ट्यून
Dolphin, जिसे Eric Hartford ने बनाया, शायद कम-इनकार वाले फ़ाइन-ट्यून का सबसे प्रसिद्ध परिवार है। यह Llama, Mistral और Qwen बेस पर जारी हुआ है, और कम्युनिटी के डाउनलोड आँकड़े इसे अनसेंसर्ड श्रेणी में शीर्ष के आसपास बनाए रखते हैं। Nous Hermes मॉडल भी इसी तरह का तरीका अपनाते हैं: मज़बूत निर्देश-पालन, तटस्थ लहज़ा और आधिकारिक चैट वर्ज़न से कहीं कम इनकार।
जब आपको एक ऐसा सामान्य-उद्देश्य सहायक चाहिए जो शायद ही कभी मना करे, तब इन्हें आज़माएँ।
Abliterated मॉडल समझें
"Abliterated" मॉडल एक अलग तरकीब इस्तेमाल करते हैं। नए डेटा पर दोबारा ट्रेनिंग देने के बजाय, मॉडल प्रकाशित करने वाला व्यक्ति उस आंतरिक दिशा की पहचान करता है जो इनकार से जुड़ी है और उसे हटा देता है। नतीजा यह कि मूल मॉडल की ज़्यादातर क्षमता बनी रहती है, जबकि मना करने की आदत खत्म हो जाती है।
इन ट्रेड-ऑफ़ के लिए तैयार रहें:
- कुछ बेंचमार्क पर मूल रिलीज़ की तुलना में थोड़ी कम सटीकता।
- कभी-कभार अजीब या बिखरे हुए जवाब, क्योंकि बदलाव मोटे तरीके से किया गया है।
- बहुत तेज़ तैयारी: नए बेस मॉडलों का abliterated वर्ज़न अक्सर कुछ ही दिनों में आ जाता है।
Lexi, Llama 3.1 8B Instruct का एक अनसेंसर्ड वर्ज़न है, और लैपटॉप के लिए यह एक लोकप्रिय उदाहरण है, जिसकी GGUF फ़ाइलें LM Studio में आसानी से लोड हो जाती हैं।
तुलना के लिए होस्टेड मॉडल
20 GB डाउनलोड करने में एक शाम लगाने से पहले यह जानना मददगार है कि कोई मॉडल परिवार कैसा महसूस होता है। PicassoIA पर कई ओपन-वेट मॉडल हैं जिन्हें आप बिना इंस्टॉल किए ब्राउज़र में आज़मा सकते हैं:
⚠️ होस्टेड मॉडल अपने प्रकाशक का सेफ़्टी व्यवहार बनाए रखते हैं। ये लेखन शैली, गति और रीज़निंग परखने का तरीका हैं, किसी लोकल, बिना फ़िल्टर वाले फ़ाइन-ट्यून का विकल्प नहीं।
यहाँ उन परिवारों की एक त्वरित तुलना है जिनके बीच लोग आमतौर पर चुनते हैं:
| परिवार | आम साइज़ | ताकत | इनकार का स्तर (स्टॉक) |
|---|
| Llama 3.x / 4 फ़ाइन-ट्यून | 8B से 70B | सबसे अच्छा सर्वांगीण, विशाल कम्युनिटी | मध्यम |
| Mistral फ़ाइन-ट्यून | 7B से 24B | तेज़, हल्के, रोलप्ले के लिए अच्छे | कम से मध्यम |
| Qwen फ़ाइन-ट्यून | 7B से 32B | कोड और बहुभाषी कामों में मज़बूत | मध्यम |
| Dolphin और Hermes | 7B से 70B | निर्देश-पालन, तटस्थ लहज़ा | बहुत कम |
| Abliterated रिलीज़ | कोई भी | मूल क्षमता, कम इनकार | बहुत कम |
वे ऐप्स जो इन्हें चलाते हैं
मॉडल सेटअप का सिर्फ़ आधा हिस्सा है। आपको एक रनर भी चाहिए, जो फ़ाइल लोड करता है, आपके GPU को संभालता है और आपको चैट विंडो देता है। लगभग सभी इसके नीचे ओपन-सोर्स llama.cpp इंजन पर निर्भर रहते हैं, इसलिए परफ़ॉर्मेंस लगभग एक-सी रहती है और चुनाव बस पसंद का मामला रह जाता है।

टर्मिनल पसंद करने वालों के लिए Ollama
Ollama Windows, macOS और Linux पर एक ही चरण में इंस्टॉल हो जाता है। आप एक कमांड टाइप करते हैं, वह मॉडल डाउनलोड करता है और आपको सीधे चैट में पहुँचा देता है। यह एक लोकल API भी देता है, यानी दूसरे ऐप्स इससे बात कर सकते हैं। अगर आपको सरल टूल पसंद हैं जो आपके रास्ते में न आएँ, तो यहीं से शुरू करें।
पॉइंट और क्लिक के लिए LM Studio
LM Studio शुरुआती लोगों के लिए सबसे दोस्ताना विकल्प है। इसमें अंतर्निहित मॉडल ब्राउज़र है, डाउनलोड से पहले दिखाता है कि हर फ़ाइल को कितनी मेमोरी चाहिए, और स्लाइडर खींचकर तय करने देता है कि कितनी लेयर GPU पर जाएँ। चैट हिस्ट्री, सिस्टम प्रॉम्प्ट और प्रीसेट, सब एक ही विंडो में रहते हैं।
Jan, GPT4All और KoboldCpp
- Jan: साफ़ चैट इंटरफ़ेस और लोकल सर्वर मोड वाला एक ओपन-सोर्स डेस्कटॉप ऐप।
- GPT4All: बहुत हल्का, पुराने लैपटॉप और ऑफ़लाइन उपयोग के लिए अच्छा।
- KoboldCpp: बिना इंस्टॉल वाली एक ही एक्ज़ीक्यूटेबल फ़ाइल, जो कहानी-केंद्रित फ़ीचर्स के कारण फ़िक्शन और रोलप्ले लेखकों में लोकप्रिय है।
- Open WebUI: एक ब्राउज़र फ़्रंट एंड जो Ollama के ऊपर बैठता है और मल्टी-यूज़र अकाउंट, दस्तावेज़ अपलोड और ज़्यादा परिचित चैट लेआउट जोड़ता है।
| ऐप | कठिनाई | सबसे अच्छा किसके लिए | ऑफ़लाइन चलता है |
|---|
| Ollama | आसान | डेवलपर, त्वरित परीक्षण | हाँ |
| LM Studio | बहुत आसान | पहली बार उपयोग करने वाले | हाँ |
| Jan | आसान | साफ़ डेस्कटॉप चैट | हाँ |
| GPT4All | बहुत आसान | पुराने या कमज़ोर PC | हाँ |
| KoboldCpp | मध्यम | लंबी कहानियाँ, रोलप्ले | हाँ |
मॉडल साइज़ के अनुसार PC आवश्यकताएँ
यहीं ज़्यादातर लोग अटकते हैं, इसलिए सरल रूप यह है। मॉडल की फ़ाइल साइज़ पैरामीटर की संख्या (8B में "B") पर निर्भर करती है और इस पर कि उसे कितना क्वांटाइज़ किया गया है, यानी कितना संकुचित। सबसे आम विकल्प, Q4, प्रति अरब पैरामीटर लगभग आधा GB लेता है, साथ में बातचीत के लिए अतिरिक्त मेमोरी।

VRAM का अनुमानित नियम
पैरामीटर संख्या लें, लगभग 0.6 से गुणा करें, और संदर्भ (context) के लिए 1 से 2 GB अतिरिक्त जोड़ें। अगर पूरा मॉडल ग्राफ़िक्स कार्ड पर रहना चाहिए, तो यह आपको चाहिए VRAM देता है। स्रोतों में थोड़ा अंतर है, लेकिन ये आँकड़े योजना बनाने के लिए सुरक्षित सीमा हैं:
| मॉडल साइज़ | Q4 फ़ाइल साइज़ | चाहिए VRAM | सिस्टम RAM | उदाहरण हार्डवेयर |
|---|
| 3B | लगभग 2 GB | 4 GB | 8 GB | पतला लैपटॉप, पुराना GPU |
| 7B से 8B | 4.5 से 5 GB | 6 से 8 GB | 16 GB | RTX 3060, RTX 4060 लैपटॉप |
| 13B से 14B | 8 से 9 GB | 10 से 12 GB | 16 से 32 GB | RTX 3060 12 GB, RTX 4070 |
| 24B से 32B | 15 से 20 GB | 20 से 24 GB | 32 GB | RTX 3090, RTX 4090 |
| 70B | लगभग 40 GB | 40 GB या उससे ज़्यादा | 64 GB | दो GPU या एक बड़ा Mac |
💡 अगर कोई मॉडल VRAM में फ़िट नहीं होता, तो ऐप उसे बाँट सकते हैं: कुछ लेयर GPU पर, बाकी सिस्टम RAM में। यह काम करता है, लेकिन गति काफ़ी गिरने की उम्मीद रखें।

GPU, केवल CPU और Apple Silicon
- NVIDIA GPU व्यापक ड्राइवर और CUDA सपोर्ट के कारण सबसे आसान रास्ता हैं। इस काम में VRAM कच्ची गति से ज़्यादा मायने रखता है: 12 GB वाला कार्ड आम तौर पर तेज़ 8 GB कार्ड से बेहतर प्रदर्शन करता है।
- AMD GPU ज़्यादातर ऐप्स में चलते हैं, हालाँकि कुछ सिस्टम पर सेटअप में एक अतिरिक्त कदम लग सकता है।
- केवल CPU छोटे मॉडलों के साथ संभव है। 7B मॉडल पर प्रति सेकंड कुछ ही शब्दों की उम्मीद रखें, जो धीरज वाले उपयोग के लिए ठीक है और लंबे जवाबों के लिए तकलीफ़देह।
- Apple Silicon Mac CPU और GPU के बीच मेमोरी साझा करते हैं, इसलिए 32 GB यूनिफ़ाइड मेमोरी वाला Mac ऐसे मॉडल लोड कर सकता है जिनके लिए PC पर 24 GB ग्राफ़िक्स कार्ड चाहिए।
आपको डिस्क स्पेस की भी ज़रूरत है। अगर आप कई मॉडल आज़माने की योजना बना रहे हैं तो 50 GB खाली रखें, और SSD लोडिंग को हार्ड ड्राइव से कहीं तेज़ बना देता है।

जिस गति की उम्मीद कर सकते हैं
मोटे तौर पर, मिड-रेंज ग्राफ़िक्स कार्ड पर 7B या 8B मॉडल प्रति सेकंड 30 से 60 टोकन देता है, जो ज़्यादातर लोगों की पढ़ने की गति से तेज़ है। 24 GB कार्ड पर 32B मॉडल 15 से 30 के आसपास रहता है। GPU और RAM में बँटा 70B मॉडल 1 से 3 टोकन प्रति सेकंड पर रेंग सकता है।
अपनी पहली चैट सेट करें
यहाँ LM Studio को उदाहरण मानकर, शून्य से एक काम करने वाले लोकल चैटबॉट तक का सबसे छोटा रास्ता है। Ollama भी इसी तर्क पर चलता है।

चरण-दर-चरण
- अपने ग्राफ़िक्स ड्राइवर अपडेट करें। पुराने ड्राइवर "मॉडल लोड नहीं होता" एरर का सबसे बड़ा कारण हैं।
- ऐप इंस्टॉल करें। LM Studio या Ollama उनकी आधिकारिक साइट से डाउनलोड करें और इंस्टॉलर चलाएँ।
- एक साइज़ चुनें। Task Manager (Performance टैब, GPU) में अपना VRAM देखें और ऊपर की तालिका से ऐसा मॉडल चुनें जो फ़िट हो।
- मॉडल खोजें। Dolphin, Hermes या Lexi जैसा परिवार का नाम टाइप करें, और एक Q4_K_M फ़ाइल चुनें। यह क्वांट साइज़ और क्वालिटी के बीच का आम संतुलन है।
- उसे लोड करें। GPU offload को अधिकतम पर सेट करें। अगर out-of-memory एरर आए, तो लेयर की संख्या घटाएँ।
- सिस्टम प्रॉम्प्ट लिखें। मॉडल को बताएँ कि वह कौन है और आपको कैसा लहज़ा चाहिए। कम-इनकार वाले मॉडल स्पष्ट भूमिका पर बहुत मज़बूती से प्रतिक्रिया देते हैं।
- चैट करें। गति जाँचने के लिए कुछ छोटा शुरू करें, फिर उन विषयों को परखें जो आपके लिए सचमुच मायने रखते हैं।
सेटिंग्स जो मायने रखती हैं
- कॉन्टेक्स्ट लंबाई: चैट के लिए 4096 काफ़ी है। ज़्यादा मान VRAM तेज़ी से खाते हैं।
- टेम्परेचर: संतुलित जवाबों के लिए 0.7, रचनात्मक लेखन के लिए 0.9 या उससे ज़्यादा, तथ्यात्मक कामों के लिए 0.2।
- रिपीट पेनल्टी: लगभग 1.1 लूपिंग को कम करता है।
- सिस्टम प्रॉम्प्ट: इसे 150 शब्दों से कम रखें।
आम गलतियाँ
- 12 GB कार्ड पर 70B मॉडल डाउनलोड करना और फिर हैरान होना कि हर वाक्य में मिनट क्यों लग रहे हैं।
- जगह बचाने के लिए Q2 या Q3 फ़ाइल चुनना। Q4 से नीचे क्वालिटी साफ़ गिरती है।
- ड्राइवर अपडेट छोड़ देना।
- अज्ञात अपलोडर्स की रैंडम फ़ाइलों पर भरोसा करना। प्रसिद्ध प्रकाशकों पर टिकें और डाउनलोड काउंट जाँचें।
- उम्मीद करना कि "अनसेंसर्ड" लेबल एक कमज़ोर मॉडल को ठीक कर देगा। बिना फ़िल्टर वाला बुरा 7B मॉडल फिर भी बुरा 7B मॉडल ही है।

अनफ़िल्टर्ड मॉडल के साथ सुरक्षित रहें
फ़िल्टर हटाने से ज़िम्मेदारी विक्रेता से आप पर आ जाती है। कुछ आदतें इस अनुभव को उपयोगी रखती हैं, जोखिमभरा नहीं।

अपनी मशीन की सुरक्षा करें
GGUF रूप में मॉडल फ़ाइलें ज़्यादातर सुरक्षित होती हैं, लेकिन उनके आसपास के ऐप्स और स्क्रिप्ट हमेशा भरोसेमंद नहीं होते। सॉफ़्टवेयर सिर्फ़ आधिकारिक प्रोजेक्ट पेज से डाउनलोड करें, "cracked" इंस्टॉलर से बचें, और रैंडम Python स्क्रिप्ट से सावधान रहें जो आपसे कमांड चलाने को कहती हैं।
अपने निष्कर्षों की सुरक्षा करें
बिना इनकार वाला मॉडल आत्मविश्वास से गलतियाँ करने में कोई संकोच नहीं करेगा। जब जवाब आपकी सेहत, पैसे या कानूनी स्थिति पर असर डालता हो, तो उसे जाँचने वाला ड्राफ़्ट समझें, अंतिम फ़ैसला नहीं।
चीज़ों को ऑफ़लाइन रखें
अगर गोपनीयता आपका लक्ष्य है, तो मॉडल डाउनलोड होने के बाद ऐप को इंटरनेट से ब्लॉक कर दें, या ऐसा रनर इस्तेमाल करें जिसमें पूरी तरह ऑफ़लाइन मोड हो। जाँचें कि आपके जोड़े गए अतिरिक्त टूल, जैसे वेब सर्च प्लगइन, वही हैं जिन्हें आप सचमुच डेटा बाहर भेजने देना चाहते हैं।
डाउनलोड से पहले होस्टेड मॉडल आज़माएँ
पक्का नहीं कि 8B मॉडल काफ़ी अच्छा लगेगा? पहले PicassoIA पर दस मिनट दें। आप Llama परिवार के जवाब की तुलना Mistral परिवार से कर सकते हैं, देख सकते हैं कि एक रीज़निंग मॉडल कोई पेचीदा सवाल कैसे सँभालता है, और डिस्क स्पेस व शाम किसी डाउनलोड पर लगाने से पहले क्वालिटी का अंदाज़ा ले सकते हैं।
भारी काम के लिए, जब आपका अपना PC इतने बड़े मॉडल को लोड नहीं कर पाता, तब Qwen3.7-Plus और Kimi K2.6 जैसे बड़े होस्टेड विकल्प उपलब्ध हैं। याद रखें कि ये अपने प्रकाशकों के सेफ़्टी नियमों का पालन करते हैं, इसलिए ये ड्राफ़्टिंग, कोडिंग और रिसर्च के लिए ठीक हैं, बिना फ़िल्टर वाले रोलप्ले के लिए नहीं।
सिर्फ़ टेक्स्ट नहीं, तस्वीरें भी बनाएँ
लोकल चैटबॉट एक बढ़िया लेखन साथी है, और यह इमेज जनरेशन के साथ अच्छी तरह मेल खाता है। एक बार आपकी कहानी, किरदार का विवरण या दृश्य तैयार हो जाए, तो आप उन शब्दों को ब्राउज़र छोड़े बिना फोटोरियलिस्टिक विज़ुअल में बदल सकते हैं।
PicassoIA टेक्स्ट-टू-इमेज मॉडल, इमेज एडिटिंग, अपस्केलिंग, वीडियो जनरेशन, टेक्स्ट-टू-स्पीच और बहुत कुछ एक ही जगह पर देता है, इसलिए आपकी लोकल चैट में लिखी स्क्रिप्ट मिनटों में कवर इमेज, नैरेटेड क्लिप या चित्रों के सेट में बदल सकती है। सब कुछ picassoia.com/en/all-models पर ब्राउज़ करें, कोई मॉडल चुनें, अपनी ताज़ा चैट से एक प्रॉम्प्ट चिपकाएँ और देखें कि क्या निकलता है।
छोटे से शुरू करें: आज रात एक 8B मॉडल डाउनलोड करें, एक छोटा दृश्य लिखें, फिर उसे PicassoIA पर लाकर एक इमेज में बदलें। यही एक चक्र दिखा देगा कि एक मुफ़्त, निजी सेटअप कितनी दूर तक जा सकता है।