पेंसिल से बने कच्चे स्केच कुछ ही सेकंड में शानदार ऑयल पेंटिंग में बदल जाते हैं। यह विश्लेषण इसके पीछे की असली तकनीक समझाता है, जिसमें डिफ्यूज़न मॉडल, ControlNet और स्टाइल ट्रांसफ़र शामिल हैं, साथ ही इसे अभी खुद आज़माने के व्यावहारिक कदम भी।
आपने शायद यह देखा होगा: किसी जगह एक टेढ़ा-मेढ़ा, कच्चा पेंसिल स्केच अपलोड होता है, और कुछ ही सेकंड बाद स्क्रीन पर एक पूरी तरह रेंडर हुई ऑयल पेंटिंग दिखती है। यह जादू जैसा लगता है। पर है नहीं। इसके पीछे की प्रक्रिया मॉडर्न डीप लर्निंग के सबसे दिलचस्प अनुप्रयोगों में से एक है, और एक बार आप समझ जाएँगे कि यह कैसे काम करती है, तो AI आर्ट को फिर कभी उसी नज़र से नहीं देखेंगे।
यह लेख असली मैकेनिक्स, इस काम को करने वाले मॉडलों, और आप आज इनका इस्तेमाल कैसे कर सकते हैं, इन सब को समझाता है।
सबसे पहले एक बात साफ़ कर दें: AI सिर्फ़ आपके स्केच के खाली हिस्सों को रंग से नहीं भरता, जैसे कलरिंग बुक भरी जाती है। यह उससे कहीं ज़्यादा जटिल काम है। जब आप किसी AI मॉडल को पेंसिल स्केच देते हैं, तो सिस्टम उन लकीरों में एन्कोड की गई स्ट्रक्चरल जानकारी का विश्लेषण करता है: किनारे, कॉन्टूर, आकार और स्थानिक संबंध।
यह स्ट्रक्चरल डेटा लाखों इमेज पर प्रशिक्षित एक न्यूरल नेटवर्क से गुज़रता है। मॉडल ने उन असंख्य उदाहरणों से सीखा है कि चेहरा, पेड़, हाथ या इमारत पूरी फ़ोटोग्राफ़िक या पेंटरली डिटेल में कैसे दिखते हैं। आपका स्केच असल में एक प्रॉम्प्ट है, एक निर्देश-सेट जो कहता है: "ये रहे आकार। अब इन्हें यथार्थ से भर दो।"
नतीजा एक संश्लेषण (synthesis) है, कॉपी नहीं। AI टेक्स्चर, रोशनी, छायाएँ और रंग खुद गढ़ता है, और साथ ही आपके दिए गए ज्यामितीय ढांचे का सम्मान करता है।
स्केच-से-पेंटिंग AI के पीछे की प्रमुख तकनीक डिफ्यूज़न मॉडल हैं। इनके काम करने का सरल संस्करण यह है:
नतीजा एक पेंटिंग, फ़ोटो, या कोई भी विज़ुअल स्टाइल हो सकता है, जिसे मॉडल ने अपने ट्रेनिंग डेटा से सीखा हो।
💡 आपके आउटपुट की क्वालिटी सीधे इस पर निर्भर करती है कि आपका इनपुट स्केच कितना अभिव्यंजक और साफ़ है। मज़बूत, आत्मविश्वास भरी लकीरें लगभग हमेशा धुंधली या खरोंच जैसी लकीरों से बेहतर नतीजे देती हैं।
Stable Diffusion ज़्यादातर स्केच-से-इमेज पाइपलाइन की रीढ़ है। इसे एक ओपन मॉडल के रूप में जारी किया गया था, यानी रिसर्च कम्युनिटी ने इसके ऊपर सैकड़ों फाइन-ट्यून्ड वर्ज़न बनाए हैं, जिनमें से हर एक अलग आर्ट स्टाइल, रियलिज़्म के स्तर और विषय के लिए विशेष है।
Stable Diffusion में मानक img2img वर्कफ़्लो आपके स्केच को शुरुआती बिंदु मानता है। डीनॉइज़िंग स्ट्रेंथ नाम का एक पैरामीटर नियंत्रित करता है कि मॉडल आपके मूल से कितना हटता है। इसे कम (0.3) रखें, तो आउटपुट आपकी लकीरों का करीबी पालन करेगा। इसे ज़्यादा (0.9) रखें, तो AI आपके स्केच को एक ढीले सुझाव की तरह लेता है और कुछ ज़्यादा आज़ादी से व्याख्या करके बनाता है।
SDXL ने मूल Stable Diffusion आर्किटेक्चर में काफ़ी सुधार किया। यह दो-चरणीय पाइपलाइन इस्तेमाल करता है: एक बेस मॉडल जो समग्र कंपोज़िशन बनाता है, उसके बाद एक रिफ़ाइनर जो डिटेल्स को तेज़ करता है और असंगतियों को सुधारता है। स्केच-से-पेंटिंग काम के लिए इसका मतलब है कि चेहरे ज़्यादा एनाटॉमिकली सही आते हैं, टेक्स्चर ज़्यादा स्पर्शनीय लगते हैं, और बैकग्राउंड में वह असली गहराई होती है, जबकि पुराने मॉडल धुंधला कीचड़ जैसा ब्लर बनाते थे।
SDXL Lightning इसे और आगे ले जाता है, जनरेशन को सिर्फ़ 4 स्टेप्स तक घटाकर, जिससे क्वालिटी में बड़ी गिरावट के बिना लगभग रियल-टाइम स्केच कन्वर्ज़न संभव हो जाता है।
Flux Dev और Flux Schnell फोटोरियलिस्टिक और विस्तृत इमेज जनरेशन के लिए अत्याधुनिक स्तर का प्रतिनिधित्व करते हैं। Flux पारंपरिक U-Net के बजाय ट्रांसफ़ॉर्मर-आधारित डिफ्यूज़न आर्किटेक्चर इस्तेमाल करता है, जिससे इसकी टेक्स्ट समझ और स्ट्रक्चरल फ़िडेलिटी काफ़ी बेहतर होती है।
स्केच-आधारित काम के लिए Flux मॉडल अधिक सुसंगत एनाटॉमी, ऐसे तीखे किनारे जो आपकी मूल लकीरों का सम्मान करते हैं, और ज़्यादा प्राकृतिक रोशनी की स्थितियाँ देते हैं, और पुराने मॉडलों की तुलना में कम मैनुअल प्रॉम्प्ट एडजस्टमेंट की ज़रूरत पड़ती है।
| मॉडल | स्पीड | रियलिज़्म | स्केच फ़िडेलिटी |
|---|---|---|---|
| Stable Diffusion | मध्यम | अच्छा | मध्यम |
| SDXL | मध्यम | बहुत अच्छा | अच्छा |
| SDXL Lightning | तेज़ | अच्छा | मध्यम |
| Flux Dev | मध्यम | उत्कृष्ट | उत्कृष्ट |
| Flux Schnell | तेज़ | बहुत अच्छा | अच्छा |
मानक img2img प्रोसेसिंग आपके स्केच का सम्मान करती है, पर ढीले तरीके से। जब आप डीनॉइज़िंग स्ट्रेंथ को इतना ऊँचा कर देते हैं कि सच में खूबसूरत आउटपुट मिले, तो मॉडल आपके मूल कंपोज़िशन से भटकने लगता है। नाक की जगह थोड़ी बदल जाती है। इमारत का अनुपात खिसक जाता है। जिन कलाकारों को किसी खास स्ट्रक्चरल इरादे को बनाए रखना होता है, उनके लिए यह एक असली समस्या है।
ControlNet Scribble इसी समस्या को सीधे हल करता है।
ControlNet डिफ्यूज़न मॉडल में एक अलग कंडीशनिंग पाथवे जोड़ता है। आपके स्केच को बस एक और इनपुट के रूप में एन्कोड करने के बजाय, यह उसमें से एक स्ट्रक्चरल "ढांचा" निकालता है, खासकर एज मैप, डेप्थ मैप या स्क्रिबल आउटलाइन, और उस ढांचे को पूरी जनरेशन प्रक्रिया में एक कठोर बाधा की तरह इस्तेमाल करता है।
नतीजा: AI टेक्स्चर, रंग और रोशनी के मामले में आज़ादी से पेंट करता है, पर आपके स्केच का मूल ढांचा शुरू से अंत तक ईमानदारी से बना रहता है।
💡 ControlNet Scribble खास तौर पर कच्चे, फ्रीहैंड लाइन इनपुट पर प्रशिक्षित है। आपको साफ़-सुथरी लाइनवर्क की ज़रूरत नहीं है। यह सटीक डिजिटल ड्रॉइंग की तुलना में थोड़े अपूर्ण, अभिव्यंजक स्केच के साथ बेहतर प्रदर्शन करता है।
यह इन कामों के लिए आदर्श टूल बनाता है:
आप SDXL ControlNet LoRA या ज़्यादा शक्तिशाली SDXL Multi ControlNet LoRA का इस्तेमाल करके ControlNet को SDXL के साथ भी जोड़ सकते हैं, ताकि एक साथ कई कंट्रोल सिग्नल लगाए जा सकें, जैसे अधिकतम सटीकता के लिए पोज़ स्केलेटन को एज मैप के साथ मिलाना।
ये दो शब्द लगातार उलझ जाते हैं, इसलिए आइए सटीक बात करें।
स्केच-से-इमेज (या स्केच-से-पेंटिंग) का मतलब है लाइन की स्ट्रक्चरल जानकारी लेकर उससे एक पूरी तरह विकसित इमेज बनाना। AI ट्रेनिंग डेटा के आधार पर रंग, टेक्स्चर और रोशनी खुद गढ़ता है।
न्यूरल स्टाइल ट्रांसफ़र एक अलग ऑपरेशन है: आप एक मौजूदा फ़ोटोग्राफ़ लेते हैं और उस पर किसी संदर्भ कलाकृति की विज़ुअल स्टाइल (ब्रशस्ट्रोक पैटर्न, कलर पैलेट, टेक्स्चर) लागू करते हैं। कंटेंट वही रहता है; केवल एस्थेटिक "त्वचा" बदलती है।
व्यवहार में, कई पाइपलाइन दोनों को मिलाती हैं। एक स्केच ControlNet के ज़रिए बेस इमेज बनता है, और फिर एक स्टाइल ट्रांसफ़र चरण उसके ऊपर पेंटरली एस्थेटिक लगाता है, जिससे दो-चरणीय नतीजा मिलता है।
जब कोई स्टाइल ट्रांसफ़र मॉडल Van Gogh की पेंटिंग का विश्लेषण करता है, तो वह कोई टेम्पलेट याद नहीं कर रहा होता। वह कन्वोल्यूशनल न्यूरल नेटवर्क का उपयोग करके इमेज से सांख्यिकीय पैटर्न निकाल रहा होता है, जैसे:
ये पैटर्न Gram matrix में एन्कोड किए जाते हैं, जिसे रिसर्चर स्टाइल का गणितीय प्रतिनिधित्व कहते हैं। फिर इसे जनरेशन प्रक्रिया के दौरान परत-दर-परत कंटेंट इमेज पर लागू किया जाता है।
💡 आपकी संदर्भ इमेज जितनी ज़्यादा स्टाइलिस्टिक रूप से अलग होगी, स्टाइल ट्रांसफ़र का असर उतना ही मज़बूत और पहचानने लायक होगा। एक सामान्य वॉटरकलर संदर्भ कमज़ोर नतीजे देता है। मज़बूत, खास ब्रशवर्क वाली बेहद विशिष्ट पेंटिंग नाटकीय नतीजा देती है।
स्केच से पेंटिंग तक का सबसे सीधा रास्ता ControlNet Scribble का उपयोग करता है। यह रहा सटीक वर्कफ़्लो:
स्केच के अलावा आउटपुट क्वालिटी का सबसे बड़ा एकल कारक टेक्स्ट प्रॉम्प्ट है। कमज़ोर प्रॉम्प्ट औसत नतीजा देता है। विशिष्ट प्रॉम्प्ट कुछ असाधारण बनाता है।
कमज़ोर प्रॉम्प्ट:
woman portrait, oil painting
मज़बूत प्रॉम्प्ट:
photorealistic portrait of a young woman, dramatic Rembrandt lighting from the upper left, rich oil paint impasto texture, deep shadows in the background, warm earth tones, visible brushstrokes on the face and neck, highly detailed eyes, fine art museum quality
एक ही स्केच पर इन दो प्रॉम्प्ट से आउटपुट क्वालिटी में फ़र्क काफ़ी बड़ा होता है। रोशनी, टेक्सचर और मूड में विशिष्टता ही औसत आउटपुट को असाधारण आउटपुट से अलग करती है।
AI स्केच कन्वर्ज़न से शानदार नतीजे पाने के लिए आपको प्रशिक्षित कलाकार होने की ज़रूरत नहीं है। पर आपके स्केच में कुछ गुण लगातार बेहतर आउटपुट देते हैं:
लाइन की ऐसी विशेषताएँ जो मदद करती हैं:
किससे बचें:
💡 AI प्रोसेसिंग के लिए बना स्केच इंसानी आँखों के लिए बने स्केच से अलग दिखता है। AI के लिए साफ़ आउटलाइन और न्यूनतम आंतरिक डिटेल के बारे में सोचें। आंतरिक टेक्स्चर मॉडल खुद गढ़ लेगा।
ज़्यादातर ControlNet मॉडल 512x512 या 1024x1024 पर प्रशिक्षित हैं। बहुत हाई-रिज़ॉल्यूशन स्कैन डालने से अपने आप बेहतर नतीजे नहीं मिलते। प्रोसेस करने से पहले स्केच को मॉडल के नेटिव रिज़ॉल्यूशन पर डाउनसैंपल करना और फिर अंतिम पेंटिंग को प्रिंट क्वालिटी पर लाने के लिए बाद में सुपर-रिज़ॉल्यूशन अपस्केलर का इस्तेमाल करना अक्सर ज़्यादा प्रभावी होता है।
PicassoIA के सुपर-रिज़ॉल्यूशन टूल आउटपुट को 2x से 4x तक अपस्केल कर सकते हैं, और सिर्फ़ पिक्सल इंटरपोलेट करने के बजाय असली टेक्सचर डिटेल जोड़ते हैं।
सभी पेंटिंग स्टाइल स्केच-से-इमेज कन्वर्ज़न पर एक जैसी प्रतिक्रिया नहीं देते। यहाँ अपेक्षाओं का एक व्यावहारिक विवरण है:
| पेंटिंग स्टाइल | AI के लिए कठिनाई | प्रॉम्प्ट में क्या बताएँ |
|---|---|---|
| ऑयल पेंटिंग | आसान | "impasto texture, visible brushstrokes, warm varnish" |
| वॉटरकलर | मध्यम | "soft edges, wet-on-wet bleeding, paper texture" |
| चारकोल | आसान | "smudged charcoal, tonal shading, gritty texture" |
| इम्प्रेशनिज़्म | मध्यम | "broken brushstrokes, pure color dabs, no outlines" |
| हाइपररियलिज़्म | कठिन | "photorealistic, pore-level detail, perfect anatomy" |
| कॉन्सेप्ट आर्ट | आसान | "cinematic lighting, matte painting quality, sharp edges" |
आप अपने प्रॉम्प्ट में कलर पैलेट को साफ़-साफ़ निर्देशित कर सकते हैं। उपयोगी रंग-शब्दों में शामिल हैं:
आपकी रंग-भाषा जितनी विशिष्ट होगी, अंतिम नतीजे पर आपका नियंत्रण उतना ही ज़्यादा होगा। जब प्रॉम्प्ट में कुछ अतिरिक्त शब्द रंग को तय कर सकते हैं, तो उसे संयोग पर न छोड़ें।
चेहरे डिफ्यूज़न मॉडल के लिए कुख्यात रूप से कठिन होते हैं, खासकर कम रिज़ॉल्यूशन पर। लक्षण: अतिरिक्त आँखें, मिले हुए चेहरे के फ़ीचर, असममित स्थिति।
समाधान: अपने प्रॉम्प्ट में ये शब्द जोड़ें: "perfect facial symmetry, accurate anatomy, single face, detailed eyes, correct proportions"। साथ ही प्रोसेस करने से पहले इमेज का रिज़ॉल्यूशन छोटी साइड पर कम से कम 768px तक बढ़ाएँ।
अगर आउटपुट आपके स्केच से मुश्किल से मिलता है, तो ControlNet कंडीशनिंग स्केल बहुत कम है।
समाधान: इसे 0.9-1.0 की ओर बढ़ाएँ। अगर इससे आउटपुट बहुत कठोर हो जाता है और समग्र क्वालिटी घटती है, तो ControlNet को देने से पहले अपने स्केच को एक समर्पित Canny एज डिटेक्टर से प्रीप्रोसेस करें, ताकि स्ट्रक्चरल सिग्नल साफ़ रहे।
एक ही सीड को बार-बार इस्तेमाल करने से एक जैसे आउटपुट मिलते हैं। मॉडल के पास बदलने की कोई वजह नहीं होती।
समाधान: हर जनरेशन के लिए रैंडम सीड बदलें, या रैंडम सीड विकल्प चालू करें। 10+ वेरिएशन चलाएँ और सबसे अच्छा चुनें। एक ही स्केच सीड के आधार पर बहुत अलग-अलग पेंटिंग दे सकता है।
एक पूरी तरह सामान्य ग्रेडिएंट बैकग्राउंड पर सुंदर आकृति एक आम विफलता का तरीका है।
समाधान: अपने प्रॉम्प्ट में बैकग्राउंड को साफ़-साफ़ बताएँ। "किताबों की अलमारियों और घर के पौधों वाला भरा-पूरा पेरिसियन स्टूडियो" बैकग्राउंड को संयोग पर छोड़ने की तुलना में कहीं ज़्यादा दिलचस्प नतीजा देता है।
जब लोग कहते हैं कि AI मॉडल को "लाखों इमेज पर प्रशिक्षित" किया गया, तो उनका मतलब है कि उन इमेज का उपयोग बैकप्रोपेगेशन नाम की प्रक्रिया से पैटर्न पहचानना सिखाने के लिए किया गया। मॉडल अनुमान लगाता है, उन्हें ग्राउंड ट्रुथ से मिलाता है, त्रुटि की गणना करता है, और अरबों आंतरिक संख्यात्मक वेट्स को तब तक समायोजित करता है जब तक अनुमान सटीक न हो जाएँ।
ट्रेनिंग पूरी होने तक, ये वेट्स इस बात का अत्यंत समृद्ध सांख्यिकीय प्रतिनिधित्व एन्कोड कर चुके होते हैं कि विज़ुअल तत्व एक-दूसरे से कैसे जुड़े हैं। सिस्टम ने यह आत्मसात कर लिया है कि उभरी हुई गाल की हड्डी एक खास हाइलाइट पैटर्न बनाती है। उसने यह भी आत्मसात कर लिया है कि लिनेन पर ऑयल पेंट की 50mm फ़ोकल लेंथ पर एक खास टेक्सचर होता है। यह इसलिए नहीं कि इन तथ्यों को उसमें स्पष्ट रूप से प्रोग्राम किया गया, बल्कि इसलिए कि ये लाखों ट्रेनिंग उदाहरणों के पैटर्न में निहित हैं।
आपका स्केच स्थानिक फ़्रीक्वेंसी जानकारी देता है: हाई-कंट्रास्ट किनारे कहाँ हैं, वे कौन से आकार रेखांकित करते हैं, और कंपोज़िशन में वे आकार एक-दूसरे से कैसे जुड़ते हैं। एक कच्चा स्केच भी मॉडल को इतना स्ट्रक्चरल सिग्नल देता है कि जनरेशन आपकी इच्छित कंपोज़िशन की ओर सीमित रहे।
मॉडल बाकी सब कुछ अपनी ट्रेनिंग से भरता है, उस प्रायिकता मानचित्र से खींचते हुए कि उन आकारों के भीतर और आसपास क्या होना चाहिए। इसीलिए पाँच लाइनों का स्टिक फ़िगर आउटपुट में पहचानने लायक इंसानी आकृति बना सकता है, जबकि घनी क्रॉस-हैच्ड लकीरें अराजकता पैदा कर सकती हैं। मॉडल को असल में जिस चीज़ की ज़रूरत होती है, वह है सिग्नल की स्पष्टता, न कि ड्रॉइंग कौशल।
पेंसिल और स्कैनर वाला कोई भी व्यक्ति इसे आज ही आज़मा सकता है। कोई स्केच निकालें जो आपने सालों पहले बनाया था, या अगले 10 मिनट में कुछ नया बनाएँ, और उसे PicassoIA पर ControlNet Scribble में डालें।
आपने जो बनाया और जो बाहर निकलकर आता है, उसके बीच का अंतर ही वह जगह है जहाँ तकनीक अपना दावा सिद्ध करती है। पाँच मिनट में बना शहर का पेंसिल स्केच 30 सेकंड से कम में एक नाटकीय ऑयल पेंटिंग बन सकता है। एक कच्चा पोर्ट्रेट स्केच एक फोटोरियलिस्टिक रेंडरिंग बन सकता है, जो देखने में सैकड़ों घंटों की पेंटरली कुशलता की माँग करता लगे।
आपको एक आउटपुट पर ही रुकने की ज़रूरत नहीं है। उसी स्केच पर पूरी तरह अलग व्याख्या के लिए Flux Dev चलाएँ। समृद्ध टेक्सचर डिटेल के लिए SDXL इस्तेमाल करें। जब आप मिनटों में, घंटों में नहीं, एक दर्जन अलग स्टाइल आज़माना चाहते हों, तो तेज़ इटरेशन के लिए Flux Schnell आज़माएँ।
स्केच आपका शुरुआती बिंदु है। उस एक शुरुआती बिंदु से पेंटिंग की संभावनाएँ व्यावहारिक रूप से अनंत हैं।
अपनी भाषा चुनें
