AI आर्ट स्टाइल का अंदाज़ा यूँ ही नहीं लगाता। कन्वोल्यूशनल न्यूरल नेटवर्क, डिफ़्यूज़न मॉडल और अरबों ट्रेनिंग उदाहरणों की मदद से यह किसी भी पेंटिंग स्टाइल का सटीक विज़ुअल DNA सेकंडों में निकालकर दोबारा बना देता है, वैन गॉग के ब्रशस्ट्रोक से लेकर मोने के रंगों तक।
जब आप पहली बार कोई AI इमेज देखते हैं और उसे "वैन गॉग स्टाइल" या "मोने से प्रेरित" पहचान लेते हैं, तो एक पल के लिए थोड़ा अजीब सा लगता है। घुमावदार स्ट्रोक, मोटी इम्पास्टो पेंट, और क्षितिज पर रोशनी फैलने का खास तरीका, यह सब सेकंडों में बन जाता है। यह काम कैसे करता है? छोटा जवाब है कि इसमें गणित, विशाल डेटासेट और एक चालाक तरकीब न्यूरल स्टाइल ट्रांसफ़र शामिल है। लंबा जवाब इससे कहीं ज़्यादा दिलचस्प है।
"स्टाइल ट्रांसफ़र" सुनने में कलात्मक लगता है, पर यह एक बहुत खास कम्प्यूटेशनल प्रक्रिया का वर्णन करता है। इसके मूल में स्टाइल ट्रांसफ़र उन दो चीज़ों को अलग करने की प्रक्रिया है जिन्हें इंसान सहज रूप से मिलाकर देखते हैं: इमेज में क्या दिखाया गया है (उसका कंटेंट) और उसे कैसे दिखाया गया है (उसकी स्टाइल)।
जब आप Starry Night को देखते हैं, तो आपको एक गाँव और आसमान दिखता है। वह कंटेंट है। लेकिन घुमावदार ब्रशवर्क, पीले और नीले रंगों का खास चुनाव, और तारों का धड़कता हुआ सा दिखना: वह स्टाइल है। इंसान इन्हें सहज रूप से अलग पहचान लेते हैं। किसी मशीन को यही सिखाना बिल्कुल अलग समस्या है।
न्यूरल स्टाइल ट्रांसफ़र को औपचारिक रूप से 2015 के एक पेपर में Gatys, Ecker और Bethge ने पेश किया था। इस तरीके में कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) का इस्तेमाल हुआ, खासतौर पर VGG-19, जो मूल रूप से इमेज क्लासिफ़िकेशन के लिए बना नेटवर्क था। शोधकर्ताओं ने पाया कि CNN की अलग-अलग लेयर अलग-अलग तरह की जानकारी सहेजती हैं।
शुरुआती लेयर लो-लेवल फ़ीचर पकड़ती हैं: किनारे, रंग, टेक्सचर। गहरी लेयर हाई-लेवल स्ट्रक्चर पकड़ती हैं: वस्तुएँ, दृश्य, कंपोज़िशन। पता चला कि स्टाइल को शुरुआती लेयर में फ़ीचर के आपसी संबंध का विश्लेषण करके निकाला जा सकता है। कंटेंट गहरी लेयर में रहता था।
एक नई इमेज को किसी रेफ़रेंस आर्टवर्क के स्टाइल स्टैटिस्टिक्स और किसी टार्गेट फ़ोटो के कंटेंट रिप्रेज़ेंटेशन से मिलाने के लिए ऑप्टिमाइज़ करके, नेटवर्क दोनों को मिला सकता था।
क्लासिक स्टाइल ट्रांसफ़र एक ही प्री-ट्रेन्ड CNN का इस्तेमाल "जज" की तरह करता है। हाल के तरीके दो अलग नेटवर्क इस्तेमाल करते हैं:
| नेटवर्क | भूमिका |
|---|---|
| जनरेटर | स्टाइलाइज़्ड इमेज बनाता है |
| डिस्क्रिमिनेटर | जाँचता है कि यह विश्वसनीय लगती है या नहीं |
इस एडवर्सैरियल सेटअप को GAN (Generative Adversarial Network) कहा जाता है, और यह मूल ऑप्टिमाइज़ेशन तरीके से ज़्यादा तीखे और अधिक सुसंगत नतीजे देता है। जनरेटर लगातार बेहतर होता जाता है, क्योंकि डिस्क्रिमिनेटर लगातार उसकी खामियाँ पकड़ता रहता है।
किसी आर्ट स्टाइल को कॉपी करने के लिए AI को पहले यह समझना होता है कि वह स्टाइल किन चीज़ों से बनी है। यह सिर्फ़ रंग मिलाने जितना सरल नहीं है। एक कुशल इम्प्रेशनिस्ट पेंटिंग में एक खास टेक्सचर फ़्रीक्वेंसी होती है, यानी अलग-अलग आकार के ब्रश के निशान किस तरह फैले हैं, इसका एक खास तरीका। उसका कलर पैलेट होता है, जिसमें सैचुरेशन और तापमान के खास संबंध होते हैं। उसमें कंपोज़िशन की आदतें भी होती हैं: कलाकार क्षितिज रेखा कहाँ रखता है, और कितना नेगेटिव स्पेस इस्तेमाल करता है।
CNN यह सब व्यवस्थित तरीके से निकालता है, इमेज को लाखों सीखे हुए फ़िल्टर से गुज़ारकर।
इसे एक डिसेक्शन की तरह समझें। नेटवर्क हर लेयर पर इमेज को फ़ीचर मैप में बाँट देता है:
स्टाइल की जानकारी हर लेयर पर Gram matrix की गणना करके पकड़ी जाती है। यह मैट्रिक्स मापता है कि इमेज में अलग-अलग फ़ीचर एक साथ कितनी बार दिखते हैं। यह सह-घटना (co-occurrence) का पैटर्न ही गणितीय रूप से किसी स्टाइल को परिभाषित करता है। दो इमेज, जिनका कंटेंट पूरी तरह अलग है लेकिन जिनके Gram matrix स्टैटिस्टिक्स एक जैसे हैं, वे एक ही हाथ की बनी लगेंगी।
यहाँ सबसे खूबसूरत बात यह है कि स्टाइल और कंटेंट नेटवर्क के अलग-अलग हिस्सों में एन्कोड होते हैं। आप दोनों को स्वतंत्र रूप से "डायल" कर सकते हैं।
एक छोटा सा उदाहरण: एक वाक्य के बारे में सोचें। शब्द कंटेंट हैं। लहजा, लय और वाक्य-संरचना स्टाइल हैं। आप वही बात हेमिंग्वे के अंदाज़ में भी कह सकते हैं और फ़ॉकनर के अंदाज़ में भी। न्यूरल स्टाइल ट्रांसफ़र पिक्सल के साथ यही करता है।
यही अलगाव पूरे सिस्टम को तेज़ी से चलने लायक बनाता है। एक बार जब आपके पास ऐसा ट्रेन्ड नेटवर्क हो जो स्टाइल और कंटेंट फ़ीचर भरोसेमंद ढंग से निकाल सके, तो नई स्टाइलाइज़्ड इमेज बनाना बस ऑप्टिमाइज़ेशन है: एक खाली कैनवास पर ग्रेडिएंट डिसेंट चलाना जब तक वह दोनों शर्तें पूरी न कर दे।
2015 का मूल Gatys तरीका बेहद धीमा था। एक 512x512 स्टाइलाइज़्ड इमेज एक साधारण CPU पर बनाने में घंटों लगते थे। आज वही क्वालिटी का आउटपुट एक आम GPU पर एक सेकंड से भी कम में आ जाता है। क्या बदला?
CPU से GPU कम्प्यूटिंग पर जाना पहली बड़ी रफ़्तार की वजह थी। GPU को बड़े पैमाने पर समानांतर गणना के लिए बनाया गया है, और न्यूरल नेटवर्क को ठीक इसी तरह की गणना चाहिए। एक आधुनिक NVIDIA A100 GPU प्रति सेकंड 312 teraFLOPS से ज़्यादा टेन्सर ऑपरेशन करता है।
लेकिन अकेला हार्डवेयर पूरी स्पीड की वजह नहीं बताता। आर्किटेक्चर भी बदला।
फ़ीड-फ़ॉरवर्ड स्टाइल ट्रांसफ़र नेटवर्क (2016 में Johnson et al. ने पेश किए) ने धीमे ऑप्टिमाइज़ेशन लूप की जगह एक ट्रेन्ड नेटवर्क रख दिया। खाली कैनवास पर हज़ारों स्टेप तक बार-बार सुधार करने के बजाय, आप नेटवर्क को लाखों इमेज पर एक बार ट्रेन करते हैं, ताकि वह एक ही फ़ॉरवर्ड पास में स्टाइल ट्रांसफ़ॉर्मेशन कर दे।
नतीजा: स्टाइल ट्रांसफ़र वीडियो पर रीयल-टाइम में चलने लगा। कम्प्यूटेशन का सवाल "इस इमेज को वैन गॉग जैसा दिखाने के लिए इसे कैसे बदलूँ?" से बदलकर "मैंने यह पहले ही सीख लिया है, यह रहा आउटपुट" हो गया।
| तरीका | स्पीड | क्वालिटी |
|---|---|---|
| ऑप्टिमाइज़ेशन (2015) | मिनट से घंटों तक | उच्च |
| फ़ीड-फ़ॉरवर्ड नेटवर्क (2016) | 10-50ms | अच्छी |
| डिफ़्यूज़न मॉडल (2022+) | 1-5 सेकंड | बहुत उच्च |
| आधुनिक तेज़ मॉडल (2024+) | 1 सेकंड से कम | उत्कृष्ट |
Flux Schnell जैसे आधुनिक मॉडल एक सेकंड से कम में इमेज बना देते हैं। यह रफ़्तार किसी शॉर्टकट से नहीं आती। यह बेहतर आर्किटेक्चर से आती है। ये आर्किटेक्चर सीख चुके हैं कि कम कम्प्यूटेशनल स्टेप में ज़्यादा ज्ञान कैसे समेटा जाए।
डिफ़्यूज़न मॉडल इमेज सिंथेसिस का मूल रूप से अलग तरीका है। जहाँ GAN दो नेटवर्क को एक-दूसरे के सामने खड़ा करते हैं, वहीं डिफ़्यूज़न मॉडल एक शांत, अधिक गणितीय प्रक्रिया सीखते हैं: नॉइज़ को उलटना कैसे है।
ट्रेनिंग प्रक्रिया कुछ ऐसे काम करती है:
इससे एक ऐसा नेटवर्क बनता है जिसने अपने ट्रेनिंग डेटा के स्टैटिस्टिकल पैटर्न गहराई से सहेज लिए हैं। जब आप कहते हैं "इसे इम्प्रेशनिज़्म की स्टाइल में पेंट करो," तो मॉडल ने ट्रेनिंग के दौरान इतनी इम्प्रेशनिस्ट इमेज देखी हैं कि वह ठीक जानता है कि किस नॉइज़ पैटर्न को किस दिशा में उलटना है।
असल बात यह है: स्टाइल कोई ऊपर से लगाया गया फ़िल्टर नहीं है। वह जनरेशन प्रक्रिया में ही रचा-बसा होता है। मॉडल किसी फ़ोटो पर ब्रशस्ट्रोक नहीं जोड़ता। वह पूरी इमेज शुरू से बनाता है, जिसमें वे ब्रशस्ट्रोक उसकी बुनियादी विशेषता के रूप में मौजूद होते हैं।
Stable Diffusion को LAION-5B पर ट्रेन किया गया था, जो पाँच अरब इमेज-टेक्स्ट जोड़ियों का डेटासेट है। SDXL ने इसे हाई-रेज़ोल्यूशन ट्रेनिंग डेटा और बेहतर कैप्शन क्वालिटी के साथ आगे बढ़ाया।
जब कोई मॉडल पाँच अरब इमेज पर ट्रेन होता है जिन पर स्टाइल के वर्णनकर्ता लगे होते हैं, तो वह "इम्प्रेशनिस्ट पेंटिंग" सिर्फ़ कुछ बार नहीं देखता। वह उसे लाखों बार देखता है, अलग-अलग कलाकारों, सब्जेक्टों, रोशनी की स्थितियों और रंग पैलेट में। नतीजा एक ऐसा मॉडल है जिसने इम्प्रेशनिस्ट "स्टाइल स्पेस" को आत्मसात कर लिया है, जो किसी एक कलाकार के काम से कहीं ज़्यादा समृद्ध है।
व्यावहारिक रूप से इसका मतलब: जब आप टाइप करते हैं "इसे Monet की स्टाइल में पेंट करो," तो मॉडल ने Monet से जुड़ी इमेज की हर स्टैटिस्टिकल नियमितता सहेजी होती है: उनका पैलेट नीले और बैंगनी की ओर कैसे झुकता है, पानी की सतहों पर क्षैतिज स्ट्रोक की लय, और उनके आखिरी दौर में किनारों का नरम फैलाव। मॉडल यह सब एक साथ बनाता है, इसलिए नहीं कि उसे नियम सिखाए गए थे, बल्कि इसलिए कि उसने पैटर्न सीखे।
सटीक स्टाइल कॉपी करने का सबसे शक्तिशाली तरीका LoRA (Low-Rank Adaptation) है। इससे AI पूरे मॉडल को शुरू से दोबारा ट्रेन किए बिना कोई खास स्टाइल सीख सकता है।
Stable Diffusion 3.5 Large जैसे मॉडल की पूरी फ़ाइन-ट्यूनिंग के लिए भारी कम्प्यूट और लाखों ट्रेनिंग इमेज चाहिए। LoRA इस गणित को पूरी तरह बदल देता है।
LoRA मूल मॉडल के वेट्स के साथ बैठने वाले ट्रेन करने योग्य वेट मैट्रिक्स का एक छोटा सेट जोड़कर काम करता है। ये मैट्रिक्स पूरे मॉडल की तुलना में बहुत छोटे होते हैं (आमतौर पर 200MB से कम)। लेकिन ये बेहद टार्गेटेड होते हैं। ये मॉडल के आउटपुट को एक खास स्टाइल डोमेन की ओर धकेलते हैं।
स्टाइल LoRA ट्रेन करने के लिए चाहिए:
Flux Dev LoRA मॉडल इसे और आगे ले जाता है, जिससे LoRA वेट्स सीधे एक हाई-क्वालिटी जनरेशन पाइपलाइन के भीतर लागू हो सकते हैं, ताकि स्टाइल को लचीले ढंग से अपनाया जा सके।
काम करने वाले कलाकारों के लिए इसका आकर्षण साफ़ है। आप अपनी कलाकृतियों पर या किसी खास ऐतिहासिक कलाकार की स्टाइल पर LoRA ट्रेन कर सकते हैं, और ऐसा AI पा सकते हैं जो माँग पर उस स्टाइल से मेल खाती इमेज बनाए।
| LoRA पैरामीटर | यह क्या नियंत्रित करता है |
|---|---|
| ट्रेनिंग इमेज | एन्कोड की गई विज़ुअल स्टाइल |
| लर्निंग रेट | बेस मॉडल पर स्टाइल कितनी मज़बूती से हावी होती है |
| स्टेप्स | स्टाइल को आत्मसात करने की गहराई |
| ट्रिगर वर्ड | वह टेक्स्ट वाक्यांश जो LoRA को सक्रिय करता है |
प्रोडक्शन के बड़े पैमाने पर स्टाइल की सुसंगति इसीलिए मायने रखती है। इलस्ट्रेटेड कंटेंट बनाने वाली कंपनी अपने मौजूदा ब्रांड इलस्ट्रेशन पर एक ही LoRA ट्रेन कर सकती है और हर टुकड़े के लिए अतिरिक्त कलाकार रखे बिना सैकड़ों ब्रांड-अनुरूप इमेज बना सकती है।
AI स्टाइल कॉपी करने में उल्लेखनीय रूप से अच्छा है। लेकिन यहाँ "स्टाइल" का मतलब साफ़-साफ़ बताना ज़रूरी है, और यह भी कि मौजूदा मॉडल कहाँ अब भी कमज़ोर पड़ते हैं।
इम्प्रेशनिस्ट इमेज पर पर्याप्त ट्रेन किया गया डिफ़्यूज़न मॉडल विश्वसनीय ब्रशस्ट्रोक पैटर्न बनाएगा। वह सही घनत्व और दिशा में छोटे, दिशात्मक स्ट्रोक रखेगा। वह कठोर किनारों से बचेगा। वह रंगों को उसी खास तरीके से मिलाएगा जो उस स्टाइल की पहचान है।
जो AI अच्छी तरह कॉपी करता है:
यहाँ बात ज़्यादा बारीक हो जाती है। वैन गॉग की स्टाइल सिर्फ़ तकनीकी चुनावों का सेट नहीं थी। वह खास भावनात्मक स्थितियों, निजी इतिहास और सोच-समझकर लिए गए कलात्मक फ़ैसलों से उभरी थी।
"वैन गॉग स्टाइल" जनरेट करने वाला AI कुछ ऐसा बनाता है जो वैन गॉग जैसा दिखता है, पर उसके पीछे का कोई इरादा नहीं होता। विज़ुअल स्टैटिस्टिक्स मेल खा जाते हैं। अर्थ गायब रहता है।
जो AI कॉपी नहीं करता:
AI आर्ट का आलोचनात्मक मूल्यांकन करते समय यह अंतर मायने रखता है, लेकिन इससे टूल की उपयोगिता कम नहीं होती। स्टाइल विज़ुअल पैटर्न का एक सेट है। AI उन पैटर्न को बेहद अच्छी तरह कॉपी करता है। वे पैटर्न क्या अर्थ रखते हैं, वह एक अलग सवाल है।
इस लेख में बताई गई तकनीक रिसर्च लैब्स के पीछे बंद नहीं है। यह अभी उपलब्ध है, और PicassoIA पर कई मॉडल खास तौर पर स्टाइल-आधारित जनरेशन के लिए बने हैं।
स्टाइल पुनरुत्पादन में अलग-अलग मॉडल की अलग ताकतें हैं:
फ़ोटोरियलिस्टिक स्टाइल ट्रांसफ़र के लिए: Flux Dev और Flux Pro पहली पसंद हैं। दोनों Black Forest Labs के आर्किटेक्चर पर आधारित हैं, जो टेक्स्ट प्रॉम्प्ट में स्टाइल वर्णनकर्ताओं को समझने में खास तौर पर मज़बूत है। आप "ऑयल पेंटिंग, मोटे ब्रशस्ट्रोक, गर्म पैलेट" लिख सकते हैं और आउटपुट उन शर्तों को भरोसेमंद ढंग से दिखाएगा।
अधिकतम क्वालिटी और डिटेल के लिए: Flux 1.1 Pro Ultra 4 मेगापिक्सल पर जनरेट करता है, जिसका मतलब है कि स्टाइल के टेक्सचर पूरे रेज़ोल्यूशन पर दिखते हैं। ब्रशस्ट्रोक के पैटर्न, कैनवास का दाना, पेंट की परतें: यह सब ऐसे डिटेल स्तर पर रेंडर होता है जो स्कैन की गई कलाकृति के करीब पहुँचता है।
मौजूदा फ़ोटो को नई स्टाइल में बदलने के लिए: Flux Kontext Pro एक इनपुट इमेज और टेक्स्ट निर्देश लेता है। आप कोई फ़ोटो लेकर उसे वॉटरकलर, ग्रेफ़ाइट स्केच या ऑयल पेंटिंग स्टाइल में रेंडर करने को कह सकते हैं, और मूल का कंटेंट बना रहता है।
रियलिस्टिक फ़ोटोग्राफ़िक स्टाइल के लिए: RealVisXL v3.0 Turbo और Realistic Vision v5.1 खास तौर पर हाइपर-रियलिस्टिक आउटपुट के लिए बने हैं। जब आपको जो "स्टाइल" चाहिए वह पेंटरली आर्ट के बजाय डॉक्यूमेंट्री फ़ोटोग्राफ़ी हो, तब ये मॉडल खरे उतरते हैं।
तेज़ी से प्रयोग के लिए: Imagen 4 Fast और Flux Schnell तेज़ी से जनरेट करते हैं, इसलिए जब आप अंतिम जनरेशन से पहले कई स्टाइल वर्णन जल्दी से आज़माना चाहें, तो ये आदर्श हैं।
प्रॉम्प्ट में आप स्टाइल का वर्णन कैसे करते हैं, इसका सीधा असर पड़ता है कि मॉडल उसे कितनी अच्छी तरह दोहराता है। अस्पष्ट स्टाइल शब्द अस्पष्ट नतीजे देते हैं। विशिष्ट तकनीकी वर्णन सटीक आउटपुट देते हैं।
कम प्रभावी:
"in the style of impressionism"
अधिक प्रभावी:
"loose oil paint brushstrokes, visible impasto texture, soft edges, warm sunlit palette with cobalt blue shadows, Monet-influenced treatment of water reflections, square brush marks in foreground grass"
दूसरा प्रॉम्प्ट मॉडल को ठोस विज़ुअल स्टैटिस्टिक्स देता है, जिन्हें वह निशाना बना सके। हर वर्णनकर्ता मॉडल की सीखी हुई किसी असली विशेषता से मेल खाता है।
एक उपयोगी टिप: अपने प्रॉम्प्ट में आर्ट मटीरियल जोड़ने से स्टाइल सीमित करने में मदद मिलती है। "Watercolor wash on cold-press paper", "charcoal on newsprint" और "gouache with matte finish" इतने खास हैं कि मॉडल उनके बारे में मज़बूत समझ रखता है।
AI स्टाइल कॉपी करने के पीछे की मशीनरी सचमुच प्रभावशाली है: कन्वोल्यूशनल न्यूरल नेटवर्क जो कंटेंट को स्टाइल स्टैटिस्टिक्स से अलग करते हैं, डिफ़्यूज़न मॉडल जो अरबों ट्रेनिंग उदाहरणों से नॉइज़ उलटना सीखते हैं, LoRA एडैप्टर जो कुछ सौ मेगाबाइट में खास विज़ुअल डोमेन एन्कोड करते हैं, और फ़ीड-फ़ॉरवर्ड नेटवर्क जो घंटों की गणना को मिलीसेकंड में समेट देते हैं।
लेकिन सबसे दिलचस्प बात यह है कि यह सब अब आपके हाथ में है। इसे इस्तेमाल करने के लिए आपको रिसर्च का बैकग्राउंड नहीं चाहिए। आपको एक प्रॉम्प्ट और एक मॉडल की ज़रूरत है।
ऐसी किसी स्टाइल से शुरू करें जो आपको दिलचस्प लगे, चाहे वह Klimt की संतृप्त ज्यामिति हो, Ansel Adams का मोनोक्रोम दाना, Egon Schiele की ढीली चारकोल रेखाएँ, या बस "linen curtains से छनकर आती दोपहर की धूप।" ऊपर की सूची से कोई मॉडल चुनें। उसे चलाएँ। फिर एक शब्द बदलें और दोबारा चलाएँ।
असली रचनात्मकता इसी दोहराव की प्रक्रिया में है। गणना का काम AI संभाल रहा है। सौंदर्य से जुड़े फ़ैसले अब भी पूरी तरह आपके हैं।
PicassoIA पर अभी आज़माएँ और देखें कि आपके पहले प्रॉम्प्ट से क्या निकलता है।
अपनी भाषा चुनें
