क्या आपने कभी सोचा है कि AI वीडियो टूल में फ़ोटो डालने पर असल में क्या होता है? यह लेख डिफ्यूज़न मॉडल से लेकर टेम्पोरल कोहेरेंस तक की असली मैकेनिक्स समझाता है, ताकि आप इसे जादू मानना छोड़ दें और देखें कि यह एक ही स्थिर इमेज से मोशन कैसे बनाता है।
जब आप किसी आधुनिक AI वीडियो टूल में एक फ़ोटो डालते हैं, तो कुछ अजीब होता है। कुछ ही सेकंड में बादल खिसकने लगते हैं, समुद्र की सतह पर लहरें उठने लगती हैं, और फ़्रेम में मौजूद व्यक्ति धीरे-धीरे अपना सिर घुमाता है। इमेज अब जमी हुई नहीं रहती। उसमें जैसे सांस आ जाती है। उन कुछ सेकंडों में इन मॉडलों के अंदर असल में क्या होता है? यह लेख सब कुछ समझाता है, गणित से लेकर मोशन तक, ताकि आप इसे जादू मानना छोड़ें और उस असली मैकेनिक्स को देखें जो आज AI की सबसे प्रभावशाली तकनीकों में से एक को चलाती है।
किसी भी चीज़ के चलने से पहले, मॉडल को आपकी इमेज पढ़नी होती है, और इस संदर्भ में "पढ़ना" का एक बहुत खास मतलब है।
मॉडल की नज़र से, आपकी फ़ोटो एक टेंसर है: संख्याओं का एक त्रि-आयामी ऐरे, जो लाल, हरे और नीले चैनलों में पिक्सल की तीव्रता को दर्शाता है। 1024x576 की इमेज में 17 लाख से थोड़ी ज़्यादा संख्याएँ होती हैं। AI उस तरह "देखता" नहीं जैसे इंसान देखता है। वह उन संख्यात्मक ऐरे के भीतर सांख्यिकीय पैटर्न को प्रोसेस करता है, वे पैटर्न जो उसने ट्रेनिंग के दौरान लाखों इमेज-वीडियो जोड़ियों से सीखे।
इसका मतलब है कि मॉडल को इस बात की कोई सिमेंटिक समझ नहीं होती कि लहर "होती क्या" है। उसने पर्याप्त पिक्सल पैटर्न देखे हैं जो लहरों जैसे दिखते हैं, और उन लहरों के चलने वाले छोटे वीडियो क्रम भी काफ़ी देखे हैं, जिनसे वह एक प्रॉबेबिलिस्टिक मॉडल बनाता है कि समय के साथ उन पिक्सलों को कैसे बदलना चाहिए। दूसरे शब्दों में, मोशन संख्यात्मक बदलाव के एक सांख्यिकीय पैटर्न के रूप में एन्कोड होता है।
कच्चे पिक्सल को प्रोसेस करना कम्प्यूटेशनल रूप से महंगा है, इसलिए आधुनिक इमेज-टू-वीडियो मॉडल सीधे पिक्सल स्पेस में काम नहीं करते। इसके बजाय वे वेरिएशनल ऑटोएनकोडर (VAE) का उपयोग करके इमेज को एक छोटे लेटेंट रिप्रेज़ेंटेशन में संपीड़ित करते हैं, जो हर स्पेशियल डायमेंशन में आमतौर पर 8 से 16 गुना छोटा होता है।
आपकी 1024x576 इमेज एक संक्षिप्त 128x72 टेंसर बन जाती है, जो उस चीज़ में तैरता है जिसे रिसर्चर लेटेंट स्पेस कहते हैं। यह संपीड़ित रिप्रेज़ेंटेशन इमेज का सिमेंटिक अर्थ बनाए रखता है: कंपोज़िशन, सब्जेक्ट, लाइटिंग की स्थिति, और हर बेकार पिक्सल को साथ लिए बिना। सारा मोशन जनरेशन इसी लेटेंट स्पेस में होता है। केवल आखिरी डिकोडिंग स्टेप पर मॉडल नतीजे को वापस देखे जा सकने वाले पिक्सल में बदलता है।
💡 लेटेंट स्पेस में काम करना सिर्फ़ स्पीड का ऑप्टिमाइज़ेशन नहीं है। इससे मॉडल व्यक्तिगत पिक्सल वैल्यू के बजाय संरचनाओं और अवधारणाओं के स्तर पर तर्क करता है, और इससे फ़्रेमों के बीच ज़्यादा स्मूथ और कोहेरेंट मोशन बनता है।
आज के ज़्यादातर शीर्ष इमेज-टू-वीडियो मॉडल डिफ्यूज़न मॉडल पर बने हैं, वही बुनियादी आर्किटेक्चर जो सबसे अच्छे टेक्स्ट-टू-इमेज सिस्टम को चलाता है। अगर आपने कोई आधुनिक इमेज जनरेटर इस्तेमाल किया है, तो आप पहले ही इस तकनीक के साथ काम कर चुके हैं।
डिफ्यूज़न दो चरणों में काम करता है: एक फ़ॉरवर्ड प्रोसेस और एक रिवर्स प्रोसेस।
फ़ॉरवर्ड प्रोसेस (ट्रेनिंग के समय) में मॉडल साफ़ ट्रेनिंग डेटा लेता है, इस मामले में असली वीडियो क्लिप, और उसमें धीरे-धीरे रैंडम गॉसियन नॉइज़ जोड़ता है, जब तक डेटा पूरी तरह पहचान से बाहर न हो जाए। यह प्रक्रिया हज़ारों छोटे स्टेप्स में चलती है।
रिवर्स प्रोसेस (इनफ़रेंस के समय, यानी जब आप सच में इसे इस्तेमाल करते हैं) में मॉडल को उस नॉइज़ को हटाना होता है। शुद्ध नॉइज़ के एक बादल से शुरू करके, वह हर स्टेप पर बार-बार नॉइज़ का अनुमान लगाकर उसे हटाता है, और कंडीशनिंग सिग्नल उसका मार्गदर्शन करता है: आपकी इनपुट इमेज और दिया गया कोई भी टेक्स्ट प्रॉम्प्ट। काफ़ी डीनॉइज़िंग स्टेप के बाद, जो शुरू में स्थिर था, उससे एक कोहेरेंट वीडियो उभर आता है।
मॉडल को असल में जो ट्रेन किया जाता है वह है नॉइज़ प्रेडिक्शन फ़ंक्शन का अनुमान लगाना: किसी खास नॉइज़ लेवल पर एक नॉइज़ी सैंपल दिया गया हो, तो मूल साफ़ सिग्नल क्या था? आर्किटेक्चर, जो आमतौर पर U-Net या ट्रांसफ़ॉर्मर-आधारित डिज़ाइन होता है, यह प्रेडिक्शन क्षमता इतनी सटीकता से बनाता है कि उसे उलटा चलाने पर लगातार फ़ोटोरियलिस्टिक नतीजे मिलते हैं।
स्थिर इमेज के लिए डिफ्यूज़न 2D स्पेस में काम करता है। वीडियो के लिए मॉडल को 3D स्पेस में काम करना होता है: चौड़ाई, ऊँचाई और समय। यहीं आर्किटेक्चर काफ़ी जटिल हो जाता है।
एक ही फ़्रेम को डीनॉइज़ करने के बजाय, मॉडल फ़्रेमों के एक स्टैक को एक साथ डीनॉइज़ करता है। फ़्रेमों की संख्या मॉडल के हिसाब से बदलती है, आमतौर पर टारगेट अवधि और फ़्रेम रेट के आधार पर 16 से 81 फ़्रेम के बीच। हर स्टेप पर सभी फ़्रेम डीनॉइज़ होते हैं, और सबसे अहम बात यह है कि मॉडल 3D अटेंशन मैकेनिज़्म लागू करता है, जिससे हर फ़्रेम डीनॉइज़ करते समय बाकी सभी फ़्रेम "देख" सकता है।
यही 3D अटेंशन वीडियो को असंबंधित इमेजों की स्लाइडशो जैसा दिखने से रोकता है। हर फ़्रेम अपने पड़ोसियों की पूरी जानकारी के साथ सह-जनित होता है।
फ़्रेम जनरेट करना एक समस्या है। उन फ़्रेमों को एक-दूसरे में स्वाभाविक रूप से बहने देना बिल्कुल अलग और कहीं कठिन समस्या है।
कल्पना करें कि किसी व्यक्ति के चलने के 25 स्वतंत्र फ़्रेम जनरेट किए गए। भले ही हर अलग फ़्रेम परफ़ेक्ट दिखे, टेम्पोरल कोहेरेंस के बिना उस व्यक्ति की जैकेट का रंग फ़्रेमों के बीच बेतरतीब बदलेगा, उसकी चाल झटके खाएगी, और बैकग्राउंड असंगत टेक्सचर के साथ टिमटिमाएगा। नतीजा असली मोशन जैसा बिल्कुल नहीं दिखेगा।
टेम्पोरल कोहेरेंस वह गुण है जिसमें पड़ोसी फ़्रेम समय के साथ एक-दूसरे से मेल खाते रहते हैं। आधुनिक मॉडल इसे कई मैकेनिज़्म से हासिल करते हैं:
ऑप्टिकल फ़्लो कंप्यूटर विज़न की एक क्लासिकल अवधारणा है: फ़्रेम N के हर पिक्सल के लिए, कौन-सा वेक्टर बताता है कि वह फ़्रेम N+1 में कितना विस्थापित हुआ? पारंपरिक वीडियो एडिटिंग में ऑप्टिकल फ़्लो एल्गोरिदम से स्पष्ट रूप से गणना किया जाता था। आधुनिक AI वीडियो जनरेशन में मॉडल अपने ट्रेनिंग उद्देश्य के हिस्से के रूप में इम्प्लिसिट ऑप्टिकल फ़्लो विकसित करता है।
इसीलिए Wan 2.6 I2V या Kling v3 Video जैसे उच्च-गुणवत्ता वाले मॉडल ऐसा मोशन बनाते हैं जो भौतिक रूप से विश्वसनीय लगता है: मोशन पैटर्न सांख्यिकीय रूप से उसी तरह मेल खाते हैं जैसे असल दुनिया में असली चीज़ें चलती हैं, जिसमें सेकेंडरी मोशन की बारीकियाँ भी शामिल हैं (सिर घूमने पर बाल लहराना, किसी के चलने पर कपड़े का लटकना)।
मॉडल को अपनी इमेज देना सिर्फ़ शुरुआत है। ज़्यादातर आधुनिक इमेज-टू-वीडियो सिस्टम अतिरिक्त इनपुट स्वीकार करते हैं जो मोशन के प्रकार, दिशा और तीव्रता को नियंत्रित करते हैं।
"ocean waves crashing, slow motion" जैसा टेक्स्ट प्रॉम्प्ट जोड़ने पर वह सिर्फ़ कंटेंट का वर्णन नहीं करता। वह सक्रिय रूप से डीनॉइज़िंग प्रक्रिया को कंडीशन करता है। टेक्स्ट को एक लैंग्वेज मॉडल (अक्सर CLIP या T5) की मदद से हाई-डायमेंशनल वेक्टर में एन्कोड किया जाता है, और यह वेक्टर हर डीनॉइज़िंग स्टेप पर डिफ्यूज़न मॉडल की क्रॉस-अटेंशन लेयर्स में डाला जाता है।
इसका मतलब है कि टेक्स्ट कोई बाद का विचार नहीं है। यह एक लाइव सिग्नल है जो तय करता है कि मॉडल आपकी इमेज को कैसे समझता है और किस तरह का मोशन पैटर्न बनाता है। कैमरा मूवमेंट ("slow pan left"), सब्जेक्ट का व्यवहार ("woman laughing"), या पर्यावरण की स्थिति ("wind blowing through trees") का वर्णन करने से संभावित वीडियो के प्रॉबेबिलिटी डिस्ट्रीब्यूशन उस नतीजे की ओर खिसक जाते हैं जो आप चाहते हैं।
💡 प्रॉम्प्ट की सटीकता मायने रखती है: आपका मोशन वर्णन जितना स्पेसिफ़िक होगा, मॉडल उसके आउटपुट को उतना ही बेहतर सीमित कर पाएगा। "Clouds moving" कमज़ोर है। "Slow-moving alto-cumulus clouds drifting diagonally from bottom-left to top-right" मॉडल को कहीं ज़्यादा दिशा देता है।
अब कुछ मॉडल स्पष्ट कैमरा कंट्रोल इनपुट स्वीकार करते हैं। Kling v2.6 Motion Control आपको कैमरा ट्रेजेक्टरी तय करने देता है, और Minimax Video 01 Director आपको कैमरा मूवमेंट के खास प्रकार सेट करने देता है। ये इमेज और टेक्स्ट के साथ कंडीशनिंग सिग्नल में कैमरा पोज़ एम्बेडिंग डालकर काम करते हैं।
नतीजा क्रिएटिव कंट्रोल की एक नई श्रेणी है, जो पुराने फ़्रेम इंटरपोलेशन तरीकों से बिल्कुल संभव नहीं थी।
पिछले 18 महीनों में सक्षम इमेज-टू-वीडियो मॉडलों की संख्या तेज़ी से बढ़ी है। यहाँ दिया गया है कि प्रमुख परिवार अपने तरीके और आउटपुट के स्वभाव में कैसे अलग हैं।
Wan-Video का Wan मॉडल परिवार आज उपलब्ध स्पीड और क्वालिटी के बीच समझौतों की सबसे व्यापक रेंज में से एक देता है। Wan 2.6 I2V Flash और Wan 2.5 I2V Fast तेज़ जनरेशन के लिए अनुकूलित हैं और ठोस टेम्पोरल कोहेरेंस देते हैं, जबकि Wan 2.2 I2V A14B ज़्यादा पैरामीटर काउंट पर क्वालिटी को प्राथमिकता देता है।
Wan आर्किटेक्चर पारंपरिक U-Net के बजाय DiT (Diffusion Transformer) बैकबोन इस्तेमाल करता है, जो कंप्यूट के साथ ज़्यादा कुशलता से स्केल होता है और मल्टी-फ़्रेम जनरेशन की 3D अटेंशन ज़रूरतों को ज़्यादा स्वाभाविक ढंग से संभालता है।
| मॉडल | स्पीड | रिज़ॉल्यूशन | फ़्रेम |
|---|---|---|---|
| Wan 2.6 I2V Flash | बहुत तेज़ | 720p | 16-33 |
| Wan 2.5 I2V Fast | तेज़ | 720p | 33 |
| Wan 2.6 I2V | स्टैंडर्ड | 720p+ | 33-81 |
Kling, Kuaishou के AI डिवीज़न से, एक अलग आर्किटेक्चरल तरीका अपनाता है जिसमें सिनेमैटिक मोशन क्वालिटी पर ज़ोर है। Kling v3 Video और Kling v2.6 लगातार ऐसे नतीजे देते हैं जिनमें सेकेंडरी मोशन स्वाभाविक लगता है: बालों की फ़िज़िक्स, कपड़े की गतिकी, पानी के कॉस्टिक्स। यह क्यूरेटेड हाई-क्वालिटी सिनेमैटिक फ़ुटेज पर ट्रेनिंग से आता है, न कि सामान्य इंटरनेट वीडियो से।
ख़ास तौर पर इमेज एनिमेशन के लिए, Kling v2.1 अब भी उन सबसे भरोसेमंद मॉडलों में से है जो पोर्ट्रेट फ़ोटो लेकर विश्वसनीय सिर और चेहरे की हरकत बना सकता है।
Minimax की Hailuo सीरीज़ सबसे ऊपर फ़ोटो-रियलिज़्म को लक्ष्य बनाती है। Hailuo 2.3 और Hailuo 2.3 Fast पोर्ट्रेट और ब्यूटी कंटेंट पर खास तौर पर मज़बूत हैं, और ऐसा मोशन देते हैं जो फ़्रेमों के बीच पहचान को अच्छी तरह बनाए रखता है। Video 01 Live मॉडल स्थिर इमेज को एनिमेट करने में माहिर है, और क्लिप भर में सब्जेक्ट की विश्वसनीयता बनाए रखने पर ध्यान देता है।
💡 खास तौर पर पोर्ट्रेट और चेहरे के एनिमेशन के लिए, Hailuo 2.3 और Kling v2.1 जैसे हाई-रिज़ॉल्यूशन फ़ेशियल डेटा पर ट्रेन किए गए मॉडल लगातार सामान्य-उद्देश्य मॉडलों से बेहतर प्रदर्शन करते हैं।
कुछ पुराने लेकिन अब भी उपलब्ध मॉडल दिखाते हैं कि यह क्षेत्र कैसे आगे बढ़ा। Alibaba की रिसर्च टीम का I2VGen XL उन पहले बड़े पैमाने के इमेज-टू-वीडियो मॉडलों में से था जिसमें दो-चरणीय जनरेशन था: एक मोटा मोशन पास, उसके बाद हाई-रिज़ॉल्यूशन रिफ़ाइनमेंट पास। PIA (Personalized Image Animator) इस बात के लिए उल्लेखनीय था कि यह प्लग-इन मोशन मॉड्यूल स्वीकार करता था, जिससे बिना रीट्रेनिंग के एक ही इमेज पर अलग-अलग मोशन स्टाइल लागू किए जा सकते थे।
ये पुराने तरीके स्पष्ट मोशन टेम्पलेट पर ज़्यादा निर्भर थे, न कि सामान्यीकृत सांख्यिकीय अनुमान पर, और इस वजह से वे तेज़ तो थे, लेकिन आज के DiT-आधारित सिस्टम जितने लचीले नहीं थे।
सभी AI-जनरेटेड वीडियो एक जैसे विश्वसनीय नहीं दिखते। अंतर आमतौर पर दो कारकों पर निर्भर करता है।
मौजूदा इमेज-टू-वीडियो मॉडल फ़िज़िक्स का सिमुलेशन नहीं करते। वहाँ कोई रिजिड बॉडी डायनामिक्स इंजन नहीं है, कोई फ़्लूइड सिमुलेशन नहीं है, कपड़े के लिए कोई स्प्रिंग सिस्टम नहीं है। मोशन की यथार्थता पूरी तरह असली वीडियो डेटा पर ट्रेनिंग से सीखे गए सांख्यिकीय पैटर्न से आती है।
इसका एक बहुत खास मतलब है: मॉडल उन सब्जेक्ट पर सबसे अच्छा प्रदर्शन करते हैं जो ट्रेनिंग डेटा में अक्सर आए हों। मानव शरीर, चेहरे, प्राकृतिक परिवेश (पानी, पेड़, बादल) और कैमरा शेक असली दुनिया के वीडियो में भारी मात्रा में मौजूद हैं। ये सब्जेक्ट विश्वसनीय ढंग से एनिमेट होते हैं। अमूर्त सब्जेक्ट, असामान्य लाइटिंग की स्थितियाँ, या सिंथेटिक दिखने वाली इनपुट इमेज अक्सर आर्टिफ़ैक्ट पैदा करती हैं, क्योंकि मॉडल के पास खींचने के लिए कम सांख्यिकीय पैटर्न होते हैं।
इसीलिए इन मॉडलों के लिए प्रॉम्प्ट इंजीनियरिंग में परिचित, फ़ोटोरियलिस्टिक स्थितियों का वर्णन करने को अधिक फ़ायदेमंद माना जाता है, न कि अमूर्त या स्टाइलाइज़्ड स्थितियों का।
हर इमेज-टू-वीडियो मॉडल एक कंप्यूट ट्रायंगल का सामना करता है: रिज़ॉल्यूशन, फ़्रेम रेट और अवधि। आप तीनों को एक साथ अधिकतम नहीं कर सकते।
| प्राथमिकता | आप क्या त्यागते हैं |
|---|---|
| हाई रिज़ॉल्यूशन (1080p+) | कम फ़्रेम या छोटी अवधि |
| हाई FPS (24fps+) | कम रिज़ॉल्यूशन या छोटी अवधि |
| लंबी अवधि (10s+) | कम रिज़ॉल्यूशन या कम FPS |
Lightricks का LTX 2.3 Pro जैसे मॉडल 4K आउटपुट की ओर जाते हैं, जबकि Wan 2.1 I2V 480p स्पीड और लागत के लिए रिज़ॉल्यूशन का त्याग करता है। सही मॉडल चुनने का मतलब है इन ट्रेड-ऑफ़ को अपने खास उपयोग के मामले से मिलाना, न कि लीडरबोर्ड पर जो सबसे ऊपर हो उसे डिफ़ॉल्ट मान लेना।
💡 सोशल मीडिया कंटेंट के लिए, जहाँ 720p पर्याप्त है, Wan 2.6 I2V Flash या Hailuo 2.3 Fast जैसे तेज़ मॉडल अक्सर उन हाई-रिज़ॉल्यूशन मॉडलों से प्रति जनरेशन बेहतर नतीजे देते हैं जो अपनी क्वालिटी की सीमा पर चल रहे हों।
80 से ज़्यादा वीडियो जनरेशन विकल्पों के साथ, मॉडल को काम से मिलाना इस बात से ज़्यादा मायने रखता है कि कौन-सा नाम सबसे प्रभावशाली लगता है। यहाँ एक त्वरित संदर्भ है:
| उपयोग का मामला | अनुशंसित मॉडल |
|---|---|
| पोर्ट्रेट और चेहरे का एनिमेशन | Kling v2.1, Hailuo 2.3 |
| लैंडस्केप और प्रकृति का मोशन | Wan 2.6 I2V, Wan 2.5 I2V |
| सिनेमैटिक क्वालिटी आउटपुट | Kling v3 Video, Kling v2.6 |
| सबसे ऊपर स्पीड | Wan 2.6 I2V Flash, Hailuo 2.3 Fast |
| कैमरा मोशन कंट्रोल | Kling v2.6 Motion Control |
| हाई-रिज़ॉल्यूशन आउटपुट | LTX 2.3 Pro |
ऊपर बताई गई तकनीक सिर्फ़ सैद्धांतिक नहीं है। इस लेख में बताया गया हर मॉडल अभी PicassoIA पर उपलब्ध है, और इसके लिए APIs सेट करने, कंप्यूट मैनेज करने या कुछ इंस्टॉल करने की ज़रूरत नहीं है। कोई फ़ोटो लें जो आपके पास पहले से है, एक छोटा मोशन वर्णन लिखें, ऊपर की तालिका के आधार पर मॉडल चुनें, और उसे चलाएँ। यह समझने और सच में करने के बीच का फ़ासला एक क्लिक का है।
हर रिलीज़ साइकल के साथ मॉडल बेहतर होते हैं। Wan 2.5 I2V आज जो बनाता है, वह 12 महीने पहले संभव था उससे काफ़ी बेहतर है, और अगले रिलीज़ पहले से विकसित हो रहे हैं। जिज्ञासु बने रहना और नियमित रूप से प्रयोग करना संभव की सीमा से आगे रहने का सबसे अच्छा तरीका है।
चाहे आप पोर्ट्रेट एनिमेट कर रहे हों, लैंडस्केप को जीवंत बना रहे हों, या बड़े पैमाने पर सोशल कंटेंट बना रहे हों, ये टूल उन्हीं लोगों को इनाम देते हैं जो इन्हें सच में इस्तेमाल करते हैं। एक इमेज से शुरुआत करें और देखें क्या होता है।
अपनी भाषा चुनें
