टेक्स्ट-टू-वीडियो AI आपके शब्दों को असली मूविंग फ़ुटेज में कैसे बदलता है, इसका साफ़ विवरण। डिफ्यूज़न मॉडल और लेटेंट स्पेस एन्कोडिंग से लेकर फ़्रेम-दर-फ़्रेम सिंथेसिस और टेम्पोरल कंसिस्टेंसी तक, यह लेख जार्गन हटाकर बताता है कि Veo 3, Kling, Wan और Sora जैसे मॉडलों के अंदर जनरेट बटन दबाने पर असल में क्या होता है।
आप एक वाक्य टाइप करते हैं। कुछ सेकंड बाद एक वीडियो क्लिप सामने आ जाती है, जो आपके शब्दों से लगभग हूबहू मेल खाती है। न कैमरा, न एक्टर, न एडिटिंग सूट। बस एक प्रॉम्प्ट और एक चलता हुआ मॉडल। अगर यह होते देखकर भी आपको यकीन नहीं होता, तो आप अकेले नहीं हैं। टेक्स्ट-टू-वीडियो AI के पीछे की प्रक्रिया सचमुच हैरान करने वाली है, और ज़्यादातर स्पष्टीकरण उसे समझने के बजाय और मुश्किल बना देते हैं। तो यहाँ असली तस्वीर है: सीधी, सटीक, और हाइप से दूर।
टेक्स्ट-टू-वीडियो AI शब्दों से शुरू होता है, लेकिन मॉडल जिस चीज़ को प्रोसेस करता है वह आपके टाइप किए वाक्य जैसी बिल्कुल नहीं है। जैसे ही आप जनरेट दबाते हैं, आपका प्रॉम्प्ट एक टोकन सीक्वेंस में बदल जाता है, यानी आपके टेक्स्ट का संख्यात्मक रूप, जिसमें हर शब्द, या कभी-कभी शब्द का हिस्सा, ट्रेनिंग के दौरान बने एक विशाल लुकअप टेबल की किसी संख्या से जुड़ जाता है।
यह टोकन सीक्वेंस फिर एक टेक्स्ट एन्कोडर से गुज़रता है, एक न्यूरल नेटवर्क जिसे खास तौर पर भाषा से अर्थ निकालने के लिए ट्रेन किया गया है। एन्कोडर के आउटपुट को एम्बेडिंग वेक्टर कहते हैं: फ़्लोटिंग-पॉइंट संख्याओं की एक लंबी सूची, जो एक हाई-डाइमेंशनल गणितीय स्पेस में आपके प्रॉम्प्ट का अर्थ दर्शाती है। इसे वाक्य के बजाय एक विशाल वैचारिक नक्शे पर एक निर्देशांक (coordinate) समझिए। "गीली रेत पर दौड़ता हुआ एक कुत्ता" उस स्पेस में "समुद्र तट पर दौड़ता एक पिल्ला" के बहुत करीब बैठता है, और "शाम के समय एक स्टील फ़ैक्टरी" से बहुत दूर।
यह अंतर मायने रखता है, क्योंकि मॉडल आपके प्रॉम्प्ट को उस तरह कभी नहीं पढ़ता जैसे आप पढ़ते हैं। वह नैरेटिव स्ट्रक्चर, व्याकरण या क्रम का विश्लेषण नहीं करता। वह पूरी तरह उसी संक्षिप्त एम्बेडिंग पर काम करता है और उसी से एक जनरेशन प्रक्रिया को दिशा देता है, जो आपके शब्दों से बिल्कुल अलग जगह से शुरू होती है। इसीलिए बहुत खास शब्दों का चुनाव आपके आउटपुट को नाटकीय रूप से बदल सकता है, भले ही सतही अर्थ एक जैसा लगे। एम्बेडिंग स्पेस शब्दावली, विशिष्टता और अवधारणाओं के आपसी रिश्तों के प्रति संवेदनशील होता है।
ज़्यादातर मौजूदा मॉडल इन एम्बेडिंग को बनाने के लिए ट्रांसफ़ॉर्मर आर्किटेक्चर के किसी वर्ज़न का इस्तेमाल करते हैं। ट्रांसफ़ॉर्मर के अंदर एक अटेंशन मैकेनिज़्म हर टोकन को बाकी हर टोकन को देखने और उनके लिए प्रासंगिकता के वेट तय करने देता है। "Sunset" का सेमांटिक वज़न "ocean" के साथ बैठने पर "warehouse" के साथ बैठने से ज़्यादा होता है। यह वेटेड कॉन्टेक्स्ट ही अंतिम एम्बेडिंग को आकार देता है, जो वीडियो जनरेटर तक जाती है। इसीलिए रिलेशनल विवरण वाले प्रॉम्प्ट, जैसे "एक बिल्ली एक घिसे हुए चमड़े के सोफ़े के ऊपर सो रही है जो एक खिड़की के बगल में है", सिर्फ़ कीवर्ड की सपाट सूची से ज़्यादा स्थानिक रूप से सटीक आउटपुट देते हैं।
ज़्यादातर अत्याधुनिक मॉडलों में वास्तविक वीडियो जनरेशन, जिनमें Veo 3, Wan 2.6 T2V और Kling v3 Video शामिल हैं, डिफ्यूज़न नाम की एक प्रक्रिया पर निर्भर करती है। एक बार आप डिफ्यूज़न को समझ लें, तो टेक्स्ट-टू-वीडियो AI की बाकी हर चीज़ अपनी जगह पर बैठ जाती है।
मॉडल किसी खाली कैनवास या आपके दृश्य के मोटे स्केच से शुरू नहीं करता। वह लेटेंट स्पेस नाम के वीडियो स्पेस के एक कंप्रेस्ड रूप में शुद्ध रैंडम नॉइज़ के एक टेंसर से शुरू करता है, यानी बेतरतीब, लगभग अर्थहीन बिखरे हुए मान। लेटेंट स्पेस असली वीडियो डेटा का कम-रिज़ॉल्यूशन और ज़्यादा अमूर्त एन्कोडिंग है। कच्चे पिक्सल के बजाय लेटेंट स्पेस में काम करना ही डिफ्यूज़न को कम्प्यूटेशनल रूप से संभव बनाता है। कच्चे 1080p वीडियो को पिक्सल स्पेस में फ़्रेम-दर-फ़्रेम संभालने के लिए मौजूदा हार्डवेयर से कहीं ज़्यादा कंप्यूट संसाधन चाहिए होते।
नॉइज़ जानबूझकर रखा जाता है। डिफ्यूज़न मॉडल इसका उल्टा करके ट्रेन होते हैं: असली वीडियो क्लिप लेकर उनमें धीरे-धीरे नॉइज़ जोड़ा जाता है, जब तक वे पहचानने लायक न रहें, और फिर एक न्यूरल नेटवर्क को हर कदम पर उस नॉइज़ को अनुमान लगाकर उलटना सिखाया जाता है।
उस शुरुआती नॉइज़ से मॉडल डीनॉइज़िंग स्टेप्स की एक श्रृंखला चलाता है, जो मॉडल और क्वालिटी सेटिंग के आधार पर आमतौर पर 20 से 50 इटरेशन के बीच होती है। हर स्टेप पर डीनॉइज़र नाम का एक न्यूरल नेटवर्क, जो आमतौर पर U-Net या नया डिफ्यूज़न ट्रांसफ़ॉर्मर आर्किटेक्चर होता है, तीन इनपुट लेता है: मौजूदा नॉइज़ी लेटेंट, आपके प्रॉम्प्ट का टेक्स्ट एम्बेडिंग, और एक टाइमस्टेप वैल्यू जो बताती है कि डीनॉइज़िंग प्रक्रिया कितनी आगे बढ़ चुकी है। वह अनुमान लगाता है कि उस स्टेप पर कौन सा नॉइज़ जोड़ा गया था। मॉडल वह अनुमानित नॉइज़ घटा देता है, जिससे नतीजा थोड़ा और सुसंगत हो जाता है।
यह प्रक्रिया 30 से 50 बार चलाइए, और रैंडम नॉइज़ धीरे-धीरे एक वीडियो क्लिप में बदल जाता है जो आपके प्रॉम्प्ट को दर्शाती है।
आपका टेक्स्ट एम्बेडिंग सिर्फ़ पहले स्टेप पर नहीं, बल्कि हर एक डीनॉइज़िंग स्टेप पर मौजूद रहता है। यह क्लासिफ़ायर-फ़्री गाइडेंस नाम की तकनीक के ज़रिए प्रक्रिया को लगातार दिशा देता है। डीनॉइज़र हर स्टेप पर एक साथ दो अनुमान लगाता है: एक आपके प्रॉम्प्ट एम्बेडिंग पर आधारित और एक उसके बिना। इन दोनों अनुमानों का अंतर बढ़ाकर आउटपुट में जोड़ा जाता है। गाइडेंस स्केल बढ़ाने पर नतीजे पर आपके प्रॉम्प्ट का असर ज़्यादा होता है। लेकिन इसे बहुत ज़्यादा बढ़ा दें तो आउटपुट ओवरसैचुरेटेड हो जाता है और आर्टिफ़ैक्ट दिखने लगते हैं।
एक सुसंगत इमेज बनाना एक समस्या है। दर्जनों या सैकड़ों फ़्रेम बनाना जो समय के साथ लगातार बहें एक मूल रूप से कठिन समस्या है, और यहीं टेक्स्ट-टू-वीडियो AI टेक्स्ट-टू-इमेज AI से साफ़ तौर पर अलग हो जाता है।
एक स्थिर इमेज को अलग से परखा जा सकता है। वीडियो को नहीं। अगर AI मॉडल हर फ़्रेम को अलग-अलग बनाता है, तो विज़ुअल फ़्लिकरिंग, पिघलती वस्तुएँ और ऐसे किरदार दिखते हैं जिनका चेहरा फ़्रेम-दर-फ़्रेम थोड़ा बदलता रहता है। इस समस्या को टेम्पोरल इनकंसिस्टेंसी कहते हैं, और यह शुरुआती टेक्स्ट-टू-वीडियो मॉडलों की सबसे बड़ी और सबसे पहचानी जाने वाली सीमा थी। 2023 में रिलीज़ हुए मॉडलों के शुरुआती आउटपुट देखिए, तो यह तुरंत दिख जाएगा: सब्जेक्ट सही होता है, लेकिन सब कुछ ऐसे झिलमिलाता और खिसकता है जैसे गर्मी की लहर के पार फ़िल्माया गया हो।
मुख्य चुनौती है समय के साथ पहचान बनाए रखना। मेज़ पर रखा कॉफ़ी मग फ़्रेम 12 में भी वही मग होना चाहिए जो फ़्रेम 60 में है, वही कोण, वही रंग, वही बनावट। डीनॉइज़िंग ट्रैजेक्टरी में कोई भी बदलाव, जो एक फ़्रेम को प्रभावित करे पर पड़ोसी फ़्रेमों को नहीं, अंतिम क्लिप में एक दिखने वाली असंगति के रूप में सामने आता है।
आधुनिक आर्किटेक्चर टेम्पोरल कंसिस्टेंसी को कई तरीकों से संभालते हैं, जो अक्सर एक साथ काम करते हैं:
आर्किटेक्चर के स्तर पर, टेक्स्ट-टू-इमेज और टेक्स्ट-टू-वीडियो मॉडल बुनियादी विचार साझा करते हैं, लेकिन दायरे और जटिलता में अलग हैं, और इसी से समझ आता है कि वीडियो जनरेशन इतना कठिन और ज़्यादा संसाधन खपाने वाला क्यों है।
| आयाम | टेक्स्ट-टू-इमेज | टेक्स्ट-टू-वीडियो |
|---|---|---|
| आउटपुट आकार | ऊँचाई x चौड़ाई | ऊँचाई x चौड़ाई x फ़्रेम |
| अटेंशन का दायरा | केवल स्पेशल | स्पेशल + टेम्पोरल |
| लेटेंट स्पेस | 2D इमेज लेटेंट | 3D वीडियो लेटेंट |
| ट्रेनिंग डेटा | इमेज-कैप्शन जोड़े | कैप्शन वाली वीडियो क्लिप |
| प्रति जनरेशन कंप्यूट | मध्यम | ज़्यादा से बहुत ज़्यादा |
| मुख्य विफलता का तरीका | शरीर-रचना और कंपोज़िशन की गलतियाँ | टेम्पोरल इनकंसिस्टेंसी |
| प्रॉम्प्ट के प्रति संवेदनशीलता | ज़्यादा | बहुत ज़्यादा |
सबसे बड़ा आर्किटेक्चरल बदलाव 2D स्पेशल अटेंशन से पूर्ण 3D स्पेसियोटेम्पोरल अटेंशन, या कम से कम फ़ैक्टर्ड स्पेशल-टेम्पोरल अटेंशन की ओर जाना है। पूर्ण 3D अटेंशन में, हर फ़्रेम की हर पोज़िशन एक साथ हर दूसरे फ़्रेम की हर पोज़िशन पर ध्यान दे सकती है। इससे उत्कृष्ट टेम्पोरल कोहेरेंस मिलता है, लेकिन फ़्रेम काउंट और रिज़ॉल्यूशन बढ़ने पर यह बहुत खराब तरीके से स्केल होता है।
फ़ैक्टर्ड तरीके व्यावहारिक समझौते के रूप में स्पेशल-ओनली और टेम्पोरल-ओनली अटेंशन पास के बीच बारी-बारी से चलते हैं। इससे मेमोरी का घातांकीय बढ़ना रुकता है और लंबी अवधि की जनरेशन संभव होती है। ज़्यादातर प्रोडक्शन मॉडल फ़ैक्टर्ड अटेंशन इस्तेमाल करते हैं, जिसमें नेटवर्क की कुछ गहराइयों पर चुनिंदा पूर्ण-अटेंशन लेयर्स होती हैं।
Sora 2 Pro और Veo 3.1 जैसे मॉडल पूर्ण स्पेसियोटेम्पोरल ट्रांसफ़ॉर्मर आर्किटेक्चर पर ट्रेन माने जाते हैं, जो विशाल और चुने हुए वीडियो डेटासेट पर प्रशिक्षित हैं। इसीलिए उनके आउटपुट पिछली पीढ़ी के मॉडलों की तुलना में टेम्पोरल कोहेरेंस और मोशन फ़िज़िक्स में नाटकीय रूप से बेहतर दिखते हैं। अंतर सिर्फ़ कंप्यूट का नहीं है। यह आर्किटेक्चर के फ़ैसलों और ट्रेनिंग डेटा की क्वालिटी का एक साथ काम करने का नतीजा है।
अब 80 से ज़्यादा भरोसेमंद टेक्स्ट-टू-वीडियो मॉडल मौजूद हैं, जिनमें स्पीड, क्वालिटी, रिज़ॉल्यूशन, मोशन सटीकता और लागत के बीच अलग-अलग समझौते हैं। यहाँ एक व्यावहारिक विवरण है।
ये मॉडल आउटपुट क्वालिटी और यथार्थवाद को प्राथमिकता देते हैं, अक्सर ज़्यादा जनरेशन समय या प्रति-मिनट लागत पर:
ये मॉडल स्पीड के बदले कुछ क्वालिटी छोड़ते हैं, जिससे ये प्रॉम्प्ट इटरेशन और तेज़ टेस्टिंग के लिए आदर्श बनते हैं:
💡 टिप: जब तक सीन और मोशन सही न लगें, तब तक प्रॉम्प्ट को सुधारने के लिए कोई तेज़ मॉडल इस्तेमाल करें। फिर अंतिम वर्ज़न को किसी हाई-एंड मॉडल पर चलाएँ। इससे आप काफ़ी समय और लागत बचाएँगे।
सबसे अच्छे उपलब्ध मॉडलों के साथ भी आउटपुट निराश कर सकते हैं। कारण आमतौर पर खास और ठीक किए जा सकने वाले होते हैं, बस यह पता होना चाहिए कि किसे देखना है।
टेम्पोरल फ़्लिकरिंग: हर अलग फ़्रेम ठीक लगता है, लेकिन आसन्न फ़्रेम चिकनाई से मेल नहीं खाते। यह आमतौर पर तब होता है जब आर्किटेक्चर में पर्याप्त टेम्पोरल अटेंशन नहीं होता, या इनफ़रेंस स्टेप्स बहुत कम सेट होते हैं। Kling v3 Omni Video जैसे मज़बूत टेम्पोरल ट्रेनिंग वाले मॉडल पर स्विच करने से अक्सर यह ठीक हो जाता है।
पिघलते चेहरे और बिखरती शरीर-रचना: इंसानी शरीर-रचना असाधारण रूप से कठिन है। मॉडल ने ऐसे वीडियो डेटा से सीखा है जिसमें चेहरे और शरीर बेहद जटिल और बहुत अलग-अलग तरीकों से चलते हैं। जब डीनॉइज़िंग प्रक्रिया दो संभावित स्थितियों के बीच अनिश्चित होती है, तो वह उनका औसत निकाल देती है, और इसी से पिघलते चेहरे वाला प्रभाव बनता है। पोज़ और कोण के बारे में ज़्यादा विशिष्ट प्रॉम्प्ट अनिश्चितता घटाते हैं और आउटपुट को स्थिर बनाते हैं।
तैरती हुई या भौतिक रूप से गलत गति: डिफ्यूज़न सिस्टम में फ़िज़िक्स स्पष्ट रूप से मॉडल नहीं होती। मोशन ट्रेनिंग वीडियो डेटा के सांख्यिकीय पैटर्न से अनुमानित होता है। कपड़े की हलचल, द्रव का गिरना, रिजिड बॉडी टकराव, जैसी सटीक भौतिक व्यवहार वाली किसी भी चीज़ में गड़बड़ दिखती है। इसे ठीक करने के लिए मोशन को सीधे प्रॉम्प्ट में बताएँ, ताकि मॉडल उसका अंदाज़ा न लगाए।
प्रॉम्प्ट ब्लीड: प्रॉम्प्ट में दो अलग-अलग अवधारणाएँ स्थानिक रूप से ऐसे मिल सकती हैं जैसा आपने नहीं चाहा था। "एक सफ़ेद मेज़ पर लाल बैग" से गुलाबी मेज़ बन सकती है, क्योंकि रंग के विवरण आपस में घुल जाते हैं। अपने स्थानिक विवरणों को जानबूझकर अलग रखें, और साफ़-साफ़ बताएँ कि कौन सी विशेषता किस वस्तु की है।
लंबी क्लिप्स में सीन का बहकना: 6 से 8 सेकंड से लंबी क्लिप्स के लिए कई मॉडल शुरुआती सीन सेटअप का ट्रैक खो देते हैं और धीरे-धीरे किसी अलग कंपोज़िशन की ओर बहक जाते हैं। यह मौजूदा वीडियो लेटेंट स्पेस आकारों की एक ज्ञात सीमा है। प्रॉम्प्ट को एक ही लोकेशन में एक सतत मोशन पर केंद्रित रखने से बहुत मदद मिलती है।
💡 टिप: छोटे, विशिष्ट, एक-सीन वाले प्रॉम्प्ट लगभग हमेशा कई-घटना वाले लंबे विवरणों से बेहतर प्रदर्शन करते हैं। एक साफ़ एक्शन, एक क्रम से बेहतर होता है।
Wan 2.6 T2V अभी उपलब्ध सबसे मज़बूत ओपन-आर्किटेक्चर टेक्स्ट-टू-वीडियो मॉडलों में से एक है, जिसकी टेम्पोरल कंसिस्टेंसी और प्रॉम्प्ट अनुपालन ख़ास तौर पर अच्छा है। यहाँ बताया गया है कि इसे PicassoIA पर सीधे कैसे चलाएँ।
PicassoIA पर Wan 2.6 T2V पेज पर जाएँ। इंटरफ़ेस तुरंत मॉडल पैरामीटर और एक प्रॉम्प्ट फ़ील्ड लोड करता है।
अपने प्रॉम्प्ट को परतों में बनाएँ, बेतरतीब विचारों की धारा के रूप में नहीं:
| पैरामीटर | अनुशंसित शुरुआती मान |
|---|---|
| अवधि | 5 सेकंड |
| रिज़ॉल्यूशन | 720p |
| गाइडेंस स्केल | 7.0 से 7.5 |
| इनफ़रेंस स्टेप्स | 30 |
| आस्पेक्ट रेशियो | 16:9 |
शुरुआत रूढ़िवादी रखें। जब आपका प्रॉम्प्ट काम करने लगे, तब आप हमेशा स्टेप्स और रिज़ॉल्यूशन बढ़ा सकते हैं। लंबी क्लिप्स को टेम्पोरली कंसिस्टेंट रखने के लिए ज़्यादा स्टेप्स चाहिए।
जनरेशन के बाद, अपने आउटपुट को तीन पहलुओं पर परखें:
अगर कुछ गड़बड़ है, तो प्रॉम्प्ट में एक बार में एक ही चीज़ बदलें। अगर टेस्टिंग के दौरान आपको तेज़ नतीजे चाहिए, तो Wan 2.5 T2V Fast समान आर्किटेक्चर पर तेज़ जनरेशन स्पीड के साथ चलता है, इसलिए आपके प्रॉम्प्ट से मिली सीख सीधे काम आती है।
💡 टिप: Wan 2.6 T2V से सबसे अच्छे टेम्पोरल नतीजों के लिए, हर प्रॉम्प्ट को एक ही लोकेशन में एक सतत मोशन पर केंद्रित करें। सीन ट्रांज़िशन और कई-घटना वाले क्रम मॉडल की कंसिस्टेंसी की सीमाओं को चुनौती देते हैं।
मैकेनिक्स समझना एक बात है। असल में कुछ जनरेट करना दूसरी बात है। एक औसत आउटपुट और एक वाकई अच्छे आउटपुट के बीच का फ़ासला तेज़ी से घटता है, जब आप जान लेते हैं कि मॉडल हर स्टेप पर क्या कर रहा है। अब आप अंधेरे में तीर नहीं चला रहे। आप जानते हैं कि यह नॉइज़ से शुरू होता है, हर स्टेप पर आपकी एम्बेडिंग की ओर डीनॉइज़ करता है, समय के पार ध्यान देकर सुसंगतता बनाए रखता है, और एक सीखे हुए डीकोडर के ज़रिए वापस पिक्सल में बदलता है।
यह ज्ञान आपके प्रॉम्प्ट लिखने का तरीका बदल देता है। छोटे विवरण। साफ़ मोशन निर्देश। हर क्लिप में एक सुसंगत सीन। हर विशेषता के लिए स्थानिक विशिष्टता। और इस बारे में यथार्थवादी उम्मीदें कि मॉडल कौन सी फ़िज़िक्स विश्वसनीय रूप से दोहरा सकता है।
PicassoIA पर अभी 80 से ज़्यादा टेक्स्ट-टू-वीडियो मॉडल चलाने के लिए तैयार हैं, जिनमें Ray Flash 2 540p और Pixverse v5.6 जैसे मुफ़्त विकल्पों से लेकर Kling v3 Omni Video और Veo 3.1 जैसे सिनेमैटिक-क्वालिटी विकल्प तक शामिल हैं। इन मॉडलों के काम करने का तरीका समझने का इससे बेहतर रास्ता यह है कि आप खुद कुछ प्रॉम्प्ट चलाएँ, आउटपुट की साथ-साथ तुलना करें, और देखें कि वे कहाँ और क्यों अलग हैं।
एक मॉडल चुनें। एक साफ़, विशिष्ट वाक्य लिखें। देखें कि क्या वापस आता है। फिर एक चीज़ बदलें और उसे दोबारा चलाएँ।
अपनी भाषा चुनें
