Wan 2.7 में रेफ़रेंस-टू-वीडियो: यह असल में कैसे काम करता है

Wan 2.7 किसी मौजूदा मॉडल का बस एक छोटा अपडेट नहीं है। यह ओपन-सोर्स वीडियो जनरेशन में मोशन, सब्जेक्ट की सटीकता और टेम्पोरल कोहेरेंस को एक साथ संभालने के तरीके में एक असली आर्किटेक्चरल बदलाव है। चाहे आप टेक्स्ट प्रॉम्प्ट, स्थिर इमेज या रेफ़रेंस सब्जेक्ट से शुरू करें, नतीजे 2.1 और 2.5 लाइन के नतीजों से अलग स्तर के हैं। यह लेख Wan 2.7 के तीनों मोड की असली कार्यप्रणाली खोलकर दिखाता है, ताकि आप जानें कि मॉडल को क्या देना है और क्यों।

Wan 2.7 असल में है क्या

Wan 2.7 Wan Video द्वारा विकसित एक डिफ़्यूज़न-आधारित वीडियो जनरेशन मॉडल है। यह Wan 2.1, 2.2, 2.5 और 2.6 के उसी मॉडल परिवार से है, लेकिन इसमें क्रॉस-फ़्रेम अटेंशन और मोशन मॉडलिंग का काफ़ी बदला हुआ तरीका है। नतीजा यह है कि सब्जेक्ट की कंसिस्टेंसी कहीं बेहतर है, कैमरा मोशन ज़्यादा प्राकृतिक है, और 1080p पर रिज़ॉल्यूशन किसी भी पिछले वर्ज़न से कहीं तेज़ है।

इसे जो अलग बनाता है वह यह है कि तीनों वेरिएंट एक साझा बैकबोन इस्तेमाल करते हैं, लेकिन कंडीशनिंग लेयर पर अलग-अलग विशेषज्ञता रखते हैं। यही एक आर्किटेक्चरल फ़ैसला बताता है कि T2V, I2V और R2V तीन अलग-अलग टूल की तरह नहीं, बल्कि एक जुड़े हुए सिस्टम की तरह लगते हैं।

तीन मोड, एक आर्किटेक्चर

Wan 2.7 परिवार तीन अलग मॉडल वर्ज़न के साथ आता है:

• Wan 2.7 T2V: सिर्फ़ टेक्स्ट प्रॉम्प्ट से वीडियो बनाता है, जिसका लक्ष्य 1080p आउटपुट है।
• Wan 2.7 I2V: एक स्थिर इमेज को पहले फ़्रेम के रूप में लेता है और उसे समय में आगे बढ़ाकर एनिमेट करता है।
• Wan 2.7 R2V: किसी खास सब्जेक्ट की रेफ़रेंस इमेज लेता है और टेक्स्ट प्रॉम्प्ट में बताए गए नए दृश्य में उसी सब्जेक्ट को एनिमेट करता है।

हर मोड एक अलग क्रिएटिव वर्कफ़्लो को संभालता है। T2V शून्य से कॉन्सेप्ट बनाने के लिए अच्छा है। I2V मौजूदा फ़ोटो में जान डालता है। R2V एक ज़्यादा मुश्किल समस्या हल करता है: किसी खास कैरेक्टर या चीज़ को बिल्कुल नए संदर्भ में रखते हुए भी उसे एक जैसा बनाए रखना।

पिछले वर्ज़न से क्या बदला

Wan 2.5 लाइन (T2V, I2V) पहले ही 720p पर भरोसेमंद वीडियो बना रही थी। 2.6 जनरेशन (T2V, I2V) ने HD क्वालिटी की ओर कदम बढ़ाया। Wan 2.7 तीन ऐसी चीज़ें जोड़ता है जो इन पिछले वर्ज़न में एक साथ किसी के पास नहीं थीं: एक अलग R2V कंडीशनिंग पाथ, बेहतर टेम्पोरल अटेंशन विंडो जो लंबे सीक्वेंस में फ़्लिकरिंग कम करती हैं, और एक हाई-फ़िडेलिटी मोशन प्रायर जो सिर्फ़ वेब वीडियो पर नहीं, बल्कि सिनेमाई फ़ुटेज पर ट्रेन किया गया है।

T2V मोड कैसे काम करता है

टेक्स्ट-टू-वीडियो शुरू करने का सबसे सहज तरीका है। आप लिखते हैं कि आप क्या देखना चाहते हैं, और मॉडल उसके अनुरूप फ़्रेमों का सीक्वेंस बनाता है। लेकिन इसके नीचे की प्रक्रिया उस सारांश से कहीं ज़्यादा दिलचस्प है।

टेक्स्ट से चलते फ़्रेम तक

Wan 2.7 T2V एक ट्रांसफ़ॉर्मर-आधारित डीनॉइज़िंग बैकबोन के साथ लेटेंट डिफ़्यूज़न मॉडल की तरह काम करता है। जब आप प्रॉम्प्ट सबमिट करते हैं, तो वह पहले एक टेक्स्ट एनकोडर से गुज़रता है, जो एक लार्ज लैंग्वेज मॉडल पर आधारित है और आपके शब्दों को एक घने वेक्टर रिप्रेज़ेंटेशन में बदलता है। यही रिप्रेज़ेंटेशन पूरी डीनॉइज़िंग प्रक्रिया को कंडीशन करता है।

मॉडल फ़्रेम एक-एक करके नहीं बनाता। वह सभी फ़्रेम एक साथ, एक कंप्रेस्ड लेटेंट स्पेस में बनाता है, और आखिर में उस लेटेंट क्यूब को पिक्सल में डिकोड करता है। इसी फ़ुल-सीक्वेंस तरीके की वजह से यह मोशन को ऑटोरिग्रेसिव वीडियो मॉडल से कहीं ज़्यादा प्राकृतिक ढंग से संभालता है। यह फ़्रेम 3 कैसा दिखना चाहिए, यह तय करते समय फ़्रेम 12 की जानकारी पर ध्यान दे सकता है, और सख़्त बाएँ से दाएँ क्रम में अटका नहीं रहता।

💡 प्रैक्टिकल टिप: Wan 2.7 T2V कैमरा मोशन के विवरण पर अच्छी प्रतिक्रिया देता है। "slow dolly forward", "gentle handheld pan right" या "static wide shot" जैसे वाक्यांश आउटपुट को काफ़ी आकार देते हैं, सिर्फ़ सब्जेक्ट के विवरण ही नहीं।

टेम्पोरल कंसिस्टेंसी कहाँ से आती है

वीडियो जनरेशन में टेम्पोरल कंसिस्टेंसी सबसे मुश्किल चीज़ है, और यहीं Wan 2.7, Wan 2.2 T2V Fast और Wan 2.1 जैसे पिछले वेरिएंट से सबसे साफ़ बेहतर साबित होता है।

मॉडल एक 3D अटेंशन मैकेनिज़्म इस्तेमाल करता है, जो एक साथ स्पेशल डायमेंशन और टाइम डायमेंशन दोनों पर काम करता है। हर वीडियो "पैच" फ़्रेम के पड़ोसी पैचों से और आसन्न फ़्रेमों की उसी स्पेशल लोकेशन से जुड़ता है। यह कम्प्यूटेशनली महँगा है, लेकिन यह मॉडल को हर फ़्रेम को अलग से ऑप्टिमाइज़ करने के बजाय पूरे क्लिप में टेक्सचर, रोशनी और सब्जेक्ट की पहचान एक जैसी रखने के लिए मजबूर करता है।

व्यावहारिक नतीजा: चेहरे नहीं झिलमिलाते, बाल फ़्रेमों के बीच अचानक रंग नहीं बदलते, और बैकग्राउंड की चीज़ें अपनी जगह पर टिकी रहती हैं। पिछले मॉडलों को इन आर्टिफ़ैक्ट से लड़ने के लिए खास नेगेटिव प्रॉम्प्ट चाहिए थे। Wan 2.7 के साथ ये दिक्कतें आम होने के बजाय दुर्लभ हैं।

I2V मोड कैसे काम करता है

इमेज-टू-वीडियो जनरेशन T2V से एक अलग सवाल पूछता है: इस सटीक विज़ुअल शुरुआत को देखते हुए, कौन-सी संभावित निरंतरता है? Wan 2.7 I2V खास तौर पर इसी के लिए बना है, और इसकी कंडीशनिंग आर्किटेक्चर T2V से काफ़ी अलग है।

आपकी इमेज पहले फ़्रेम के रूप में

जब आप सोर्स इमेज देते हैं, तो Wan 2.7 I2V उसे एक अलग विज़ुअल एनकोडर से गुज़ारता है, टेक्स्ट एनकोडर से नहीं, ताकि गहरे फ़ीचर रिप्रेज़ेंटेशन निकाले जा सकें। फिर वह उन फ़ीचरों को हर डीनॉइज़िंग स्टेप पर नॉइज़ वाले लेटेंट के साथ जोड़ता है। यह सिर्फ़ किसी भोले तरीके से "इस इमेज से वीडियो शुरू करो" नहीं है। जनरेशन के दौरान मॉडल लगातार आपकी इमेज के फ़ीचर मैप का हवाला देता रहता है, इसी वजह से जटिल मोशन वाले दृश्यों में भी मूल सब्जेक्ट की दिखावट काफ़ी हद तक बनी रहती है।

इमेज के ऊपर आप जो टेक्स्ट प्रॉम्प्ट जोड़ते हैं, वह मोशन और दिशा के कंट्रोलर का काम करता है। वह बताता है कि दृश्य में क्या होना चाहिए, जबकि इमेज बताती है कि दृश्य कैसा दिखना चाहिए।

मोशन कैसे बनता है

मॉडल को पेयर्ड डेटा पर ट्रेन किया गया है: असली वीडियो क्लिप जिनमें कुछ खास फ़्रेम कंडीशनिंग इनपुट के रूप में इस्तेमाल हुए थे। यह ट्रेनिंग मॉडल को मोशन की प्राकृतिक फ़िज़िक्स सिखाती है। पानी बाहर की ओर लहराना चाहिए, बाल एक ही दिशा में उड़ने चाहिए, चेहरे के भाव सहजता से बदलने चाहिए। मॉडल में बना मोशन प्रायर एक रेग्युलराइज़र की तरह काम करता है, जो तब भी जनरेट होने वाली गति को प्राकृतिक रखता है जब आपका प्रॉम्प्ट अमूर्त हो।

💡 प्रैक्टिकल टिप: I2V के लिए छोटे मोशन विवरण लंबे विवरणों से बेहतर काम करते हैं। "Hair blowing gently left, soft smile, static camera" एक मल्टी-क्लॉज़ प्रॉम्प्ट से बेहतर है जो एक साथ कई आपस में टकराने वाली क्रियाएँ बताता है। सरल मोशन निर्देश मॉडल के सीखे हुए मोशन प्रायर को काम करने के लिए ज़्यादा जगह देते हैं।

R2V मोड ही असली कहानी है

अगर T2V सुविधाजनक है और I2V शक्तिशाली है, तो Wan 2.7 R2V वह मोड है जो एक ऐसी समस्या हल करता है जिसे बाकी दो नहीं कर सकते। रेफ़रेंस-टू-वीडियो किसी खास व्यक्ति, जानवर या चीज़ की फ़ोटो लेता है और उस सब्जेक्ट को उस नए दृश्य में एनिमेट करता है जिसका वर्णन आप टेक्स्ट प्रॉम्प्ट से करते हैं। बैकग्राउंड, रोशनी और मोशन पूरी तरह जनरेट होते हैं, फिर भी सब्जेक्ट की विज़ुअल पहचान बनी रहती है।

सब्जेक्ट प्रिज़र्वेशन क्यों मायने रखता है

R2V-सक्षम मॉडल से पहले, AI-जनरेटेड वीडियो में एक जैसा कैरेक्टर रखने के लिए या तो ControlNet, LoRA फाइन-ट्यूनिंग और IP-Adapter जैसे टूल्स का सेट जोड़ने वाले भारी वर्कफ़्लो चाहिए थे, या यह स्वीकार करना पड़ता था कि कैरेक्टर की दिखावट बदल जाएगी। प्रोडक्शन में इनमें से कोई भी व्यावहारिक नहीं था।

R2V इसे एक खास सब्जेक्ट कंडीशनिंग पाथ जोड़कर बदलता है। रेफ़रेंस इमेज एक आइडेंटिटी एनकोडर से गुज़रती है, जो दिखावट से जुड़े फ़ीचर निकालता है, और ये फ़ीचर टेक्स्ट से आने वाली सीन-लेवल कंडीशनिंग से अलग होते हैं। मॉडल सीखता है कि सभी फ़्रेमों में आइडेंटिटी फ़ीचर का सम्मान करे, और उन्हें सुझाव नहीं बल्कि सख़्त शर्तें माने।

रेफ़रेंस कंडीशनिंग कैसे काम करती है

आपकी रेफ़रेंस इमेज दो बार एनकोड होती है। एक बार मुख्य विज़ुअल एनकोडर से, जो सीन-लेवल फ़ीचर पकड़ता है, और एक बार आइडेंटिटी एनकोडर से, जो खास तौर पर व्यक्ति-स्तर या वस्तु-स्तर की दिखावट की विशेषताएँ पकड़ने के लिए ट्रेन किया गया है। दोनों फ़ीचर सेट अलग-अलग स्केल पर डीनॉइज़र को कंडीशन करते हैं, और आइडेंटिटी फ़ीचर उन ऊपरी लेयर में डाले जाते हैं जहाँ सिमैंटिक जानकारी दर्ज होती है।

फिर टेक्स्ट प्रॉम्प्ट सिर्फ़ सीन का संदर्भ और मोशन नियंत्रित करता है, क्योंकि "सब्जेक्ट कैसा दिखता है" सवाल का जवाब रेफ़रेंस इमेज पहले ही दे चुकी है। जिम्मेदारियों का यह अलगाव ही R2V के आउटपुट को उस स्टैंडर्ड T2V मॉडल पर IP-Adapter कंडीशनिंग लगाने से ज़्यादा नियंत्रित महसूस कराता है।

PicassoIA पर Wan 2.7 कैसे इस्तेमाल करें

Wan 2.7 के तीनों वेरिएंट PicassoIA पर उपलब्ध हैं। हर एक का प्रभावी इस्तेमाल कैसे करें, यह यहाँ है।

T2V से शुरू करें

PicassoIA पर Wan 2.7 T2V खोलें। प्रॉम्प्ट फ़ील्ड फ़्री-फ़ॉर्म टेक्स्ट स्वीकार करता है, लेकिन स्ट्रक्चर्ड प्रॉम्प्ट लगातार बेहतर नतीजे देते हैं। इस क्रम का इस्तेमाल करें:

1. सब्जेक्ट: दृश्य में कौन या क्या है, दिखावट के विवरण के साथ।
2. क्रिया: क्या हो रहा है और वह कैसे चलता है।
3. माहौल: दृश्य कहाँ है, दिन के समय सहित।
4. कैमरा: कैमरा क्या कर रहा है (स्थिर, पैनिंग, ट्रैकिंग, आदि)।
5. स्टाइल: फ़ोटोरियलिस्टिक, सिनेमाई, प्राकृतिक रोशनी, आदि।

मॉडल डिफ़ॉल्ट रूप से 1080p पर जनरेट करता है, जो किसी भी ओपन-सोर्स वीडियो मॉडल में उपलब्ध सबसे ऊँचे नेटिव रिज़ॉल्यूशन में से एक है। जनरेशन का समय Wan 2.2 T2V Fast वेरिएंट से ज़्यादा है, लेकिन क्वालिटी का फ़र्क इतना बड़ा है कि तेज़ प्रोटोटाइपिंग से आगे के किसी भी काम के लिए यह समय सही ठहरता है।

I2V से फ़ोटो एनिमेट करें

अपनी सोर्स इमेज Wan 2.7 I2V पर अपलोड करें। इमेज साफ़, अच्छी रोशनी वाली और उस सब्जेक्ट वाली होनी चाहिए जिसे आप एनिमेट करना चाहते हैं। धुंधली या कम कंट्रास्ट वाली इमेज आउटपुट की क्वालिटी साफ़ तौर पर घटाती हैं, क्योंकि मॉडल के पास टिकने के लिए कम विज़ुअल जानकारी होती है।

मोशन पर केंद्रित प्रॉम्प्ट लिखें। सब्जेक्ट की दिखावट दोहराने के बजाय गति और माहौल का वर्णन करने पर ध्यान दें (मॉडल के पास वह इमेज से पहले से है)। "Waves crashing gently against shore, golden hour light, static wide shot" एक लंबे कंपाउंड विवरण से बेहतर है जो सब कुछ एक साथ तय करने की कोशिश करे।

R2V: खास सब्जेक्ट को एनिमेट करना

Wan 2.7 R2V को दो इनपुट चाहिए: आपके सब्जेक्ट की रेफ़रेंस इमेज और नए दृश्य का टेक्स्ट प्रॉम्प्ट। रेफ़रेंस इमेज के लिए, साफ़ बैकग्राउंड के सामने स्पष्ट सब्जेक्ट वाली पोर्ट्रेट-शैली की फ़ोटो सबसे अच्छी काम करती हैं। आइडेंटिटी एनकोडर तब बेहतर परफ़ॉर्म करता है जब सब्जेक्ट ज़्यादा ढका हुआ न हो या एक जैसी दिखने वाली चीज़ों से घिरा न हो।

टेक्स्ट प्रॉम्प्ट के लिए, नए दृश्य का वर्णन ऐसे करें जैसे रेफ़रेंस सब्जेक्ट उसमें पहले से मौजूद हो। "Walking through a sunlit forest path in autumn, leaves falling, gentle breeze, slow tracking shot." मॉडल आपके रेफ़रेंस सब्जेक्ट को उस संदर्भ में अपने आप रख देता है।

ऐसे प्रॉम्प्ट लिखना जो सच में काम करें

Wan 2.7 के नतीजे प्रॉम्प्ट की क्वालिटी से असामान्य रूप से ज़्यादा प्रभावित होते हैं। खराब लिखा प्रॉम्प्ट एक जनरेशन बर्बाद कर देता है। अच्छी तरह संरचित प्रॉम्प्ट पहली कोशिश में ही इस्तेमाल लायक वीडियो लगातार देता है।

वह स्ट्रक्चर जो नतीजे देता है

T2V और I2V प्रॉम्प्ट के लिए यह टेम्पलेट इस्तेमाल करें:

[Subject + appearance] [action] in [environment], [time of day / lighting], [camera motion], photorealistic, [quality modifiers]

प्रॉम्प्ट कॉपी करें

कमज़ोर प्रॉम्प्ट:

"A woman walking in a city at night"

मज़बूत प्रॉम्प्ट:

"A woman in her late 20s wearing a dark wool coat walks along a rain-slicked cobblestone street, warm shopfront lights reflecting on wet pavement, gentle forward tracking shot at street level, photorealistic, 8K"

संरचित संस्करण मॉडल को सब्जेक्ट की पहचान, मोशन की खासियतें, माहौल, रोशनी, कैमरे का व्यवहार और क्वालिटी का मार्गदर्शन देता है। इनमें से हर आयाम आउटपुट के एक अलग पहलू को आकार देता है।

4 गलतियाँ जो जनरेशन बर्बाद करती हैं

1. एक साथ बहुत सारी क्रियाएँ। Wan 2.7 एक क्लिप में एक मुख्य क्रिया अच्छी तरह संभालता है। एक साथ कई आपस में टकराने वाली क्रियाएँ असंगत मोशन पैदा करती हैं।
2. कैमरे की दिशा छोड़ देना। अगर आप कैमरा मोशन तय नहीं करते, तो मॉडल कोई ऐसा फ़ैसला लेता है जो शायद आपके इरादे से मेल न खाए। उसका नाम हमेशा लें।
3. बहुत अमूर्त सब्जेक्ट। "A feeling of loneliness" अच्छी तरह जनरेट नहीं होता। "A person sitting alone on a park bench, pigeons pecking nearby, overcast light" होता है।
4. आस्पेक्ट रेशियो को नज़रअंदाज़ करना। मॉडल का डिफ़ॉल्ट 16:9 है। अगर I2V के लिए आपकी सोर्स इमेज पोर्ट्रेट दिशा में है, तो अपलोड से पहले उसे 16:9 में क्रॉप या पैड करने से नतीजे बेहतर होते हैं।

Wan 2.7 बनाम बाकी मॉडल

Wan 2.7 किसी शून्य में मौजूद नहीं है। यहाँ दिखाया गया है कि PicassoIA पर उपलब्ध दूसरे प्रमुख टेक्स्ट-टू-वीडियो मॉडलों के मुकाबले यह कहाँ खड़ा है:

Wan 2.7 का मुख्य फ़ायदा R2V मोड है, जो सूचीबद्ध प्रतिस्पर्धियों में से कोई भी नेटिव रूप से नहीं देता। शुद्ध T2V क्वालिटी के लिए, Veo 3.1 और Seedance 2.5 करीबी मुकाबला करते हैं, और क्लिप की लंबाई में Seedance 30-सेकंड आउटपुट के साथ आगे है। अधिकतम रिज़ॉल्यूशन के लिए, 4K पर LTX 2.3 Pro फ़िलहाल सबसे ऊँची सीमा है। सब्जेक्ट की सटीकता, मोशन क्वालिटी और 1080p पर ओपन-सोर्स उपलब्धता के संयोजन के लिए, Wan 2.7 उस खास संयोजन में सबसे ऊपर है।

💡 कब कौन-सा मोड इस्तेमाल करें: अगर आप शून्य से शुरू कर रहे हैं, तो T2V इस्तेमाल करें। अगर आपके पास एक फ़ोटो है जिसे आप एनिमेट करना चाहते हैं, तो I2V इस्तेमाल करें। अगर आपको एक जैसा कैरेक्टर अलग-अलग दृश्यों में चाहिए, तो R2V ही वह मोड है जो खास तौर पर उसके लिए बना है।

अपना पहला वीडियो बनाना शुरू करें

Wan 2.7 PicassoIA पर अभी तीनों मोड में उपलब्ध है, और पहला क्लिप बनाना मॉडल की तकनीकी गहराई से लगने वाली उम्मीद से कहीं ज़्यादा आसान है। अगर आपके पास कोई रचनात्मक कॉन्सेप्ट है और आप उसे टेक्स्ट विवरण से बनाना चाहते हैं, तो Wan 2.7 T2V से शुरू करें। जब आपके पास कोई स्थिर इमेज हो जिसमें आप जान डालना चाहते हों, तब Wan 2.7 I2V पर जाएँ। जब आपको किसी खास व्यक्ति या सब्जेक्ट को बिना अतिरिक्त ट्रेनिंग के जनरेट हुए वीडियो में लगातार दिखाना हो, तब Wan 2.7 R2V इस्तेमाल करें।

व्यापक PicassoIA टेक्स्ट-टू-वीडियो कलेक्शन में अलग-अलग स्पीड, रिज़ॉल्यूशन और स्टाइल के बीच संतुलन में फ़र्क वाले 87 से ज़्यादा मॉडल भी उपलब्ध हैं। Picassoia Video असीमित मुफ़्त जनरेशन देता है, अगर आप Wan 2.7 पर उच्च क्वालिटी की जनरेशन खर्च करने से पहले तेज़ी से प्रोटोटाइप बनाना चाहते हैं। अगर आपके आउटपुट के लिए HDR सिनेमाई कलर प्राथमिकता है, तो Ray 3.2 आज़माने लायक है।

आज AI वीडियो में अच्छे और शानदार के बीच फ़र्क सिर्फ़ मॉडल चुनने से नहीं आता। यह प्रॉम्प्ट की सटीकता और साफ़ इरादे से आता है। अपना मोड चुनें, ऐसा प्रॉम्प्ट लिखें जो सब्जेक्ट, क्रिया, माहौल, कैमरा और स्टाइल तय करे, फिर Wan 2.7 को वह करने दें जिसके लिए वह बना है। इस क्वालिटी स्तर पर एक ओपन-सोर्स मॉडल से 1080p के नतीजे अठारह महीने पहले संभव नहीं थे। आज वे PicassoIA पर किसी भी व्यक्ति के लिए उपलब्ध हैं।