Kling 3.0 सादे टेक्स्ट को टेम्पोरल डिफ़्यूज़न, सिमेंटिक पार्सिंग और मोशन फ़िज़िक्स सिमुलेशन के एक परिष्कृत मिश्रण से सिनेमैटिक वीडियो सीक्वेंस में बदलता है। यह लेख साफ़-साफ़ बताता है कि AI आपके शब्दों की व्याख्या कैसे करता है, तय करता है कि क्या चलेगा, वह कैसे चलेगा, और बिना किसी फ़िल्मांकन के आउटपुट ब्रॉडकास्ट-क्वालिटी जैसा क्यों दिखता है।
Kling 3.0 के आने के बाद कुछ बदल गया। पिछले टेक्स्ट-टू-वीडियो मॉडल ऐसे सीन बनाते थे जो वीडियो जैसे दिखते थे, पर महसूस होता था कि कुछ गड़बड़ है, जैसे कोई एनिमेशन ज़बरदस्ती फ़िल्माया हुआ बनने की कोशिश कर रहा हो। Kling 3.0 ऐसा फ़ुटेज बनाता है जिसमें मोशन का अपना वज़न होता है, कपड़ा कपड़े की तरह व्यवहार करता है और लहर पानी के असली उथल-पुथल के साथ टूटती है। इस नतीजे तक पहुँचने के लिए यह समझना ज़रूरी है कि जिस पल आप एंटर दबाते हैं और जिस पल स्क्रीन पर वीडियो फ़ाइल दिखती है, उसके बीच क्या होता है।
Kling 3.0 में डाला गया टेक्स्ट प्रॉम्प्ट सिर्फ़ एक विवरण नहीं है। यह समय के लिए एक विनिर्देश है। मॉडल आपके शब्द पढ़ता है और तीन अलग तरह की जानकारी निकालता है: सब्जेक्ट की पहचान (वह चीज़ क्या है), मोशन सिमेंटिक्स (वह क्या कर रही है), और परिवेश का संदर्भ (कहाँ और किन परिस्थितियों में)। जनरेशन के दौरान इन तीनों परतों को अलग-अलग प्रोसेस किया जाता है और फिर एक साथ जोड़ा जाता है।
जब आप लिखते हैं "a woman walking along a cobblestone street at dusk", तो मॉडल एक स्थिर इमेज बनाकर उस पर वॉकिंग लूप नहीं जोड़ता। वह पूरे स्पेशियोटेम्पोरल सीक्वेंस को एक एकीकृत संरचना के रूप में बनाता है। परछाइयाँ उसी रोशनी की दिशा में चलती हैं जो आपने सुझाई। उसकी चाल में असली चाल जैसी सूक्ष्म डगमगाहट होती है। गीली कोबलस्टोन सड़क पर रोशनी उन कोणों से पड़ती है जो उसके फ़्रेम में चलने के साथ बदलते हैं। हर तत्व एक साथ मोशन सिस्टम का हिस्सा होता है।
शुरुआती टेक्स्ट-टू-वीडियो सिस्टम एक स्टार्ट फ़्रेम और एंड फ़्रेम बनाकर बीच की हर चीज़ को इंटरपोलेट करते थे। इसी वजह से पुराने AI वीडियो दो जमे हुए पलों के बीच एक चिकने पर बेजान मॉर्फ़ जैसे लगते थे। निरंतरता का एहसास इसलिए नहीं होता था क्योंकि निरंतरता थी ही नहीं। बीच के फ़्रेम अनुमान थे, फ़िज़िक्स नहीं।
Kling 3.0 इस तरह काम नहीं करता। आर्किटेक्चर फ़्रेम जोड़ों के बजाय जो शोधकर्ता फ़ुल टेम्पोरल सीक्वेंस कहते हैं, वह बनाता है। हर फ़्रेम क्लिप के बाकी हर फ़्रेम से अवगत होता है। मॉडल जानता है कि फ़्रेम 47 केवल ऑब्जेक्ट की स्थिति के हिसाब से ही नहीं, बल्कि मोशन वेलोसिटी, रोशनी के बदलाव और भौतिक स्थिति के हिसाब से भी फ़्रेम 12 के अनुरूप होना चाहिए। पूरी क्लिप में यही जागरूकता उस "जेली फ़िज़िक्स" समस्या को खत्म करती है जो पिछले मॉडलों को परेशान करती थी और AI-जनित वीडियो की सबसे साफ़ पहचान बनी हुई है।
एक भी फ़्रेम बनने से पहले, Kling 3.0 आपके प्रॉम्प्ट की गहरी सिमेंटिक पार्सिंग करता है। वह हर संज्ञा, हर क्रिया और, सबसे अहम, उनके बीच हर निहित संबंध पहचानता है। पतझड़ की पत्तियों के लिए "tumbling" शब्द मॉडल को "falling" से पूरी तरह अलग मोशन वेक्टर देता है। "gentle breeze" वाक्यांश सिर्फ़ बाल और पत्तियों को नहीं छूता। यह उन पत्तियों की परछाइयों के ज़मीन पर चलने का तरीका भी बदलता है, जिससे पूरे सीन में पल-पल बदलती परिवेशी रोशनी प्रभावित होती है।
यही सिमेंटिक लेयर है जहाँ Kling 3.0 ने पिछले वर्ज़न से अपनी सबसे बड़ी छलांग लगाई। मॉडल के पास मोशन प्रिमिटिव का काफ़ी बड़ा शब्दकोश है, यानी पहले से परिभाषित मोशन व्यवहार जो लाखों घंटों के विश्लेषित असली फ़ुटेज से लिए गए हैं। जब प्रॉम्प्ट में कोई मोशन क्रिया या विशेषण आता है, तो मॉडल उससे मेल खाता मोशन प्रिमिटिव निकालता है और उसे आपके खास सब्जेक्ट और परिवेश के हिसाब से ढालता है। नतीजा यह है कि मोशन क्रियाएँ सिर्फ़ दिशा-संकेत नहीं रहतीं, बल्कि उनमें असली भौतिक वज़न होता है।
मॉडल जनरेशन शुरू होने से पहले मोशन टकरावों को भी सुलझाता है। अगर आपका प्रॉम्प्ट "a candle flame in a fierce wind" लिखता है, तो मॉडल लौ की झिलमिलाती उथल-पुथल को आसपास के वातावरण के साथ मिलाता है और धुएँ, परछाइयों और पास के किसी भी कपड़े पर एक साथ उपयुक्त मोशन लागू करता है। यह सब आपके वाक्य की पार्सिंग से आता है, किसी हार्डकोडेड नियम से नहीं।
असली जनरेशन प्रक्रिया एक संशोधित डिफ़्यूज़न आर्किटेक्चर का उपयोग करती है, जो खास तौर पर टेम्पोरल कंसिस्टेंसी के लिए बनाया गया है। सामान्य इमेज डिफ़्यूज़न एक रैंडम नॉइज़ फ़ील्ड को धीरे-धीरे डीनॉइज़ करके एक सुसंगत इमेज निकालता है। वीडियो डिफ़्यूज़न यही काम पूरे फ़्रेम टेंसर पर एक साथ करता है, जिसका मतलब है कि फ़्रेम 1 और फ़्रेम 60 की डीनॉइज़िंग प्रक्रिया शुरू से ही गणितीय रूप से जुड़ी होती है।
Kling 3.0 एक ऐसा तंत्र इस्तेमाल करता है जो 3D अटेंशन मैकेनिज़्म लगता है, जो हर फ़्रेम के भीतर के स्पेशियल आयामों और पूरी क्लिप में टेम्पोरल आयाम, दोनों पर काम करता है। हर टाइमस्टैम्प पर हर पिक्सेल का एक अलग समय-बिंदु के संबंधित पिक्सेल से रिश्ता होता है। नतीजा यह है कि ऑब्जेक्ट फ़्रेम-दर-फ़्रेम झिलमिलाते नहीं, चेहरे नहीं बिगड़ते, टेक्सचर स्थिर रहते हैं, और चलते तत्व पूरी क्लिप में अपने भौतिक गुण बनाए रखते हैं, बिना किसी पोस्ट-प्रोसेसिंग की चालाकी के।
💡 प्रॉम्प्ट टिप: मोशन को खास क्रियाओं और भौतिक परिस्थितियों के साथ बताएँ। "A leaf drifts slowly downward in completely still air" सिर्फ़ "falling leaf" से कहीं ज़्यादा यथार्थवादी मोशन देगा, क्योंकि मॉडल के पास उस फ़िज़िक्स के लिए ज़्यादा सिमेंटिक एंकर होते हैं जिसे उसे सिमुलेट करना है।
Kling 3.0 में सबसे साफ़ दिखने वाले सुधारों में से एक टीम का सेकेंडरी मोशन कहा गया हिस्सा है, यानी उन तत्वों का मोशन जो किसी मुख्य चलते सब्जेक्ट से भौतिक रूप से जुड़े हैं या उससे प्रभावित होते हैं। जब कोई व्यक्ति चलता है, तो उसके बाल, जैकेट, स्कार्फ़ और एक्सेसरीज़ सभी भौतिक प्रतिक्रिया में हिलते हैं। पिछले मॉडल यहाँ संघर्ष करते थे, क्योंकि सेकेंडरी मोशन के लिए मॉडल को वस्तुओं के बीच भौतिक संबंध का आंतरिक प्रतिनिधित्व रखना पड़ता है, सिर्फ़ उन्हें अलग-अलग एनिमेट करना काफ़ी नहीं।
Kling 3.0 एक फ़िज़िक्स-कंडीशंड जनरेशन तरीका इस्तेमाल करता है। ट्रेनिंग के दौरान मॉडल ने भौतिक गुणों की एनोटेशन वाले भारी मात्रा में फ़ुटेज को आत्मसात किया: कपड़े का वज़न और बुनावट, बालों की लोच और मोटाई, फ़्लूइड की गाढ़ापन, और अलग-अलग वायुमंडलीय परिस्थितियों में कणों का व्यवहार। उसने सिर्फ़ यह नहीं बनाया कि ये चीज़ें चलते समय कैसी दिखती हैं, बल्कि यह भी कि वे उस तरह क्यों चलती हैं जैसे चलती हैं। जब आपका प्रॉम्प्ट बारिश में दौड़ती बहते सिल्क ड्रेस वाली महिला का वर्णन करता है, तो मॉडल सीखी हुई भौतिक बाधाएँ लागू करता है ताकि कपड़ा तेज़ गति में गीले सिल्क की तरह व्यवहार करे, न कि निर्वात में किसी भारहीन CGI केप की तरह।
Kling 3.0 की एक कम सराही गई खूबी उसका इम्प्लिसिट कैमरा व्यवहार है। जब आप कैमरा मूवमेंट निर्दिष्ट नहीं करते, तो मॉडल पूरी तरह लॉक किए गए स्थिर शॉट पर डिफ़ॉल्ट नहीं करता। वह एक सूक्ष्म, स्वाभाविक कैमरा उपस्थिति लागू करता है जो एक कुशल हैंडहेल्ड ऑपरेटर की सूक्ष्म हरकतों की नकल करती है। थोड़ी-सी साँस जैसी हलचल। सब्जेक्ट के चलते समय मुश्किल से दिखने वाला रीफ़्रेम। इससे डॉक्यूमेंट्री-शैली का यथार्थवाद आता है, जिससे फ़ुटेज रेंडर किया हुआ नहीं, रिकॉर्ड किया हुआ लगता है।
जब आप कैमरा मूवमेंट निर्दिष्ट करते हैं, जैसे "slow dolly forward" या "pan left following the subject", तो Kling 3.0 कैमरे को त्रि-आयामी सीन में चलती एक भौतिक वस्तु की तरह लेता है। फ़ोकल दूरी बदलने पर डेप्थ-ऑफ़-फ़ील्ड बदलता है। फ़ोरग्राउंड और बैकग्राउंड तत्वों के बीच पैरालैक्स सही तरह से व्यवहार करता है। अलग-अलग दूरी पर मौजूद ऑब्जेक्ट फ़्रेम में अलग-अलग गति से चलते हैं, ठीक वैसे ही जैसे वास्तविक लेंस वाली ऑप्टिकल फ़ोटोग्राफ़ी में होता है।
| फ़ीचर | Kling v1.6 | Kling v2.1 | Kling v3 |
|---|---|---|---|
| रिज़ॉल्यूशन | 720p | 720p / 1080p | नेटिव 1080p |
| टेम्पोरल कोहेरेंस | मध्यम | अच्छा | उत्कृष्ट |
| सेकेंडरी मोशन (कपड़ा, बाल) | बुनियादी | बेहतर | फ़िज़िक्स-कंडीशंड |
| प्रॉम्प्ट एडहेरेंस | 70% | 82% | 94% |
| कैमरा कंट्रोल | मैन्युअल फ़्लैग | मैन्युअल फ़्लैग | इम्प्लिसिट + एक्सप्लिसिट |
| मोशन यथार्थवाद स्कोर | 6.2 / 10 | 7.8 / 10 | 9.1 / 10 |
Kling v2.1 से Kling v3 Video तक की छलांग कोई छोटा-मोटा सुधार नहीं है। आर्किटेक्चर को शुरू से ही टेम्पोरल कोहेरेंस के इर्द-गिर्द नए सिरे से डिज़ाइन किया गया था, इसी वजह से इन दो वर्ज़न के बीच मोशन यथार्थवाद का अंतर पिछले सभी वर्ज़न छलांगों को मिलाकर भी उससे बड़ा है।
सबसे सीधा लीवर यह है कि आप सब्जेक्ट क्या कर रहे हैं इसका वर्णन कैसे करते हैं। Kling 3.0 इन पर प्रतिक्रिया देता है:
हर मोशन शब्द जनरेशन पर एक असली बाधा है। अस्पष्ट मोशन भाषा अस्पष्ट मोशन देती है। साफ़-साफ़ बताई गई मोशन भाषा ऐसा मोशन देती है जिसका स्पष्ट भौतिक चरित्र होता है, जिसे आप पहचान और अनुमान लगा सकते हैं।
प्रॉम्प्ट में परिवेश के शब्द सिर्फ़ पृष्ठभूमि तय नहीं करते। वे सीन की हर चीज़ की फ़िज़िक्स को सीमित करते हैं। "a heavy rainstorm" लिखने से मॉडल को हर खुली सतह पर बारिश की फ़िज़िक्स लागू करने को कहा जाता है: त्वचा पर गीली चमक, उलझे बाल, हर बूँद से बनने वाली पोखर की लहरें, बैकग्राउंड की कम दृश्यता, और अलग-अलग प्रकाश स्रोतों के नीचे गीले फ़ुटपाथ की खास परावर्तक गुणवत्ता।
दिन का समय और लाइटिंग के विशेषण खास वज़न रखते हैं, क्योंकि वे पूरे फ़्रेम-दर-फ़्रेम रोशनी के बदलाव को प्रभावित करते हैं। "गोल्डन आवर फ़ेडिंग टू डस्क" मॉडल को एक लाइटिंग आर्क देता है, यानी ऐसी क्लिप बनती है जिसमें उसकी अवधि के दौरान रोशनी की गुणवत्ता सचमुच बदलती है, जिससे कलर टेम्परेचर, परछाई की लंबाई और सीन की हर सतह पर स्पेक्युलर हाइलाइट्स बदलते हैं।
आप सिनेमैटोग्राफ़िक भाषा का इस्तेमाल करके सीधे कैमरा व्यवहार तय कर सकते हैं, जिसे Kling 3.0 समझने के लिए प्रशिक्षित है:
💡 प्रो टिप: अधिकतम नियंत्रण के लिए शॉट के प्रकार को कैमरा मूवमेंट के साथ जोड़ें। "Slow dolly in from medium shot to close-up, shallow depth of field, steadicam" मॉडल को पूरा ऑप्टिकल निर्देश-सेट देता है और सिर्फ़ सब्जेक्ट मोशन के वर्णन से कहीं ज़्यादा सिनेमैटिक नतीजे देता है।
PicassoIA पर Kling v3 के तीन वर्ज़न उपलब्ध हैं, और हर एक थोड़े अलग उपयोग के लिए बना है।
| मॉडल | सबसे अच्छा किसके लिए | लिंक |
|---|---|---|
| Kling v3 Video | सामान्य टेक्स्ट-टू-वीडियो, सिनेमैटिक क्लिप | मॉडल खोलें |
| Kling v3 Omni Video | 1080p तक टेक्स्ट, लंबी अवधि के साथ | मॉडल खोलें |
| Kling v3 Motion Control | सटीक कैरेक्टर एनिमेशन और पोज़ कंट्रोल | मॉडल खोलें |
अधिकतर टेक्स्ट-टू-वीडियो काम के लिए Kling v3 Video से शुरुआत करें। यह सबसे विस्तृत रेंज के प्रॉम्प्ट संभालता है और कम प्रॉम्प्टिंग मेहनत में सबसे लगातार सिनेमैटिक आउटपुट देता है।
अपने प्रॉम्प्ट को पाँच परतों में संरचित करें:
एक कमज़ोर प्रॉम्प्ट: "woman running on a beach"
एक मज़बूत प्रॉम्प्ट: "a young woman in a white linen dress running barefoot along a deserted beach at dawn, her hair streaming behind her, wet sand underfoot, low-angle tracking shot at waist height following alongside her, soft warm backlight from the rising sun casting a long shadow ahead of her"
मज़बूत वाले संस्करण में मॉडल को सभी पाँच परतें मिलती हैं। इन दोनों प्रॉम्प्ट के आउटपुट क्वालिटी के फ़र्क को नज़रअंदाज़ करना मुश्किल है।
💡 अगर आपकी पहली जनरेशन फ़िज़िक्स या मोशन क्वालिटी में चूकती है, तो एक समय में एक वेरिएबल बदलें। सबसे आम समाधान है एक साफ़ गति-विशेषण और एक खास लाइटिंग शर्त जोड़ना। ये दोनों मॉडल के मोशन चुनावों को काफ़ी स्थिर करते हैं और बाद की जनरेशन में भौतिक यथार्थवाद सुधारते हैं।
Kling 3.0 का भारी इस्तेमाल सोशल कंटेंट के लिए हो रहा है जो फ़िल्माया हुआ दिखता है, पर होता नहीं। फ़ैशन कंटेंट, ट्रैवल टीज़र, मोशन में प्रोडक्ट लाइफ़स्टाइल शॉट, सब एक ही टेक्स्ट विवरण से बनते हैं। मोशन क्वालिटी उस स्तर तक पहुँच गई है कि दर्शक अब फ़ुटेज को तुरंत AI-जनित नहीं पहचानते, और इससे इसके व्यावहारिक फ़ायदे का हिसाब काफ़ी बदल जाता है।
लेखकों, निर्देशकों और क्रिएटिव टीमों के लिए Kling 3.0 कैमरा उठाने से पहले ही विचारों को बाहर लाने का एक तरीका है। स्क्रीनप्ले का एक सीन विवरण मिनटों में एक चलता हुआ संदर्भ क्लिप बन जाता है। मूड बोर्ड स्थिर नहीं रहता। प्रस्तावित सीन की बनावट, उसकी रोशनी की गुणवत्ता और उसकी ऊर्जा ऐसी चीज़ बन जाती है जिस पर पूरी क्रिएटिव टीम प्रतिक्रिया दे सकती है और बिना किसी प्रोडक्शन लागत के उसे बेहतर बना सकती है।
शॉर्ट-फ़ॉर्म स्टोरीटेलिंग इसका सबसे सीधा उपयोग है। एक नैरेटर ऑडियो रिकॉर्ड करता है। Kling 3.0 अच्छी तरह लिखे सीन विवरणों से संबंधित विज़ुअल बनाता है। टॉकिंग-हेड हिस्सों के लिए Kling Avatar v2 जैसे लिप सिंक टूल के साथ मिलाकर, आप बिना किसी भौतिक प्रोडक्शन के एक शॉर्ट नैरेटिव पीस बना सकते हैं।
लंबी कहानियों के लिए, Kling v3 Video को सेकेंडरी बी-रोल के लिए Kling v2.6 और हीरो शॉट्स के लिए Kling v2.1 Master के साथ जोड़ने से एक प्रोडक्शन पाइपलाइन बनती है, जो एक ही प्रोजेक्ट में अलग-अलग क्वालिटी टियर को अलग-अलग लागत पर कवर करती है।
Kling 3.0 के पीछे की तकनीक सचमुच नई है। यह पहले से मौजूद चीज़ का सुधार भर नहीं, बल्कि मोशन को दर्शाने और बनाने के तरीके में एक अलग दृष्टिकोण है। इसलिए इसके बारे में सिर्फ़ पढ़ने के बजाय इसे असल में इस्तेमाल करने का यह अच्छा समय है।
PicassoIA पर Kling v3 Video खोलें। ऊपर बताई गई पाँच-परत संरचना से एक प्रॉम्प्ट लिखें। ऐसे सब्जेक्ट से शुरू करें जिसकी आपको सच में परवाह हो, ऐसी लोकेशन चुनें जिसका आप कुछ विशिष्टता से वर्णन कर सकें, और ऐसी लाइटिंग जिसका साफ़ चरित्र हो। क्लिप बनाएँ। फिर एक तत्व बदलकर दोबारा बनाएँ। मॉडल आपकी भाषा में बदलावों पर साफ़ प्रतिक्रिया देता है, इसलिए आप जल्दी ही उसकी मोशन शब्दावली की समझ बना लेंगे।
अगर आपको सटीक कैरेक्टर एनिमेशन चाहिए, तो Kling v3 Motion Control आपको बॉडी पोज़िशन और मोशन ट्रैजेक्टरी पर अतिरिक्त प्रभाव देता है। पाँच सेकंड से आगे लगातार फ़ुटेज चाहने वाले किसी भी काम के लिए, Kling v3 Omni Video टेम्पोरल कोहेरेंस खोए बिना अवधि बढ़ाता है।
आपको कैमरा रिग, क्रू या लोकेशन परमिट की ज़रूरत नहीं है। आपको ऐसे विवरण की ज़रूरत है जो एक असली भौतिक निर्देश बनने जितना साफ़ हो। वह लिखें, और Kling 3.0 बाकी कर देता है।
अपनी भाषा चुनें
