आपके पास एक वीडियो है जिसमें वक्ता कुछ और कह रहा है, और एक नया ऑडियो ट्रैक है जिसमें कुछ और है। शायद यह अनुवाद है, सुधारी हुई स्क्रिप्ट है, या एक घंटा पहले जनरेट की गई आवाज़ है। स्क्रीन पर होंठ अब भी पुराने शब्दों के हिसाब से चल रहे हैं, और हर दर्शक दो सेकंड में यह पकड़ लेता है। Sync V2 ठीक इसी समस्या को हल करने के लिए बना है। यह Sync Labs का दूसरी पीढ़ी का लिपसिंक मॉडल है। यह एक वीडियो और एक ऑडियो फ़ाइल लेता है, फिर फ़्रेम-दर-फ़्रेम मुँह वाले हिस्से को दोबारा रेंडर करता है ताकि होंठ नए बोले गए शब्दों के साथ चलें।
यह आर्टिकल बताता है कि आप क्या एडजस्ट कर सकते हैं, फ़ुटेज के हर सेकंड पर कितनी लागत आती है, API एक्सेस कैसे काम करता है, और कौन-से फ्री रास्ते आपका समय लगाने लायक हैं। अगर आप अभी बस इसे आज़माना चाहते हैं, तो PicassoIA पर Lipsync 2 बिना कोड के ब्राउज़र में मॉडल चलाता है।

Sync V2 असल में क्या करता है
Sync V2 एक वीडियो-टू-वीडियो लिपसिंक मॉडल है। आप उसे दो फ़ाइलें देते हैं: एक MP4 जिसमें चेहरा दिखता है, और एक WAV जिसमें वह बोलना है जो वह चेहरा कहे। वह एक नया MP4 लौटाता है, जिसमें मुँह, जबड़ा और आसपास की त्वचा ऑडियो से मेल खाने के लिए दोबारा बनाई जाती है, जबकि फ़्रेम का बाकी हिस्सा वैसा ही रहता है जैसा शूट हुआ था।
यह अवतार जेनरेटर से अलग है। अवतार टूल एक ही फ़ोटो से शुरू करके सब कुछ गढ़ते हैं। Sync V2 असली फ़ुटेज से शुरू करता है, इसलिए रोशनी, सिर की हरकत, बैकग्राउंड और कपड़े बने रहते हैं। बदलता सिर्फ़ बोलने वाला हिस्सा है। इसी वजह से यह डबिंग, विज्ञापन की लोकलाइज़ेशन और शूट के बाद स्क्रिप्ट सुधारने के लिए लोकप्रिय हुआ।

यह सबसे अच्छा कहाँ फ़िट होता है
यह मॉडल साफ़ और सामने या तीन-चौथाई कोण वाले चेहरे और स्थिर रोशनी वाले क्लिप पर सबसे अच्छा चलता है। जैसे इंटरव्यू, वेबिनार, प्रोडक्ट डेमो, ट्रेनिंग वीडियो और टॉकिंग-हेड वाले सोशल पोस्ट। जब चेहरा फ़्रेम में छोटा हो, हाथ या माइक्रोफ़ोन से ढका हो, या लंबे समय तक कैमरे से दूर मुड़ा रहे, तब इसे ज़्यादा दिक़्क़त होती है।
Lipsync 2 बनाम Lipsync 2 Pro
Sync एक स्टैंडर्ड मॉडल और उससे ऊपर का टियर देता है। दोनों PicassoIA पर उपलब्ध हैं, इसलिए आप एक ही क्लिप को दोनों पर टेस्ट कर सकते हैं।
| फ़ीचर | Lipsync 2 | Lipsync 2 Pro |
|---|
| सबसे अच्छा किसके लिए | रोज़ की डबिंग, सोशल क्लिप, ड्राफ़्ट | क्लोज़-अप, बारीक डिटेल, फ़ाइनल डिलीवरी |
| सिंक मोड | Loop, bounce, cut off, silence, remap | कंट्रोल का वही परिवार |
| सामान्य API कीमत | प्रति सेकंड कम | लगभग 1.5 से 2 गुना ज़्यादा |
| कब चुनें | ज़्यादा मात्रा का काम और टेस्टिंग | ऐसे क्लिप जिनमें दाँत, दाढ़ी और त्वचा की बनावट मायने रखती है |
💡 टिप: अपना पहला टेस्ट स्टैंडर्ड मॉडल पर चलाएँ। Pro वर्ज़न पर सिर्फ़ उन शॉट्स के लिए जाएँ जो स्क्रीन भरेंगे, जैसे लैंडिंग पेज का हीरो वीडियो।
हर सेटिंग, सीधे शब्दों में
Sync V2 के इनपुट की सूची छोटी है। यह अच्छी बात है, क्योंकि गलत कॉन्फ़िगर करने की गुंजाइश बहुत कम है। यहाँ बताया गया है कि हर एक क्या करता है।

sync_mode: लंबाई संभालने के पाँच तरीके
सबसे अहम सेटिंग तय करती है कि जब आपके ऑडियो और वीडियो की अवधि एक जैसी न हो, तब क्या होगा। और अक्सर उनकी अवधि एक जैसी नहीं होती।
| मोड | क्या करता है | कब इस्तेमाल करें |
|---|
| loop (डिफ़ॉल्ट) | ऑडियो खत्म होने तक वीडियो को शुरू से दोहराता है | एक छोटे चेहरे वाले क्लिप को लंबे वॉइसओवर के साथ चलाना हो |
| bounce | वीडियो को आगे, फिर पीछे, फिर दोबारा आगे चलाता है | आप बिना दिखने वाले जंप कट के, ज़्यादा स्मूद दोहराव चाहते हैं |
| cut_off | लंबी फ़ाइल को छोटी फ़ाइल जितना काट देता है | ऑडियो लंबा है और आपको सिर्फ़ ओवरलैप वाला हिस्सा चाहिए |
| silence | छोटे ऑडियो को खामोशी से भरता है | वीडियो लंबा है और वक्ता बस बोलना बंद कर सकता है |
| remap | वीडियो के टाइमिंग को ऑडियो में फ़िट करने के लिए खींचता या सिकोड़ता है | अनुवादित ट्रैक मूल से थोड़ा लंबा या छोटा चलता है |
Remap वह मोड है जिसे डबिंग टीमें सबसे ज़्यादा इस्तेमाल करती हैं। स्पेनिश और जर्मन अनुवाद अक्सर अंग्रेज़ी से 15 से 25 प्रतिशत लंबे होते हैं, और remap बिना शब्द काटे उस अंतर को संभाल लेता है। स्टैटिक अवतारों के लिए Bounce, loop से बेहतर दिखता है, क्योंकि loop हर बार क्लिप दोबारा शुरू होने पर एक छोटा झटका दिखाता है।
टेम्परेचर: मुँह कितना भावपूर्ण होगा
Temperature 0 से 1 तक चलता है, और डिफ़ॉल्ट 0.5 है। कम मान मुँह की छोटी, संयमित हरकतें देते हैं। ऊँचे मान चौड़े और ज़्यादा जीवंत आकार देते हैं।
- 0.2 से 0.35: कॉर्पोरेट ट्रेनिंग, न्यूज़-शैली की प्रस्तुति, शांत नैरेशन
- 0.5: ज़्यादातर टॉकिंग-हेड फ़ुटेज के लिए सुरक्षित डिफ़ॉल्ट
- 0.65 से 0.8: ऊर्जावान प्रेज़ेंटर, विज्ञापन, बच्चों का कंटेंट, कैरेक्टर का काम
बहुत ऊँचा कर दें तो मुँह बढ़ा-चढ़ाकर दिख सकता है, खासकर ऐसे वक्ता पर जो मूल वीडियो में चेहरा मुश्किल से हिलाता है। किसी जोशीले वक्ता पर बहुत नीचा कर दें तो होंठ शरीर की भाषा से मेल न खाते हुए सुस्त लगते हैं। 0.1 के स्टेप में बदलें और तुलना करें।
एक्टिव स्पीकर डिटेक्शन
यह एक सीधा ऑन या ऑफ़ स्विच है, जो डिफ़ॉल्ट रूप से ऑफ़ रहता है। ऑन होने पर मॉडल पता लगाता है कि कई लोगों वाले दृश्य में कौन बोल रहा है, और लिपसिंक सिर्फ़ उसी व्यक्ति पर लगाता है। इसके बिना मॉडल हर दिखने वाले चेहरे को एक ही ऑडियो से मिलाने की कोशिश कर सकता है, जो दो लोगों के इंटरव्यू में अजीब लगता है।

इंटरव्यू, पैनल और किसी भी ऐसे शॉट के लिए इसे ऑन करें जिसमें एक से ज़्यादा चेहरे हों। सिंगल-स्पीकर क्लिप के लिए इसे ऑफ़ रखें, क्योंकि वहाँ यह कुछ नहीं जोड़ता।
इनपुट फ़ाइल के नियम
मॉडल को MP4 वीडियो और WAV ऑडियो फ़ाइल चाहिए। अगर आपका वॉइसओवर MP3 या M4A है, तो पहले उसे कन्वर्ट करें। साफ़ ऑडियो लोगों की उम्मीद से कहीं ज़्यादा मायने रखता है। आवाज़ के नीचे बैकग्राउंड म्यूज़िक, भारी रीवर्ब या क्लिपिंग, ये सब धुंधले मुँह के आकार पैदा कर सकते हैं।
💡 टिप: अपलोड से पहले वॉइस ट्रैक को अकेले, बिना म्यूज़िक के एक्सपोर्ट करें। लिपसिंक पूरा होने के बाद म्यूज़िक वापस जोड़ें।
Sync V2 की असली लागत
प्राइसिंग वह जगह है जहाँ ज़्यादातर लोग चौंकते हैं, क्योंकि लिपसिंक का बिल आउटपुट वीडियो की लंबाई पर बनता है, इस पर नहीं कि आप कितनी बार कोशिश करते हैं और नतीजे से संतुष्ट होते हैं।

प्रति सेकंड API दरें
Sync की प्रकाशित API प्राइसिंग के आधार पर, इस लेख के लिखे जाने के समय, बिलिंग प्रति आउटपुट फ़्रेम होती है, जिसे 25 फ़्रेम प्रति सेकंड पर प्रति सेकंड दर में बदला जा सकता है:
- Lipsync 2: लगभग $0.04 से $0.05 प्रति सेकंड, जो लगभग $2.40 से $3.00 प्रति मिनट बैठता है
- Lipsync 2 Pro: लगभग $0.067 से $0.083 प्रति सेकंड
- तीसरे पक्ष के API होस्ट स्टैंडर्ड मॉडल को वीडियो के लगभग $3 प्रति मिनट पर सूचीबद्ध करते हैं
चूँकि बिलिंग फ़्रेम के हिसाब से होती है, आपकी fps सेटिंग मायने रखती है। 30 fps क्लिप में उतनी ही लंबाई के 25 fps क्लिप से ज़्यादा फ़्रेम होते हैं, इसलिए जाँच लें कि आपका प्लेटफ़ॉर्म उन्हें कैसे गिनता है। कीमतें अक्सर बदलती हैं, इसलिए इन आँकड़ों को योजना का एक अनुमानित दायरा मानें और बजट तय करने से पहले प्रोवाइडर के प्राइसिंग पेज पर पुष्टि कर लें।
आम प्रोजेक्ट की लागत
स्टैंडर्ड मॉडल की दर पर, लगभग $3 प्रति मिनट मानकर, एक मोटा बजट यह है:
| प्रोजेक्ट | लंबाई | अनुमानित लागत |
|---|
| एक सोशल क्लिप | 30 सेकंड | $1.50 |
| प्रोडक्ट डेमो, एक भाषा | 3 मिनट | $9 |
| वही डेमो 5 भाषाओं में | कुल 15 मिनट | $45 |
| साप्ताहिक ट्रेनिंग वीडियो, 10 मिनट, 3 भाषाएँ | कुल 30 मिनट | $90 |
छिपी हुई लागत: दोबारा चलाना
हर क्लिप का परफ़ेक्ट नतीजा पहली कोशिश में किसी को नहीं मिलता। टेम्परेचर और सिंक मोड ट्यून करते समय हर तैयार वीडियो के लिए 1.5 से 2 रन की योजना बनाएँ। इसका सस्ता तरीका यह है कि 5 से 10 सेकंड का टेस्ट सेगमेंट काटें, सेटिंग्स वहीं ट्यून करें, फिर पूरी लंबाई एक बार चलाएँ।
API एक्सेस की बुनियादी बातें
Sync V2 Sync के अपने API के ज़रिए और कई मॉडल होस्टिंग प्लेटफ़ॉर्म पर उपलब्ध है। वर्कफ़्लो हर जगह एक जैसा है: दो फ़ाइल URL के साथ जॉब सबमिट करें, प्रोसेसिंग का इंतज़ार करें, फिर आउटपुट वीडियो लाएँ।

एक रिक्वेस्ट में क्या होता है
एक सामान्य जॉब में शामिल होता है:
- MP4 वीडियो का एक सार्वजनिक URL
- WAV ऑडियो का एक सार्वजनिक URL
- मॉडल का नाम, स्टैंडर्ड या Pro
- सिंक मोड, टेम्परेचर और एक्टिव स्पीकर जैसे विकल्प
प्रोसेसिंग एसिंक्रोनस है। आपको एक जॉब ID मिलती है, आप उसका स्टेटस पोल करते हैं, और पूरा होने पर नतीजा डाउनलोड करते हैं। प्रोसेसिंग का समय क्लिप की लंबाई और क्यू के लोड पर निर्भर करता है, और ज़्यादातर छोटे क्लिप कुछ मिनटों में पूरे हो जाते हैं।
प्लान की सीमाएँ जाँचें
अधिकतम क्लिप की लंबाई आपकी सब्सक्रिप्शन पर निर्भर करती है। Sync के प्लान एंट्री टियर पर हर जनरेशन में लगभग एक मिनट से लेकर सबसे बड़े टियर पर लगभग तीस मिनट तक हैं। अगर आप लंबे वेबिनार की डबिंग कर रहे हैं, तो उन्हें दो से पाँच मिनट के चैप्टर में बाँटें। इससे किसी एक सेगमेंट के खराब लगने पर सस्ते में दोबारा चलाना भी संभव होता है।
💡 टिप: अपनी जॉब क्यू ऐसी बनाएँ कि हर सेगमेंट अपनी अलग रिक्वेस्ट हो। फिर किसी असफल या कमज़ोर सेगमेंट को दोबारा बनाने में कुछ डॉलर लगते हैं, पूरे वीडियो की कीमत नहीं।
फ्री विकल्प जो काम करते हैं
यह जानने के लिए आपको पैसे देने की ज़रूरत नहीं कि Sync V2 आपके फ़ुटेज के लिए ठीक है या नहीं।

प्रोवाइडर के फ्री टियर
Sync ने मासिक छोटे कोटे वाले मुफ़्त अकाउंट दिए हैं, जिन्हें कुछ छोटी जनरेशन प्रति माह के रूप में बताया गया है, हर एक की अधिकतम अवधि लगभग 15 से 20 सेकंड। प्रकाशित आँकड़े अलग-अलग पेजों पर अलग रहे हैं, इसलिए साइन अप करते समय मौजूदा संख्या जाँच लें। यह एक अच्छे टेस्ट के लिए काफ़ी है, पर प्रोडक्शन के लिए नहीं।
PicassoIA पर ब्राउज़र में मुफ़्त
PicassoIA पर Lipsync 2 को बिना कोडिंग के ऑनलाइन मुफ़्त में आज़माने योग्य बताया गया है। आप वीडियो और ऑडियो अपलोड करते हैं, सिंक मोड चुनते हैं, और चलाते हैं। API key या बिलिंग अकाउंट सेट किए बिना सिंक मोड की साथ-साथ तुलना करने का यह सबसे तेज़ तरीका है।
त्वरित तुलना के लिए, Lipsync 2 Pro उसी श्रेणी में है, इसलिए आप दोनों को एक ही 8 सेकंड के सैंपल पर चला सकते हैं और तय कर सकते हैं कि अतिरिक्त डिटेल ज़्यादा कीमत के लायक है या नहीं।
PicassoIA पर Lipsync 2 कैसे इस्तेमाल करें
एक सामान्य डबिंग जॉब के लिए शुरू से अंत तक वर्कफ़्लो यह है।

- ऑडियो तैयार करें। अपना नया वॉइस ट्रैक रिकॉर्ड करें या जनरेट करें और उसे WAV फ़ाइल के रूप में एक्सपोर्ट करें। उसे सिर्फ़ आवाज़ रखें, उसमें म्यूज़िक न हो।
- वीडियो तैयार करें। क्लिप को उस सेगमेंट तक काटें जो आप चाहते हैं, पहले टेस्ट के लिए आदर्श रूप से 5 से 30 सेकंड, और उसे MP4 में एक्सपोर्ट करें।
- मॉडल खोलें। Lipsync 2 पेज पर जाएँ और दोनों फ़ाइलें अपलोड करें।
- सिंक मोड चुनें। अनुवादित डबिंग के लिए remap इस्तेमाल करें, लंबे वॉइसओवर के नीचे छोटे क्लिप के लिए loop या bounce, और अगर आप चाहते हैं कि छोटी लंबाई ही तय हो तो cut_off।
- टेम्परेचर सेट करें। 0.5 से शुरू करें। गंभीर कंटेंट के लिए इसे कम करें, जीवंत प्रस्तुति के लिए बढ़ाएँ।
- एक्टिव स्पीकर टॉगल करें। इसे तभी ऑन करें जब स्क्रीन पर एक से ज़्यादा व्यक्ति हों।
- चलाएँ और समीक्षा करें। नतीजा फ़ुल स्क्रीन पर, आवाज़ के साथ देखें, और B, P और M जैसी प्लोसिव ध्वनियों पर ध्यान दें, जहाँ होंठों का दिखने लायक बंद होना ज़रूरी है।
- एडजस्ट करें और दोबारा चलाएँ। एक बार में एक सेटिंग बदलें, ताकि पता रहे कि सुधार किससे आया।
💡 टिप: अगर ऑडियो किसी टेक्स्ट-टू-स्पीच टूल से जनरेट हुआ है, तो शुरुआत में एक चौथाई सेकंड की खामोशी जोड़ें। फिर मॉडल के पास शुरू करने के लिए एक साफ़, तटस्थ मुँह की स्थिति होगी।
जब कोई दूसरा मॉडल बेहतर फ़िट हो
Sync V2 मज़बूत है, पर PicassoIA पर यह अकेला विकल्प नहीं है, और कुछ कामों के लिए दूसरा टूल चाहिए।

- Lipsync 2 Pro: उसी परिवार का, ज़्यादा डिटेल वाला, क्लोज़-अप और फ़ाइनल डिलीवरी के लिए उपयुक्त।
- Kling Lip Sync: वीडियो में मुँह की हरकत को ऑडियो से मिलाता है, जब कोई क्लिप दूसरे मॉडल पर अकड़ा हुआ लगे तो एक भरोसेमंद दूसरी राय।
- Lipsync Precision: किसी भी वीडियो की डबिंग के लिए बना है, जहाँ सटीकता सबसे ज़्यादा मायने रखती है।
- Lipsync Speed: तेज़ टर्नअराउंड के लिए बना है, जब आप कई क्लिप डब कर रहे हों और सेकंडों में नतीजे चाहते हों।
- P Video Avatar: जब आपके पास कोई सोर्स फ़ुटेज न हो, तब बोलते अवतार वीडियो बनाता है।
एक सरल नियम: असली फ़ुटेज प्लस नया ऑडियो Sync V2 या उसके किसी प्रतिद्वंद्वी की ओर इशारा करता है। कोई फ़ुटेज नहीं तो अवतार मॉडल की ओर।
वे गलतियाँ जो क्रेडिट बर्बाद करती हैं
ज़्यादातर निराशाजनक नतीजे इन्हीं कुछ गलतियों से निकलते हैं।
- पहले पूरा वीडियो चलाना। हमेशा छोटा सेगमेंट टेस्ट करें।
- गलत सिंक मोड इस्तेमाल करना। अनुवादित डब पर loop हरकतों को दोहराएगा; आमतौर पर remap बेहतर विकल्प है।
- दो लोगों वाले शॉट पर एक्टिव स्पीकर बंद रखना, फिर यह सोचना कि दोनों क्यों बोल रहे हैं।
- शोर वाला ऑडियो अपलोड करना। म्यूज़िक, इको और क्लिपिंग मुँह के आकारों को उलझा देते हैं।
- फ़ोन के स्पीकर पर जाँचना। हेडफ़ोन लगाकर पूरे आकार में समीक्षा करें, क्योंकि होंठ की गलतियाँ छोटे प्रीव्यू में छिप जाती हैं।
- हर क्लिप के लिए टेम्परेचर 1.0 तक बढ़ाना। एक्सट्रीम मान कुछ ही वक्ताओं पर फबते हैं।
सोर्स वीडियो पर भी नज़र रखें। मोशन से धुंधला, आंशिक रूप से छिपा, या कुछ सौ पिक्सल से कम ऊँचा चेहरा क्वालिटी को सीमित करेगा, चाहे सेटिंग्स कितनी भी अच्छी ट्यून की गई हों।
आज अपना लिपसिंक आज़माएँ
Sync V2 त्वरित प्रयोगों का इनाम देता है। कोई दस सेकंड की क्लिप चुनें जो आपके पास पहले से है, संवाद की एक नई लाइन रिकॉर्ड या जनरेट करें, और उसे Lipsync 2 on Picasso IA पर चलाएँ। पहले remap आज़माएँ, फिर bounce। टेम्परेचर 0.3 से 0.7 तक ले जाएँ और देखें कि वही वाक्य कैसे अपना व्यक्तित्व बदलता है।
जब आप तुलना करना चाहें, तो वही सैंपल Lipsync 2 Pro और Kling Lip Sync पर चलाएँ। दस मिनट की टेस्टिंग आपको किसी भी स्पेक शीट से ज़्यादा बताएगी, और यह भी दिखाएगी कि आपके असली प्रोजेक्ट को कितने बजट की ज़रूरत है। टूल्स की पूरी रेंज के लिए PicassoIA के सभी मॉडल देखें और अपना डबिंग वर्कफ़्लो बनाएँ।