AI वीडियो डबिंग API: वीडियो अपने-आप अनुवाद करें

किसी वीडियो को डब करने के लिए पहले एक अनुवादक, एक वॉइस आर्टिस्ट, एक बुक किया हुआ स्टूडियो और एक साउंड इंजीनियर चाहिए होता था, जो होंठों की हरकतों के बीच की जगह में शब्दांशों को फिट करता था। एक AI video dubbing API इस पूरी प्रक्रिया को एक रिक्वेस्ट में समेट देता है: आप एक वीडियो और लक्ष्य भाषा भेजते हैं, और किसी और की मातृभाषा में तैयार क्लिप वापस मिल जाती है। पेच यह है कि "API" का मतलब इस पर निर्भर करता है कि आप किस सेवा को देख रहे हैं। कुछ सेवाएँ डब किया हुआ ऑडियो ट्रैक लौटाती हैं, कुछ लिप-सिंक्ड वीडियो, और कुछ सिर्फ़ बिल्डिंग ब्लॉक (ट्रांसक्रिप्शन, अनुवाद, स्पीच) देती हैं और असेंबली आपके ऊपर छोड़ देती हैं।

यह लेख समझाता है कि इनमें से कौन-सा क्या है। आप देखेंगे कि एक डबिंग रिक्वेस्ट के अंदर क्या होता है, Picasso IA पर आज कौन-से डबिंग मॉडल चलाए जा सकते हैं, किसी भी असिंक्रोनस डबिंग सेवा के चारों ओर जॉब रनर पैटर्न कैसे लपेटें, और अनुवादित वीडियो लाइव करने से पहले क्या जाँचें। शुरू में ही एक ईमानदार नोट: Picasso IA पर डबिंग मॉडल ब्राउज़र में चलते हैं, जबकि डेवलपर API में फ़िलहाल चार इमेज और वीडियो मॉडल सूचीबद्ध हैं। अगर आप स्वचालित पाइपलाइन बनाने की सोच रहे हैं, तो दोनों तथ्य मायने रखते हैं, इसलिए दोनों नीचे साफ़-साफ़ बताए गए हैं।

एक डबिंग API असल में क्या करता है

बाहर से देखने पर ज़्यादातर डबिंग API सरल लगते हैं: एक रिक्वेस्ट अंदर, एक अनुवादित वीडियो बाहर। अंदर वही पाँच चरण हर बार चलते हैं, और इन्हें जानने से आप समझ पाते हैं कि खराब नतीजा कहाँ से आया।

एक रिक्वेस्ट के पीछे के पाँच चरण

"एक कॉल" वाली सेवा इन सभी पाँचों को एक ही एंडपॉइंट के पीछे चलाती है। यह तेज़ है और कॉन्फ़िगर करने को बहुत कम छोड़ती है। बिल्डिंग-ब्लॉक सेटअप हर चरण को अलग से खोलता है, जिससे आप दूसरे चरण में इंसानी अनुवादक लगा सकते हैं या तीसरे चरण में आवाज़ बदल सकते हैं, बिना बाकी सब दोबारा किए।

डबिंग बनाम सबटाइटल बनाम वॉइसओवर

ऊपर का बूथ पारंपरिक तरीका है: एक स्क्रिप्ट, एक इंसानी आवाज़, हर भाषा के लिए एक सेशन। प्रमुख कैंपेन के लिए यह अब भी सबसे अच्छा है। लेकिन 200 ट्यूटोरियल की लाइब्रेरी, वेबिनार सीरीज़, या हर तिमाही बदलने वाले प्रोडक्ट डेमो के लिए कोई भी 200 सेशन गुणा दस भाषाएँ बुक नहीं करता। यहीं स्वचालित डबिंग पाइपलाइन अपनी लागत निकाल देती है।

💡 टिप: कई लोग साउंड बंद करके स्क्रॉल करते हैं, इसलिए डब कैप्शन की जगह नहीं लेता। ऑडियो डब करें और वीडियो में पहले से जले हुए (बर्न-इन) कैप्शन को नए ट्रैक की भाषा में ही रखें।

सही डबिंग रूट चुनना

लिप-सिंक्ड आउटपुट के लिए Video Translate

Video Translate Picasso IA पर एक-कॉल डबिंग सेवा के सबसे करीब है। आप एक MP4 अपलोड करते हैं, आउटपुट भाषा चुनते हैं, और एक डब किया हुआ वीडियो वापस पाते हैं जिसकी होंठों की हरकतें नए ऑडियो के हिसाब से एडजस्ट की गई होती हैं। भाषाओं की सूची 150 से ज़्यादा प्रविष्टियों की है, जिसमें Spanish (Mexico), Portuguese (Brazil) और Arabic (Morocco) जैसे क्षेत्रीय वेरिएंट शामिल हैं, इसलिए एक ही मॉडल से एक छोटी टीम लगभग हर वह बाज़ार पकड़ सकती है जिसे वह कभी निशाना बनाएगी।

इसके दो मोड हैं। Speed त्वरित टर्नअराउंड के लिए बना है और precision, जो डिफ़ॉल्ट है, आउटपुट क्वालिटी को प्राथमिकता देता है। मॉडल पेज के उदाहरण क्लिप बनाने में 169 और 183 सेकंड लगे, इसलिए छोटे वीडियो के लिए कुछ सेकंड नहीं, बल्कि कुछ मिनट का अनुमान रखें।

वॉइस क्लोनिंग के लिए ElevenLabs Dubbing

ElevenLabs की Dubbing अलग रास्ता लेती है। यह 90 से ज़्यादा भाषाओं और बोलियों को सपोर्ट करती है, स्रोत भाषा अपने-आप पहचानती है, और मूल वक्ता की आवाज़, भावना और टाइमिंग बनाए रखती है। cloning strength सेटिंग 0 से 10 तक (डिफ़ॉल्ट 7) तय करती है कि नई आवाज़ मूल से कितनी करीब मिले: इंटरव्यू में, जहाँ पहचान मायने रखती है, ज़्यादा; लक्ष्य भाषा में ज़्यादा स्वाभाविक डिलीवरी के लिए कम।

यह सार्वजनिक URL भी स्वीकार करती है, जैसे सीधा फ़ाइल लिंक, YouTube लिंक या TikTok लिंक, इसलिए आप वीडियो पहले डाउनलोड किए बिना उसे डब कर सकते हैं। सूचीबद्ध आउटपुट टाइप ऑडियो है, इसलिए अपनी फ़ाइल के लिए जो वापस मिलता है उसे जाँचें, और अगर आपको तैयार MP4 चाहिए तो नया ट्रैक मूल वीडियो पर लगाएँ।

अपनी पाइपलाइन में हिस्से जोड़ना

अगर आपको हर भाषा पर नियंत्रण चाहिए, तो चेन खुद जोड़ें: चरण एक के लिए एक ट्रांसक्रिप्शन मॉडल, चरण तीन के लिए एक टेक्स्ट-टू-स्पीच या वॉइस क्लोनिंग मॉडल, और चरण पाँच के लिए एक लिप सिंक मॉडल। नीचे के हिस्सों में विकल्प दिए गए हैं। इस लचीलेपन की कीमत ऑर्केस्ट्रेशन का काम है, जिसे इस लेख में आगे का जॉब रनर पैटर्न सँभालता है।

Video Translate कैसे इस्तेमाल करें

Picasso IA पर Video Translate के ब्राउज़र वर्ज़न का इस्तेमाल करके एक अंग्रेज़ी वीडियो को स्पैनिश वीडियो में बदलने का सबसे तेज़ तरीका यह है।

एक क्लिप को चरण-दर-चरण चलाना

1. मॉडल पेज खोलें और अपने Picasso IA अकाउंट में साइन इन करें।
2. वीडियो फ़ील्ड में एक MP4 अपलोड करें। 15 से 30 सेकंड के एक अंश से शुरू करें जिसमें साफ़ बोलचाल और दिखता चेहरा हो, न कि पूरा चालीस मिनट का वेबिनार।
3. आउटपुट भाषा चुनें। डिफ़ॉल्ट English है। व्यापक दर्शक के लिए Spanish चुनें, या जब कैंपेन एक ही देश को निशाना बनाए तो Spanish (Mexico) जैसी क्षेत्रीय प्रविष्टि चुनें।
4. मोड चुनें। किसी भी ऐसी चीज़ के लिए precision पर रहें जिसे आप प्रकाशित करने वाले हैं। सिर्फ़ यह जाँचते समय कि स्क्रिप्ट और पेसिंग ठीक हैं, speed पर जाएँ।
5. मॉडल चलाएँ और कुछ मिनट इंतज़ार करें।
6. नतीजे की समीक्षा करें, बाकी नौ भाषाएँ कतार में लगाने से पहले किसी मूल वक्ता के साथ।

बदलने लायक पैरामीटर

💡 टिप: क्षेत्रीय वेरिएंट सिर्फ़ दिखावे के लिए नहीं हैं। मेक्सिकन स्पैनिश डब और स्पेन की स्पैनिश डब शब्दावली और लय में अलग होते हैं, और जो मार्केटिंग क्लिप अपने ही दर्शकों को विदेशी लगती है, वह उस भरोसे को खो देती है जो डब बनाने के लिए होता है।

शिक्षकों और कोर्स क्रिएटर्स को इससे सबसे ज़्यादा फ़ायदा मिलता है। रिकॉर्डेड लेक्चर को हिंदी, तमिल या पुर्तगाली (ब्राज़ील) में डब करने से उन छात्रों तक पहुँचा जा सकता है जो वरना पढ़ने की गति से सबटाइटल पर निर्भर रहते।

डबिंग पाइपलाइन बनाना

Picasso IA API क्या देता है

Picasso IA के पास https://api.picassoia.com/v1 पर एक डेवलपर API है, जो Bearer टोकन से प्रमाणित होता है। यह असिंक्रोनस पैटर्न को फ़ॉलो करता है जो ज़्यादातर AI API इस्तेमाल करते हैं: किसी मॉडल के लिए प्रेडिक्शन बनाएँ, उसकी स्थिति पोल करें, फिर परिणाम लाएँ। API पेज पर चार मॉडल सूचीबद्ध हैं: दो इमेज के लिए और दो वीडियो के लिए, यानी Picasso IA Video और Seedance 2.5 Lite। वीडियो वाली जोड़ी सिंक्रोनाइज़्ड ऑडियो वाली क्लिप बनाती है।

दो सीमाएँ किसी भी ऑटोमेशन को आकार देती हैं। किसी अकाउंट में एक साथ अधिकतम 5 प्रेडिक्शन कतार में या चलते हुए हो सकते हैं, जो उसके सभी टोकन और MCP कनेक्शन में साझा होते हैं। और इस लेख के लिखे जाने के समय पेज बताता है कि प्रेडिक्शन बनाने के लिए Infinite प्लान चाहिए, साथ ही यह भी बताता है कि API प्रेडिक्शन फ़िलहाल मुफ़्त हैं और कोई क्रेडिट इस्तेमाल नहीं करते। इसके आधार पर कुछ बनाने से पहले मौजूदा शर्तों के लिए पेज देख लें।

डबिंग के लिए इसका व्यावहारिक नतीजा: आज API के ज़रिए कोई डबिंग, अनुवाद, लिप सिंक या टेक्स्ट-टू-स्पीच मॉडल उपलब्ध नहीं है। वे मॉडल ब्राउज़र में चलते हैं। एक समझदार बँटवारा यह है कि आप अपना स्रोत फुटेज API से बनाएँ, जैसे 5 सेकंड की Picasso IA Video क्लिप या 5 या 10 सेकंड की Seedance 2.5 Lite क्लिप, और फिर डबिंग का चरण ब्राउज़र में चलाएँ या किसी ऐसे प्रोवाइडर के ज़रिए जिसकी API वास्तव में डबिंग देती है।

एक जॉब रनर पैटर्न

असिंक्रोनस जॉब वाली कोई भी डबिंग API एक ही रैपर माँगती है: सबमिट करें, बढ़ते अंतराल के साथ पोल करें, कॉन्करेंसी की सीमा का सम्मान करें, और कभी job id न खोएँ। नीचे का कोड प्लेसहोल्डर रूट इस्तेमाल करता है। जो प्रोवाइडर आप चुनें, उसके असली एंडपॉइंट और फ़ील्ड नाम डालें।

import os
import time
import requests
from multiprocessing.pool import ThreadPool

BASE_URL = os.environ["PROVIDER_BASE_URL"]      # your dubbing provider
TOKEN = os.environ["PROVIDER_TOKEN"]
HEADERS = {"Authorization": f"Bearer {TOKEN}"}
SOURCE_URL = os.environ["SOURCE_VIDEO_URL"]     # public link to your MP4
LANGUAGES = ["es-MX", "pt-BR", "de", "ja", "hi"]
MAX_PARALLEL = 5                                # stay under the provider cap


def submit(language):
    r = requests.post(
        f"{BASE_URL}/dubbing/jobs",             # placeholder route
        headers=HEADERS,
        json={"source_url": SOURCE_URL, "target_language": language},
        timeout=60,
    )
    r.raise_for_status()
    job_id = r.json()["id"]
    print(f"{language}: submitted {job_id}")    # log it before waiting
    return job_id


def wait(job_id, timeout=3600):
    delay, deadline = 5, time.time() + timeout
    while time.time() < deadline:
        job = requests.get(
            f"{BASE_URL}/dubbing/jobs/{job_id}", headers=HEADERS, timeout=60
        ).json()
        if job["status"] == "succeeded":
            return job["output_url"]
        if job["status"] in ("failed", "canceled"):
            raise RuntimeError(job.get("error", "dubbing failed"))
        time.sleep(delay)
        delay = min(delay * 1.5, 60)            # gentle backoff
    raise TimeoutError(job_id)


def dub(language):
    try:
        return language, wait(submit(language))
    except Exception as exc:                    # one bad language must not stop the rest
        return language, f"ERROR: {exc}"


with ThreadPool(MAX_PARALLEL) as pool:
    for language, result in pool.imap(dub, LANGUAGES):
        print(language, result)

प्रॉम्प्ट कॉपी करें

उस कोड में तीन आदतें कॉपी करने लायक हैं। job id मिलते ही उसे लॉग करें, ताकि क्रैश होने पर पैसे से खरीदा काम कभी अनाथ न हो। स्टेटस रूट पर लगातार दस्तक देने के बजाय बढ़ती देरी के साथ पोल करें। और त्रुटियाँ हर भाषा के हिसाब से पकड़ें, ताकि एक असफल जापानी डब जर्मन डब को न रोके।

एक त्वरित साइज़िंग उदाहरण: अगर हर जॉब में लगभग तीन मिनट लगते हैं, जैसे ऊपर के उदाहरण क्लिप में, और आपका प्रोवाइडर एक साथ 5 चलाता है, तो 20 भाषाओं के लिए चार राउंड लगेंगे, यानी लगभग 12 मिनट। इसे अनुमान मानें, क्योंकि असली कतारें अलग-अलग होती हैं।

अनुवाद के बाद लिप सिंक

अनुवाद के बाद टाइमिंग क्यों बिगड़ती है

अनुवादित वाक्य शायद ही कभी मूल की लंबाई से मेल खाते हैं। स्पैनिश और जर्मन अक्सर अंग्रेज़ी से लंबे चलते हैं, जिससे डब को तेज़ करना, काटना या फिर से लिखना पड़ता है। यहाँ तक कि जब ऑडियो फ़िट भी हो जाए, मुँह फिर भी मूल आकार बनाता है: अंग्रेज़ी का बंद होंठों वाला "p" या "b" डब में किसी खुले स्वर पर पड़ सकता है। दर्शक इसे क्लोज़-अप पर सबसे ज़्यादा नोटिस करते हैं, इसलिए टॉकिंग-हेड क्लिप को उस स्क्रीन रिकॉर्डिंग से ज़्यादा ध्यान चाहिए जिस पर सिर्फ़ आवाज़ ओवरलैप हो।

चेन करने के लिए लिप सिंक मॉडल

जब आपका डबिंग चरण सिर्फ़ ऑडियो लौटाता है, या जब आपने चेन खुद बनाई है, तो एक समर्पित लिप सिंक मॉडल नए ट्रैक के हिसाब से मुँह की टाइमिंग फिर से तय करता है। Picasso IA lipsync कैटेगरी में कई मॉडल सूचीबद्ध करता है:

आम क्रम यह है: ऑडियो डब करें, उसे मूल वीडियो पर लगाएँ, फिर वीडियो और नया ऑडियो लिप सिंक मॉडल को दें। जब वक्ता कैमरे से बाहर हो, पीछे से दिख रहा हो, या फ़्रेम में छोटा हो, तो यह चरण छोड़ दें, क्योंकि मुँह की जाँच कोई नहीं कर सकता।

आवाज़ें और ट्रांसक्रिप्ट

पहले स्रोत का ट्रांसक्रिप्ट बनाएँ

एक कस्टम चेन सटीक ट्रांसक्रिप्ट से शुरू होती है। Picasso IA speech-to-text कैटेगरी में GPT-4o Transcribe, GPT-4o Mini Transcribe और Gemini 3 Pro सूचीबद्ध करता है। जो भी चुनें, अनुवाद से पहले ट्रांसक्रिप्ट पढ़ें। प्रोडक्ट नाम, एक्रोनिम और लोगों के नाम एक बार ठीक करें, तो हर भाषा को फ़ायदा होता है। सभी लक्ष्यों पर एक जैसा छोटा ग्लॉसरी रखें, ताकि आपका ब्रांड नौ अलग-अलग तरीकों से अनूदित न हो जाए।

हर भाषा के लिए एक आवाज़ चुनें

चरण तीन के लिए, टेक्स्ट-टू-स्पीच कैटेगरी में काफ़ी विकल्प हैं:

सिर्फ़ उन आवाज़ों को क्लोन करें जिनके इस्तेमाल की आपको अनुमति है, और उस अनुमति का लिखित रिकॉर्ड प्रोजेक्ट के साथ रखें। ब्रांड की आवाज़ सभी भाषाओं में एक जैसी रहनी चाहिए, इसलिए हर भाषा के लिए एक आवाज़-शैली चुनें और पूरी सीरीज़ में उसी का दोबारा इस्तेमाल करें।

प्रकाशित करने से पहले क्वालिटी जाँच

तीन आम गलतियाँ

1. मूल-भाषी समीक्षा छोड़ना। ऑटोमैटिक डबिंग अच्छी है, फिर भी उन तरीकों से गलत हो सकती है जो सिर्फ़ एक मूल-भाषी कान पकड़ता है: जहाँ ब्रांड अनौपचारिक है वहाँ औपचारिक लहजा, किसी संख्या का गलत क्रम में पढ़ा जाना, या एक चुटकुला जो बकवास में अनूदित हो जाए। किसी द्विभाषी समीक्षक के साथ दस मिनट, दोबारा शूट से सस्ते पड़ते हैं।

2. स्क्रीन पर लिखे टेक्स्ट को भूल जाना। डबिंग ऑडियो बदलती है। वह स्लाइड, इंटरफ़ेस टेक्स्ट, लोअर थर्ड या फुटेज में जले हुए कैप्शन को नहीं छूती। उन्हें बदलने के लिए दूसरा पास रखें, वरना स्पैनिश आवाज़ अंग्रेज़ी स्क्रीन की कमेंट्री करती रहेगी।

3. साउंडट्रैक को नज़रअंदाज़ करना। संगीत, तालियाँ और कमरे की ध्वनि (रूम टोन) मूल संवाद के नीचे रहती हैं। डब की गई फ़ाइल में उन्हें सुनें। अगर संगीत गायब हो जाए या हकलाए, तो मूल पृष्ठभूमि को नई आवाज़ के नीचे फिर से मिक्स करें।

एक छोटी प्री-पब्लिश चेकलिस्ट बैच को ईमानदार रखती है:

• नाम और संख्याएँ हर भाषा में सही पढ़ी जाएँ
• लंबाई मूल से कुछ सेकंड के भीतर रहे, कोई वाक्य कटा न हो
• आवाज़ सीरीज़ के सभी वीडियो में एक जैसी हो
• ऑन-स्क्रीन टेक्स्ट बदला गया हो या जानबूझकर स्रोत भाषा में छोड़ा गया हो
• ऑडियो लेवल मूल से मेल खाएँ, और संगीत अब भी मौजूद रहे
• हर भाषा के लिए एक मूल-भाषी श्रोता ने मंज़ूरी दी हो

Picasso IA पर डबिंग आज़माएँ

यह काम कैसे होता है, यह देखने के लिए आपको स्टूडियो, रिटेनर पर अनुवादक, या एक हफ़्ते की एडिटिंग की ज़रूरत नहीं है। Video Translate खोलें, 20 सेकंड की क्लिप अपलोड करें, और उसे दो भाषाओं में चलाएँ। फिर वही क्लिप ElevenLabs Dubbing से चलाएँ, cloning strength 3 पर और फिर 9 पर, और अंतर को साथ-साथ सुनें।

अगर आप डब करने के लिए ताज़ा फुटेज चाहते हैं, तो पहले उसे बनाएँ: Picasso IA साउंड के साथ इमेज और छोटे वीडियो बनाता है, और पूरी कैटेलॉग सभी मॉडल पेज पर सूचीबद्ध है। प्रयोग करें, तुलना करें, और वह वर्ज़न रखें जिस पर आपके दर्शक सचमुच प्ले दबाएँ।