Una API de doblaje de video con IA convierte un video en muchos idiomas, pero las piezas difieren: unas devuelven audio y otras, video con sincronización labial. Conoce las cinco etapas que hay detrás de una solicitud, los modelos de doblaje de Picasso IA, un patrón de ejecutor de trabajos y las comprobaciones previas a publicar.
Doblar un video solía significar un traductor, un actor de voz, un estudio reservado y un técnico de sonido ajustando sílaba a sílaba los huecos entre los movimientos de los labios. Una API de doblaje de video con IA comprime toda esa cadena en una solicitud: envías un video y un idioma de destino, y te devuelve un clip terminado en la lengua materna de otra persona. El detalle es que "API" significa cosas distintas según dónde mires. Algunos servicios devuelven una pista de audio doblada, otros un video con sincronización labial y otros solo te entregan bloques de construcción (transcripción, traducción, voz) y dejan el ensamblaje en tus manos.
Este artículo aclara cuál es cuál. Verás qué ocurre dentro de una solicitud de doblaje, qué modelos de doblaje puedes ejecutar hoy en Picasso IA, cómo envolver cualquier servicio asíncrono de doblaje con un ejecutor de trabajos y qué revisar antes de publicar un video traducido. Una nota honesta de entrada: en Picasso IA los modelos de doblaje funcionan en el navegador, mientras que la API para desarrolladores lista actualmente cuatro modelos de imagen y video. Ambos datos importan si planeas un flujo automatizado, así que los detallo más abajo.
La mayoría de las API de doblaje parecen sencillas desde fuera: entra una solicitud, sale un video traducido. Por dentro, siempre se ejecutan las mismas cinco etapas, y conocerlas te dice de dónde viene un mal resultado.
| Etapa | Qué ocurre | Dónde suele fallar |
|---|---|---|
| 1. Transcripción | La voz se convierte en texto con marcas de tiempo | Se malinterpretan nombres, jerga y voces superpuestas |
| 2. Traducción | El texto pasa al idioma de destino | Frases literales, nivel de formalidad incorrecto |
| 3. Síntesis de voz | Las líneas traducidas se hablan, idealmente con un clon de la voz original | Entrega plana, se pierde la emoción |
| 4. Alineación temporal | El nuevo audio se estira o se recorta para encajar en cada escena | Las frases se pasan del corte |
| 5. Sincronización labial y mezcla | Se ajusta el movimiento de la boca y el audio se vuelve a colocar sobre el video | Desfase, formas de boca que no coinciden con el sonido |
Un servicio de "una sola llamada" ejecuta las cinco etapas tras un único endpoint. Es rápido y deja poco que configurar. Una configuración con bloques de construcción expone cada etapa por separado, lo que te permite poner a un traductor humano en la etapa dos o cambiar la voz en la tres sin rehacer lo demás.
| Formato | Voz original | Esfuerzo del espectador | Coincidencia labial | Mejor para |
|---|---|---|---|---|
| Subtítulos | Se mantiene | Hay que leer mientras se mira | No es necesaria | Charlas densas, reproducción automática sin sonido |
| Voz en off | Silenciada bajo un traductor | Solo se escucha | Ninguna | Entrevistas, documentales |
| Doblaje con IA | Clonada o reemplazada | Solo se escucha | Opcional | Tutoriales, anuncios, cursos, video para redes |
La cabina de arriba es la ruta tradicional: un guion, una voz humana y una sesión por idioma. Sigue siendo la mejor opción para las campañas estrella. Pero para una biblioteca de 200 tutoriales, una serie de seminarios web o una demo de producto que cambia cada trimestre, nadie reserva 200 sesiones por diez idiomas. Ahí es donde un flujo de doblaje automatizado se amortiza.
💡 Consejo: Mucha gente navega con el sonido apagado, así que un doblaje no sustituye a los subtítulos. Dobla el audio y mantén los subtítulos incrustados en el mismo idioma que la nueva pista.
Video Translate es lo más parecido a un servicio de doblaje de una sola llamada en Picasso IA. Subes un MP4, eliges el idioma de salida y recibes un video doblado cuyos movimientos de labios se ajustan al nuevo audio. La lista de idiomas supera los 150, con variantes regionales como el español (México), el portugués (Brasil) y el árabe (Marruecos), así que un solo modelo llega a casi todos los mercados que un equipo pequeño podría apuntar.
Ofrece dos modos. Speed está pensado para una entrega rápida y precision, el valor por defecto, prioriza la calidad del resultado. Los clips de ejemplo de la página del modelo tardaron 169 y 183 segundos en generarse, así que cuenta con unos minutos por video corto, no con unos segundos.
El doblaje de ElevenLabs toma otro enfoque. Admite más de 90 idiomas y dialectos, detecta automáticamente el idioma de origen y conserva la voz, la emoción y el tiempo del hablante original. Un ajuste de cloning strength de 0 a 10 (por defecto 7) decide cuánto se parece la nueva voz a la original: más alto para entrevistas en las que la identidad importa, más bajo para una entrega más natural en el idioma de destino.
También acepta una URL pública, como un enlace directo a un archivo, un enlace de YouTube o de TikTok, así que puedes doblar un video sin descargarlo antes. El tipo de salida indicado es audio, así que comprueba qué obtienes para tu archivo y coloca la nueva pista sobre el video original si necesitas un MP4 terminado.
Si necesitas control por idioma, monta la cadena tú mismo: un modelo de transcripción para la etapa uno, un modelo de texto a voz o de clonación de voz para la tres y un modelo de sincronización labial para la cinco. Las secciones siguientes enumeran las opciones. El precio de esa flexibilidad es el trabajo de orquestación, que el patrón de ejecutor de trabajos explicado más adelante resuelve.
| Ruta | Entrada | Idiomas | Coincidencia labial | Mejor para |
|---|---|---|---|---|
| Video Translate | Subida de MP4 | 150+ | Integrada | Videos terminados para nuevos mercados |
| ElevenLabs Dubbing | Archivo o URL pública | 90+ | Tiempo conservado | Podcasts, entrevistas, enlaces de YouTube |
| Cadena personalizada | Lo que sea | Depende de las piezas | Añade un modelo de sincronización labial | Control por idioma, revisión humana |
Esta es la forma más rápida de convertir un video en inglés a uno en español, usando la versión de navegador de Video Translate en Picasso IA.
| Modelo | Parámetro | Opciones | Cámbialo cuando |
|---|---|---|---|
| Video Translate | mode | speed, precision (por defecto) | Los borradores usan speed, los cortes finales usan precision |
| Video Translate | output_language | Más de 150 nombres y variantes regionales | La audiencia habla un dialecto regional concreto |
| ElevenLabs Dubbing | target_language | Etiquetas BCP-47 como es-MX, pt-BR, en-GB | Siempre es obligatorio |
| ElevenLabs Dubbing | source_language | auto (por defecto) o una etiqueta | La detección elige el idioma equivocado con habla con acento |
| ElevenLabs Dubbing | cloning_strength | De 0 a 10, por defecto 7 | Súbelo para parecerse al hablante, bájalo para una entrega natural |
| ElevenLabs Dubbing | source_url o archivo | Enlace público o subida | Doblar un video alojado sin descargarlo |
💡 Consejo: Las variantes regionales no son un detalle estético. Un doblaje en español de México y otro en español de España difieren en vocabulario y ritmo, y un anuncio que suena extraño a su propio público pierde la confianza que el doblaje debería generar.
Los docentes y los creadores de cursos son quienes más partido le sacan. Una clase grabada doblada al hindi, al tamil o al portugués (Brasil) llega a estudiantes que, de otro modo, dependerían de subtítulos a la velocidad de lectura.
Picasso IA tiene una API para desarrolladores en https://api.picassoia.com/v1, autenticada con un token Bearer. Sigue el patrón asíncrono que usan la mayoría de las API de IA: crear una predicción para un modelo, consultar su estado y luego obtener el resultado. La página de la API lista cuatro modelos: dos de imagen y dos de video, concretamente Picasso IA Video y Seedance 2.5 Lite. El par de video produce clips con audio sincronizado.
Dos límites condicionan cualquier automatización. Una cuenta puede tener hasta 5 predicciones en cola o en ejecución a la vez, compartidas entre sus tokens y conexiones MCP. Y en el momento de escribir esto, la página indica que crear predicciones requiere un plan Infinite, mientras también indica que las predicciones de la API son actualmente gratuitas y no consumen créditos. Consulta la página para conocer las condiciones vigentes antes de construir sobre ella.
La consecuencia práctica para el doblaje es esta: hoy ningún modelo de doblaje, traducción, sincronización labial o texto a voz está expuesto en la API. Esos modelos funcionan en el navegador. Una división sensata consiste en generar tu material de origen a través de la API, por ejemplo un clip de 5 segundos de Picasso IA Video o un clip de 5 o 10 segundos de Seedance 2.5 Lite, y luego ejecutar el paso de doblaje en el navegador o a través de un proveedor cuya API sí exponga el doblaje.
Cualquier API de doblaje con trabajos asíncronos necesita el mismo envoltorio: enviar, consultar con espera creciente, respetar el límite de concurrencia y no perder nunca un id de trabajo. El siguiente esbozo usa rutas de ejemplo. Sustitúyelas por los endpoints y los nombres de campo reales del proveedor que elijas.
import os
import time
import requests
from multiprocessing.pool import ThreadPool
BASE_URL = os.environ["PROVIDER_BASE_URL"] # your dubbing provider
TOKEN = os.environ["PROVIDER_TOKEN"]
HEADERS = {"Authorization": f"Bearer {TOKEN}"}
SOURCE_URL = os.environ["SOURCE_VIDEO_URL"] # public link to your MP4
LANGUAGES = ["es-MX", "pt-BR", "de", "ja", "hi"]
MAX_PARALLEL = 5 # stay under the provider cap
def submit(language):
r = requests.post(
f"{BASE_URL}/dubbing/jobs", # placeholder route
headers=HEADERS,
json={"source_url": SOURCE_URL, "target_language": language},
timeout=60,
)
r.raise_for_status()
job_id = r.json()["id"]
print(f"{language}: submitted {job_id}") # log it before waiting
return job_id
def wait(job_id, timeout=3600):
delay, deadline = 5, time.time() + timeout
while time.time() < deadline:
job = requests.get(
f"{BASE_URL}/dubbing/jobs/{job_id}", headers=HEADERS, timeout=60
).json()
if job["status"] == "succeeded":
return job["output_url"]
if job["status"] in ("failed", "canceled"):
raise RuntimeError(job.get("error", "dubbing failed"))
time.sleep(delay)
delay = min(delay * 1.5, 60) # gentle backoff
raise TimeoutError(job_id)
def dub(language):
try:
return language, wait(submit(language))
except Exception as exc: # one bad language must not stop the rest
return language, f"ERROR: {exc}"
with ThreadPool(MAX_PARALLEL) as pool:
for language, result in pool.imap(dub, LANGUAGES):
print(language, result)
Hay tres hábitos de ese código que merece la pena copiar. Registra el id del trabajo en cuanto lo obtengas, para que un fallo nunca deje huérfano un trabajo ya pagado. Consulta con un retardo que crezca en lugar de saturar la ruta de estado. Y captura los errores por idioma, para que un doblaje al japonés fallido no detenga el alemán.
Un ejemplo rápido de dimensionamiento: si cada trabajo tarda unos tres minutos, como los clips de ejemplo de arriba, y tu proveedor ejecuta 5 a la vez, 20 idiomas necesitan cuatro rondas, es decir, unos 12 minutos. Tómalo como una estimación, porque las colas reales varían.
Las frases traducidas rara vez tienen la misma longitud que el original. El español y el alemán suelen ser más largos que el inglés, lo que obliga al doblaje a acelerar, recortar o reescribir. Incluso cuando el audio encaja, la boca sigue formando las formas originales: una "p" o una "b" con los labios cerrados en inglés puede caer sobre una vocal abierta en el doblaje. El espectador lo nota sobre todo en los primeros planos, así que un clip de presentador necesita más cuidado que una grabación de pantalla con una voz en off encima.
Cuando tu paso de doblaje devuelve solo audio, o cuando montaste la cadena tú mismo, un modelo de sincronización labial dedicado vuelve a ajustar la boca a la nueva pista. Picasso IA lista varios en la categoría lipsync:
| Modelo | Lo que promete la ficha |
|---|---|
| Lipsync 2 Pro | Sincroniza los labios con el audio |
| React 1 | Sincronización labial realista en cualquier video |
| Kling Lip Sync | Ajusta la boca al audio en cualquier video |
| Lipsync Precision | Doblaje con enfoque en la precisión |
| Lipsync Speed | Doblaje en segundos, la velocidad primero |
El orden habitual es: doblar el audio, colocarlo sobre el video original y luego pasar el video y el nuevo audio al modelo de sincronización labial. Omite ese paso cuando el hablante esté fuera de cámara, de espaldas o pequeño en el encuadre, porque nadie puede comprobar la boca.
Una cadena personalizada empieza con una transcripción precisa. Picasso IA lista GPT-4o Transcribe, GPT-4o Mini Transcribe y Gemini 3 Pro en la categoría de voz a texto. Elijas lo que elijas, lee la transcripción antes de traducir. Corrige los nombres de productos, las siglas y los nombres de personas una sola vez, y todos los idiomas se benefician. Un glosario breve que se mantenga igual en todos los destinos evita que tu marca se traduzca de nueve maneras distintas.
Para la etapa tres, la categoría de texto a voz ofrece muchas opciones:
| Modelo | Por qué elegirlo |
|---|---|
| ElevenLabs v2 Multilingual | Voz en off en más de 30 idiomas |
| Gemini 3.1 Flash TTS | 30 voces en más de 70 idiomas |
| Speech 2.8 HD | Voces en off con calidad de estudio |
| MiniMax Voice Cloning | Voces personalizadas a partir de una muestra |
| Qwen3 TTS | Clona una voz o diseña la tuya |
Clona solo voces que tengas permiso para usar, y guarda por escrito ese permiso junto al proyecto. Una voz de marca debe mantenerse coherente en todos los idiomas, así que elige un estilo de voz por idioma y reutilízalo en toda la serie.
1. Saltarse la revisión nativa. El doblaje automático es bueno, y aun así se equivoca de maneras que solo detecta un oído nativo: un registro formal donde la marca es informal, un número leído en el orden incorrecto, un chiste que se convierte en un sinsentido. Diez minutos con un revisor bilingüe salen más baratos que volver a grabar.
2. Olvidar lo que aparece escrito en pantalla. El doblaje cambia el audio. No toca las diapositivas, el texto de la interfaz, los rótulos inferiores ni los subtítulos incrustados en la grabación. Planifica una segunda pasada que los reemplace, o la voz en español narrará una pantalla en inglés.
3. Ignorar la banda sonora. La música, los aplausos y el ambiente de la sala están debajo de la voz original. Escúchalos en el archivo doblado. Si la música desaparece o se entrecorta, vuelve a mezclar el fondo original por debajo de la nueva voz.
Una lista breve de comprobación previa a la publicación mantiene los lotes en orden:
No necesitas un estudio, un traductor con contrato ni una semana de edición para ver cómo funciona. Abre Video Translate, sube un clip de 20 segundos y ejecútalo en dos idiomas. Luego pasa el mismo clip por ElevenLabs Dubbing con cloning strength en 3 y otra vez en 9, y escucha la diferencia lado a lado.
Si quieres material nuevo para doblar, genéralo primero: Picasso IA crea imágenes y videos cortos con audio sincronizado, y todo el catálogo aparece en la página de todos los modelos. Experimenta, compara y quédate con la versión a la que tu audiencia de verdad daría al play.
Elige tu idioma
