أثارت Pikaformance من Pika الحديث عن مزامنة الشفاه بالذكاء الاصطناعي على نطاق واسع، لكن القصة الحقيقية أعمق من ذلك. يشرح هذا المقال بالتفصيل كيف تعمل الرسوم المتحركة للوجه المدفوعة بالصوت، وأي النماذج تقدّم أفضل النتائج اليوم، وكيفية استخدامها دون قائمة انتظار أو مفاتيح API. من الأفاتار الناطق إلى الدبلجة متعددة اللغات، هذه هي الصورة الكاملة.
ظهرت ميزة Pikaformance من Pika مع نوع من العروض التوضيحية التي تجعل الناس يتوقفون أثناء التمرير. وجه، وأي صوت، وشفاه تتحرك بتزامن حقيقي. بدت التقنية سهلة للغاية. والنتائج، على الأقل في المقاطع النظيفة، كانت لافتة بما يكفي لتنتشر. لكن Pikaformance لم تظهر من فراغ، وهي لا تعمل وحدها في هذا المجال.
تطورت مزامنة الشفاه بالذكاء الاصطناعي على مدى سنوات في المختبرات البحثية واستوديوهات الإنتاج، وفي مجموعة متزايدة من الأدوات المتخصصة. ما فعلته Pika هو جعلها في متناول أشخاص ليست لديهم خلفية في البرمجيات. هذا الانتشار أثار نقاشًا حقيقيًا حول ماهية هذه التقنية، وكيف تعمل فعلًا، وهل توجد خيارات أفضل بحسب ما تريد إنتاجه.
يجيب هذا المقال عن هذه الأسئلة بشكل مباشر. لا حشو ولا مبالغة. فقط كيف تعمل الرسوم المتحركة للوجه المدفوعة بالصوت بالتفصيل، وأي النماذج تستحق وقتك، وكيف تبدأ في إنتاج نتائج حقيقية اليوم.
Pikaformance هو الاسم التجاري لمزامنة الشفاه المدفوعة بالصوت من Pika. في جوهرها، تأخذ الميزة مقطع فيديو يحتوي على وجه وملف صوتي، ثم تعيد رسم منطقة الشفاه في الوجه إطارًا بعد إطار لتطابق الأصوات في الملف الصوتي. يبقى باقي الإطار دون مساس. تبقى الخلفية والشعر والملابس والتعابير، بينما يُعاد توليد منطقة الفم فقط لتتطابق مع كل فونيم في المسار الصوتي.
يعمل النموذج بتحويل الصوت إلى تسلسل فونيمات، أي خط زمني من أصوات الكلام المنفصلة. لكل فونيم شكل فم مقابل، يُسمى تقنيًا "الفيزيم" (viseme). يتدرب النموذج على آلاف الساعات من مقاطع الكلام البشري الحقيقي، فيبني خريطة داخلية لشكل كل فم يجب أن يظهر عليه مع كل صوت ممكن.
ما يميز الأنظمة الحديثة مثل Pikaformance عن طرق مزامنة الشفاه القديمة هو الهندسة. كانت الأدوات القديمة تُلصق منطقة فم مسطحة فوق الوجه، فتظهر حواف مرئية ويبدو الناتج مصطنعًا عند الفحص القريب. أما النماذج الحالية فتعمل مع البنية ثلاثية الأبعاد الفعلية للوجه، مع مراعاة حركة الفك، وشد الخدين، وظهور الأسنان، والظل أسفل اللسان. والنتيجة تركيب يصمد حتى في اللقطات المقربة.
حظيت Pikaformance بالانتشار لأنها أزالت العوائق. معظم الأدوات المنافسة وقت الإطلاق كانت تتطلب وصولًا عبر API أو باقات اشتراك أو إعدادًا تقنيًا. قدّمت Pika واجهة نظيفة يستطيع أي شخص من خلالها رفع مقطع وملف صوتي والحصول على فيديو متزامن بسرعة. أظهرت العروض التوضيحية المتداولة مزامنة نظيفة على لقطات واضحة الإضاءة وأمامية، وكان ذلك كافيًا لإثارة فضول حقيقي.
كشف التفاعل أيضًا عن طلب واسع في السوق. يرغب عدد كبير من الناس في دبلجة محتواهم، أو إنشاء أفاتار ناطق، أو ترجمة الفيديوهات لجمهور بلغات مختلفة، أو إضافة تعليق صوتي متقن دون إعادة التصوير. منحت Pikaformance هذه الرغبة اسمًا ووجهًا.
إن معرفة الآلية وراء هذه التقنية تغيّر طريقة استخدامك لها. مسار العمل المكوّن من ثلاث مراحل متشابه في كل أداة رئيسية لمزامنة الشفاه، بما فيها Pikaformance و HeyGen و Sync.so ونماذج ByteDance.
تبدأ العملية من الصوت وحده. يعالج النظام الموجة الصوتية وينتج خطًا زمنيًا للفونيمات: تسلسل من أصوات الكلام مرتبط بطوابع زمنية بدقة الأجزاء من الألف من الثانية. هذا الخط الزمني هو الأساس الذي تُبنى عليه كل المراحل اللاحقة.
تحدد الدقة في هذه المرحلة كل ما يليها. إذا انحرف الخط الزمني للفونيمات بمقدار 30 إلى 50 ملّي ثانية، ستبدو مزامنة الشفاه خاطئة للمشاهد البشري حتى لو كان التركيب نفسه سليمًا تقنيًا. لهذا تهم جودة التسجيل بشدة. فالصوت الضوضائي، أو الصدى القوي، أو تداخل الكلام، أو الضغط المكثف، كلها تُدخل أخطاء إلى خريطة الفونيمات، وتنتقل هذه الأخطاء مباشرة إلى المخرجات المرئية.
بمجرد وجود الخط الزمني للفونيمات، يحدد النموذج موقع الوجه في كل إطار فيديو، ويبني شبكة ثلاثية الأبعاد للوجه. يلتقط هذا الإطار السلكي البنية الهندسية للوجه باستخدام ما بين 68 و478 نقطة معلمية متتبَّعة، حسب مدى تطور النموذج.
تتيح الشبكة للنظام مراعاة الحركة الثانوية. عندما ينفتح الفم، ينخفض الفك، ويتحرك الذقن إلى الأسفل، وتتحرك الخدود قليلًا. النموذج الذي يعدّل بكسلات الشفاه فقط سيبدو مسطحًا. أما النموذج الذي يراعي الهندسة الكاملة للوجه فسيبدو طبيعيًا، حتى من زوايا مختلفة. وهذا من أوضح الفروق في الأداء بين الأدوات الأساسية والأنظمة الاحترافية.
المرحلة الأخيرة هي التركيب. لكل إطار فيديو، يولّد النموذج منطقة شفاه جديدة تطابق الفونيم المستهدف، ويدمجها في الإطار الموجود. هذه أكثر مراحل مسار العمل استهلاكًا للحوسبة.
اعتمدت الطرق الأولى على استبدال النسيج، أي لصق أشكال فم مُصيَّرة مسبقًا فوق الوجه. وكانت الحواف الفاصلة ظاهرة في الغالب. أما طرق الانتشار الحالية فتعيد توليد منطقة الشفاه والمنطقة المحيطة بها من الصفر، مستخدمة الوجه الأصلي مرجعًا للون البشرة والنسيج والإضاءة. ويكون المزج شبه سلس عندما تكون المادة المصدرية نظيفة.
لم تبنِ Pika تقنية مزامنة الشفاه بمعزل عن غيرها. تعود الأسس الأكاديمية إلى عام 2017، وتشغّل شركات مثل Sync.so و HeyGen أنظمة مزامنة شفاه بجودة الإنتاج منذ سنوات. تُظهر المقارنة الصادقة موقع Pikaformance بين هذه الأدوات.
| الأداة | أفضل حالة استخدام | منظر جانبي | الفيديو الطويل |
|---|---|---|---|
| Pikaformance | مقاطع قصيرة، وصول سهل | محدود | غير مثالي |
| HeyGen Lipsync Precision | دبلجة احترافية | جيد | نعم |
| Sync Lipsync 2 Pro | دقة بمستوى الاستوديو | قوي | نعم |
| ByteDance Omni Human 1.5 | من صورة إلى فيديو | متوسط | يتحسن |
| Kling Lip Sync | استخدام عام سريع | جيد | نعم |
يحقق Pikaformance أفضل أداء له في المقاطع القصيرة التي يكون فيها الوجه جيد الإضاءة، ومتجهًا نحو الكاميرا، وثابتًا نسبيًا. وهو يتعامل مع أكثر حالات الاستخدام شيوعًا بشكل جيد. أما الأدوات المتخصصة فقد أنفقت وقتًا هندسيًا أطول على الحالات الاستثنائية: الملامح الجانبية، والإخفاء الجزئي، وحركة الرأس السريعة، والفيديو الطويل.
بالنسبة إلى المقاطع السريعة التي مدتها 15 ثانية على لقطات عادية، يكون Pikaformance سريعًا. أما للمحتوى الاحترافي، خاصة ما سيظهر في الإعلانات أو العروض التقديمية أو فيديوهات العلامات التجارية المنشورة، فإن أدوات مثل Lipsync 2 Pro وHeyGen Lipsync Precision تنتج مخرجات أكثر اتساقًا. ويظهر الفرق بوضوح أكبر مع اللهجات غير الأصلية، والكلام السريع، واللقطات التي سُجّل صوتها في بيئة صوتية مختلفة عن البيئة الأصلية للتصوير.
أكبر فئة مستخدمين لمزامنة الشفاه بالذكاء الاصطناعي حاليًا هي صانعو المحتوى الفرديون الذين يصورون بلغة واحدة لكنهم يريدون الوصول إلى عدة لغات. لم يعد صانع المحتوى الذي ينتج بالإنجليزية ويريد نسخة إسبانية أو فرنسية أو برتغالية من محتواه بحاجة إلى إعادة تسجيل كل فيديو. يمرر الصوت المترجم عبر أداة لمزامنة الشفاه، فيحصل على فيديو تتطابق فيه الشفاه مع اللغة الجديدة.
يفيد هذا المسار أيضًا صانعي المحتوى الذين يسجلون التعليقات الصوتية بشكل مستقل في غرفة معالجة صوتية، ويريدون أن تظهر هذه التعليقات متزامنة مع لقطات صُوّرت مباشرة. والنتيجة أكثر صقلًا من فيديو الرأس المتحدث مع صوت غير متطابق.
دمجت فرق التسويق مزامنة الشفاه في مسارات الإنتاج الخاصة بها بسرعة أكبر مما توقّعه معظم الناس. يمكن لعلامة تجارية تصوّر فيديو واحدًا لمتحدث واحد أن تنتج الآن نسخًا مترجمة بحسب اللغة لعدد 10 أو 15 سوقًا دون حجز تصويرات إضافية. يبقى مظهر المتحدث متسقًا، ويتغيّر الصوت وحده، وتجعل مزامنة الشفاه الفيديو يبدو أصليًا لا مدبلجًا.
صُممت HeyGen Video Translate خصيصًا لهذا المسار، إذ تجمع الترجمة الآلية ومزامنة الشفاه في مسار واحد، وتغطي أكثر من 150 لغة.
تتيح لك PicassoIA وصولًا مباشرًا إلى فئة كاملة من نماذج مزامنة الشفاه. إليك مقارنة أهم النماذج في الممارسة العملية.
تقدم HeyGen وضعين مختلفين يخدمان أولويات متباينة. صُمم Lipsync Precision للدقة قبل أي شيء آخر، ما يجعله الخيار المناسب للمحتوى الاحترافي الذي ستُفحص فيه جودة المزامنة عن قرب. أما Lipsync Speed فيعالج أسرع مع تنازل بسيط في الدقة، ما يجعله الخيار الأفضل للإنتاج كثيف الحجم الذي تكون فيه سرعة التسليم أهم من مكاسب الجودة الطفيفة.
بالنسبة إلى معظم صانعي المحتوى الأفراد، يكفي Lipsync Speed ويزيد. أما بالنسبة إلى محتوى العلامات التجارية أو أي شيء يدخل مسار اعتماد رسمي، فيستحق Lipsync Precision وقت المعالجة الإضافي.
يقدّم Sync.so نموذجين أساسيين على PicassoIA. يُعد Lipsync 2 من أدق الخيارات متعددة الأغراض المتاحة، ويتعامل جيدًا مع مجموعة واسعة من ظروف اللقطات. يوسّع Lipsync 2 Pro هذه القدرات بنمذجة محسّنة لهندسة الفك، ومعالجة أفضل بكثير للقطات التي يظهر فيها الشخص بمنظر جانبي، وهي الحالة التقنية الأصعب في هذه الفئة.
يذهب React 1 من الفريق نفسه إلى أبعد من ذلك، إذ يضيف تعديل التعبير العاطفي إلى مزامنة الشفاه. يقرأ النموذج النبرة العاطفية للصوت، ويعدّل التعبير العام للوجه ليتطابق معها، لا وضع الفم وحده.
صُمم Omni Human 1.5 لنقطة بداية مختلفة. فبدلًا من طلب فيديو، يمكنه أخذ صورة ثابتة وتوليد فيديو ناطق متحرك بالكامل منها. هذا هو مسار التحويل من الصورة إلى الفيديو الذي لا تدعمه معظم الأدوات الأخرى بشكل أصلي.
يبقى نموذج Omni Human الأصلي متاحًا ويعمل جيدًا للمقاطع القصيرة. وتحسّن النسخة 1.5 تماسك حركة الجسم، وتتعامل مع المسارات الصوتية الأطول دون عيوب الانحراف التي ظهرت في الإصدارات السابقة.
ينتج Kling Lip Sync من Kwai مخرجات عالية الجودة على لقطات الرأس المتحدث القياسية، مع معالجة سريعة. وهو خيار افتراضي قوي للاستخدام العام. ويتعامل PixVerse Lipsync مع حركة الكاميرا الديناميكية بشكل أفضل من معظم المنافسين، ما يجعله مفيدًا للقطات التي لم تُصوَّر في بيئة استوديو مضبوطة.
يتكامل Fabric 1.0 من VEED مع أدوات التحرير الأوسع للشركة، وهو ما يضيف قيمة إذا كنت تعمل أصلًا في ذلك النظام البيئي. أما P Video Avatar من PrunaAI فمصمم خصيصًا لإنشاء الأفاتار الناطق، ومثالي لتوليد فيديوهات مقدّمين متسقة دون الحاجة إلى كاميرا أو تصوير مباشر.
تتيح PicassoIA الوصول إلى جميع النماذج المذكورة أعلاه من واجهة واحدة، دون حسابات منفصلة أو مفاتيح API. مسار العمل متسق عبر النماذج.
يعتمد اختيار النموذج على مادتك المصدرية وهدفك. للدبلجة الاحترافية إلى لغة أخرى، ابدأ بنموذج HeyGen Lipsync Precision. للعمل السريع بكميات كبيرة، استخدم Kling Lip Sync أو HeyGen Lipsync Speed. إذا كنت تبدأ من صورة فوتوغرافية لا من فيديو، فإن Omni Human 1.5 هو الخيار الصحيح. وللحصول على أعلى دقة على اللقطات الأمامية، يستحق Lipsync 2 Pro التجربة.
ارفع فيديو المصدر وصوت الاستبدال. يجب أن يكون الوجه في الفيديو جيد الإضاءة، ويشغل مساحة كبيرة من الإطار. ويجب أن يكون الصوت نظيفًا، دون ضوضاء خلفية أو موسيقى متداخلة مع الكلام. يُعد عدم التطابق بين الطابع الصوتي للفيديو الأصلي وصوت الاستبدال من أكثر الأسباب شيوعًا لشعور المزامنة بأنها مصطنعة، حتى عندما تكون حركة الشفاه سليمة تقنيًا.
نصيحة: سجّل صوت الاستبدال في مساحة معالجة صوتية، أو مرّره عبر خطوة لتقليل الضوضاء قبل الرفع. فالبصمة الصوتية للتسجيل مهمة بقدر دقة الفونيمات.
تعرض معظم النماذج معامل قوة المزامنة. ويعطي النطاق بين 80 و90 بالمئة مزامنة دقيقة ومزجًا يبدو طبيعيًا. أما الوصول إلى 100 بالمئة فقد ينتج عيوب الإفراط في التوليد، حيث تبدو منطقة الشفاه مُعالَجة. اضبط إعدادات الدقة لتتطابق مع فيديو المصدر لتجنب عيوب رفع الدقة.
يستغرق وقت المعالجة للمقاطع التي تقل مدتها عن 30 ثانية عادةً بين دقيقتين وخمس دقائق، حسب النموذج وحمل الخادم. راجع المخرجات قبل التنزيل. وانتبه بشكل خاص إلى الانتقالات التي يتوقف فيها المتحدث أو يغيّر وتيرته، فهذه اللحظات هي التي تظهر فيها أخطاء المزامنة غالبًا.
كل نموذج لمزامنة الشفاه، بما فيه Pikaformance وكل بديل آخر، ينتج مخرجات أسوأ مع الصوت الرديء. فالضوضاء والصدى والضغط والأصوات المتداخلة كلها تُفسد مرحلة تخطيط الفونيمات. قبل تشغيل أي مهمة مزامنة، نظّف صوتك. مرور واحد عبر أداة لتقليل الضوضاء يستغرق أقل من دقيقة، وهو الإجراء الأعلى تأثيرًا الذي يمكنك اتخاذه لتحسين جودة المزامنة.
تسبب ظروف معينة مشكلات بشكل متكرر عبر جميع الأدوات في هذه الفئة:
معرفة هذه أنماط الفشل تغيّر طريقة تعاملك مع التصوير. فإعداد مضبوط بإضاءة جيدة وزاوية أمامية وتسجيل صوتي نظيف يُزيل معظم الحالات الاستثنائية قبل أن يدخل أي ذكاء اصطناعي في العملية.
سلّطت Pikaformance الضوء على مزامنة الشفاه المدفوعة بالصوت، لكن الأدوات المتاحة اليوم تذهب أبعد بكثير من ذلك العرض الأولي. تمنحك PicassoIA وصولًا مباشرًا إلى اثني عشر نموذجًا متخصصًا لمزامنة الشفاه، من مسار التحويل من الصورة إلى الفيديو في Omni Human 1.5 إلى دقة بمستوى الاستوديو في Lipsync 2 Pro، دون قائمة انتظار ودون إعداد لمفاتيح API.
أسرع طريقة لترى ما تفعله هذه النماذج فعليًا هي تشغيل أحدها على مادتك الخاصة. اختر مقطعًا. سجّل صوتًا نظيفًا. ارفع الاثنين إلى النموذج الذي يناسب حالة استخدامك. ستُظهر لك المخرجات أكثر مما يستطيع أي وصف هنا أن يوضحه.
تحولت مزامنة الشفاه بالذكاء الاصطناعي من ابتكار بحثي إلى أداة إنتاج حقيقية. لم يعد السؤال هو ما إذا كانت التقنية تعمل. السؤال الآن هو أي نموذج يناسب مادتك وصوتك وموعد تسليمك. تضع PicassoIA كل هذه النماذج في مكان واحد. ابدأ من هناك.
اختر لغتك
