شرح واضح لكيفية تحويل الذكاء الاصطناعي كلماتك فعليًا إلى لقطات متحركة. من نماذج الانتشار وترميز الفضاء الكامن إلى التوليد إطارًا بإطار والاتساق الزمني، يزيل هذا المقال المصطلحات المعقدة ويشرح ما يحدث فعلًا داخل نماذج مثل Veo 3 وKling وWan وSora عند الضغط على زر التوليد.
تكتب جملة، وبعد بضع ثوانٍ يظهر مقطع فيديو يطابق كلماتك تقريبًا تمامًا، دون كاميرا أو ممثلين أو استوديو مونتاج. فقط أمر نصي ونموذج يعمل. إذا رأيت ذلك يحدث ولا تزال تجد صعوبة في تصديقه، فأنت لست وحدك. الآليات الكامنة وراء تحويل النص إلى فيديو بالذكاء الاصطناعي مدهشة فعلًا، ومعظم الشروح تجعلها أصعب على الفهم لا أسهل. لذلك إليك النسخة الحقيقية: واضحة ودقيقة، بعيدة عن المبالغة.
يبدأ تحويل النص إلى فيديو بالكلمات، لكن ما يعالجه النموذج يختلف تمامًا عن الجملة التي كتبتها. فور ضغطك على زر التوليد، يتحول أمرك النصي إلى تسلسل توكنات، وهو تمثيل رقمي لنصك حيث تُربط كل كلمة، أو أحيانًا أجزاء من الكلمات، برقم في جدول بحث ضخم بُني أثناء التدريب.
ثم يمرّ تسلسل التوكنات عبر مشفّر نصي، وهو شبكة عصبية مدرّبة خصيصًا لاستخراج المعنى الدلالي من اللغة. يُسمى ناتج المشفّر متجه التضمين: قائمة طويلة من الأرقام العشرية تمثل معنى أمرك النصي في فضاء رياضي عالي الأبعاد. فكّر فيه بوصفه إحداثيًا على خريطة مفاهيم واسعة لا جملةً. تقع العبارة "كلب يعدو على رمال مبللة" قريبة من "جرو يركض على شاطئ" في ذلك الفضاء، وبعيدة جدًا عن "مصنع فولاذ عند الغسق".
هذا التمييز مهم لأن النموذج لا يقرأ أمرك النصي كما تقرؤه أنت. فهو لا يحلل البنية السردية أو القواعد أو التسلسل. يعمل كليًا انطلاقًا من ذلك التضمين المضغوط، ويستخدمه لتوجيه عملية توليد تبدأ من نقطة مختلفة تمامًا عن كلماتك. لهذا قد يغيّر الصياغة الدقيقة نتائجك بشكل كبير حتى عندما يبدو المعنى الظاهري متطابقًا. فالفضاء التضميني حساس للمفردات والتحديد والعلاقات بين المفاهيم.
تستخدم معظم النماذج الحالية نسخة من بنية المحوّل (transformer) لبناء هذه التضمينات. داخل المحوّل، تتيح آلية الانتباه لكل توكن أن ينظر إلى كل توكن آخر ويمنحه أوزان أهمية. تحمل كلمة "غروب" وزنًا دلاليًا أكبر عندما تأتي بجوار "محيط" مما تحمله بجوار "مستودع". يشكّل هذا السياق الموزون التضمين النهائي الذي يُمرَّر إلى مولّد الفيديو. لهذا تميل الأوامر التي تتضمن أوصافًا علائقية، مثل "قطة نائمة فوق أريكة جلدية متهالكة بجوار نافذة"، إلى إنتاج مخرجات أدق مكانيًا من قوائم الكلمات المفتاحية المسطحة.
يعتمد توليد الفيديو الفعلي في معظم النماذج المتقدمة، بما في ذلك Veo 3 وWan 2.6 T2V وKling v3 Video، على عملية تُسمى الانتشار (diffusion). وبمجرد فهمك للانتشار، تتضح بقية أجزاء تحويل النص إلى فيديو بالذكاء الاصطناعي.
لا يبدأ النموذج بلوحة بيضاء ولا بمسودة تقريبية لمشهدك. يبدأ بمصفوفة من ضوضاء عشوائية خالصة، أي قيم مبعثرة لا معنى لها تقريبًا، ضمن تمثيل مضغوط لفضاء الفيديو يُسمى الفضاء الكامن (latent space). الفضاء الكامن ترميز أقل دقة وأكثر تجريدًا لبيانات الفيديو الفعلية. والعمل في الفضاء الكامن بدلًا من البكسلات الخام هو ما يجعل الانتشار ممكنًا حسابيًا من الأساس. فمعالجة فيديو خام بدقة 1080p إطارًا بإطار في فضاء البكسلات تتطلب موارد حوسبة تفوق قدرة العتاد الحالي بكثير.
الضوضاء مقصودة. تُدرَّب نماذج الانتشار بعكس هذه العملية: تؤخذ مقاطع فيديو حقيقية، ويُضاف إليها تدريجيًا ضوضاء حتى تصبح ستاتيكًا لا يمكن التعرف عليه، ثم تُدرَّب شبكة عصبية على التنبؤ بتلك الضوضاء المضافة وعكسها خطوة بخطوة.
من تلك الضوضاء الأولية، يُجري النموذج سلسلة من خطوات إزالة الضوضاء، عادةً بين 20 و50 تكرارًا حسب النموذج وإعدادات الجودة. في كل خطوة، تأخذ شبكة عصبية تُسمى مزيل الضوضاء (denoiser)، وغالبًا ما تكون U-Net أو بنية أحدث هي محوّل الانتشار، ثلاثة مدخلات: الفضاء الكامن الحالي المشوّش، والتضمين النصي لأمرك، وقيمة الخطوة الزمنية التي تبيّن مدى تقدم عملية إزالة الضوضاء. ثم تتنبأ بالضوضاء التي أُضيفت في تلك الخطوة. يطرح النموذج الضوضاء المتوقعة، فيبقى ناتج أكثر تماسكًا قليلًا.
كرّر هذه العملية من 30 إلى 50 مرة، فتتحول الضوضاء العشوائية تدريجيًا إلى مقطع فيديو يعكس أمرك النصي.
يحضر تضمينك النصي في كل خطوة من خطوات إزالة الضوضاء، لا في الخطوة الأولى فقط. ويوجّه العملية باستمرار عبر تقنية تُسمى التوجيه بلا مصنّف (classifier-free guidance). يُجري مزيل الضوضاء تنبؤين في الوقت نفسه في كل خطوة: أحدهما مشروط بتضمين أمرك، والآخر بدونه. ثم تُضخَّم الفروق بين التنبؤين وتُضاف إلى الناتج. ارفع مقياس التوجيه فيكون لأمرك تأثير أقوى في النتيجة. وإن بالغت في رفعه، أصبح الناتج مشبعًا بالألوان أكثر من اللازم وتظهر التشوهات.
توليد صورة واحدة متماسكة مسألة واحدة. أما توليد عشرات أو مئات الإطارات التي تتدفق باتساق عبر الزمن فمشكلة أصعب بكثير، وهنا يختلف تحويل النص إلى فيديو بالذكاء الاصطناعي اختلافًا جوهريًا عن تحويل النص إلى صورة.
يمكن تقييم الصورة الثابتة منفردةً. أما الفيديو فلا. إذا ولّد النموذج كل إطار بمعزل عن غيره، ستحصل على وميض بصري وأجسام تتشوه وشخصيات تتغير ملامح وجوهها بين إطار وآخر بشكل خفي. تُسمى هذه المشكلة عدم الاتساق الزمني، وكانت السمة المميزة لنماذج الفيديو الأولى. شاهد مخرجات النماذج التي أُطلقت في 2023 وستلاحظه فورًا: الشخص صحيح، لكن كل شيء يرتعش وينزاح كأنه صُوّر من خلف سراب حراري.
التحدي الأساسي هو الحفاظ على هوية العناصر عبر الزمن. يجب أن يكون كوب القهوة على الطاولة هو نفسه في الإطار 12 وفي الإطار 60، بالزاوية نفسها واللون نفسه والملمس نفسه. أي انحراف في مسار إزالة الضوضاء يؤثر في إطار واحد دون الإطارات المجاورة له يظهر في المقطع النهائي كانقطاع مرئي.
تعالج البنى الحديثة الاتساق الزمني عبر عدة أساليب تعمل غالبًا معًا:
على مستوى البنية، تتشارك نماذج تحويل النص إلى صورة وتحويل النص إلى فيديو أفكارًا أساسية، لكنها تختلف في النطاق والتعقيد بطرق تفسر لماذا يكون توليد الفيديو أصعب بكثير وأكثر استهلاكًا للموارد.
| البعد | تحويل النص إلى صورة | تحويل النص إلى فيديو |
|---|---|---|
| شكل المخرجات | الارتفاع x العرض | الارتفاع x العرض x الإطارات |
| نطاق الانتباه | مكاني فقط | مكاني + زمني |
| الفضاء الكامن | فضاء كامن ثنائي الأبعاد للصورة | فضاء كامن ثلاثي الأبعاد للفيديو |
| بيانات التدريب | أزواج صورة وتعليق | مقاطع فيديو مع تعليقات |
| الحوسبة لكل توليد | متوسطة | عالية إلى عالية جدًا |
| نمط الفشل الرئيسي | أخطاء في التشريح والتكوين | عدم الاتساق الزمني |
| حساسية الأمر النصي | عالية | عالية جدًا |
أكبر تحول معماري هو الانتقال من الانتباه المكاني ثنائي الأبعاد إلى الانتباه المكاني-الزمني ثلاثي الأبعاد الكامل، أو على الأقل الانتباه المكاني-الزمني المُفكَّك. في الانتباه ثلاثي الأبعاد الكامل، يمكن لكل موضع في كل إطار أن ينتبه إلى كل موضع في كل إطار آخر في الوقت نفسه. يمنح هذا تماسكًا زمنيًا ممتازًا، لكنه يتوسع بشكل سيئ مع عدد الإطارات والدقة.
تتناوب الأساليب المُفكَّكة بين تمريرات انتباه مكاني فقط وتمريرات زمنية فقط، كحل عملي وسط. وهذا يجعل التوليد ممكنًا لمدد أطول دون نمو أسّي في الذاكرة. تستخدم معظم النماذج الإنتاجية الانتباه المُفكَّك مع طبقات انتباه كامل مختارة في أعماق معينة من الشبكة.
يُعتقد أن نماذج مثل Sora 2 Pro وVeo 3.1 تستخدم بنى محوّلات مكانية-زمنية كاملة مدرَّبة على مجموعات بيانات فيديو ضخمة ومنتقاة، ولهذا تُظهر مخرجاتها تماسكًا زمنيًا وفيزياءً للحركة أفضل بكثير من النماذج الأقدم. الفارق لا يتعلق بالحوسبة وحدها، بل بخيارات البنية وجودة بيانات التدريب معًا.
هناك اليوم أكثر من 80 نموذجًا موثوقًا لتحويل النص إلى فيديو، لكل منها مفاضلات مختلفة بين السرعة والجودة والدقة ودقة الحركة والتكلفة. إليك تفصيل عملي.
تعطي هذه النماذج الأولوية لجودة المخرجات والواقعية، وغالبًا على حساب وقت توليد أطول أو تكلفة أعلى للدقيقة:
تضحّي هذه النماذج ببعض الجودة مقابل السرعة، ما يجعلها مثالية لتكرار الأوامر النصية والاختبار السريع:
💡 نصيحة: استخدم نموذجًا سريعًا لتكرار أمرك النصي حتى يبدو المشهد والحركة صحيحين. ثم شغّل النسخة النهائية على نموذج عالي الجودة. ستوفر وقتًا وتكلفة بشكل كبير.
حتى مع أفضل النماذج المتاحة، قد تخيّب المخرجات الآمال. الأسباب عادةً محددة وقابلة للإصلاح إذا عرفت ما تبحث عنه.
الوميض الزمني: كل إطار على حدة يبدو مقبولًا، لكن الإطارات المتجاورة لا تتطابق بسلاسة. يحدث هذا عادةً عندما تستخدم البنية انتباهًا زمنيًا غير كافٍ، أو عندما تُضبط خطوات التشغيل على قيمة منخفضة جدًا. يحل التبديل إلى نموذج بتدريب زمني أقوى، مثل Kling v3 Omni Video، هذه المشكلة غالبًا.
وجوه متشوهة وتشريح يذوب: تشريح الإنسان بالغ الصعوبة. تعلّم النموذج من بيانات فيديو تتحرك فيها الوجوه والأجساد بطرق معقدة ومتنوعة للغاية. وعندما تكون عملية إزالة الضوضاء غير متيقنة بين وضعين معقولين، فإنها تتوسط بينهما، فيظهر تأثير الوجه الذائب. تقلل الأوامر الأكثر تحديدًا للوضعية والزاوية من عدم اليقين وتحسّن استقرار المخرجات.
حركة عائمة أو غير صحيحة فيزيائيًا: الفيزياء غير مُمثَّلة بشكل صريح في أنظمة الانتشار. تُقرَّب الحركة من أنماط إحصائية في بيانات فيديو التدريب. وكل ما يتطلب سلوكًا فيزيائيًا دقيقًا، كحركة الأقمشة وانسكاب السوائل وتصادم الأجسام الصلبة، يبدو خاطئًا غالبًا. عالج ذلك بوصف الحركة صراحةً في الأمر النصي بدلًا من ترك النموذج يستنتجها.
تسرب الأوصاف: قد يمتزج مفهومان متمايزان في الأمر النصي على نحو مكاني لم تقصده. فعبارة "حقيبة حمراء على طاولة بيضاء" قد تنتج طاولة وردية لأن أوصاف الألوان تتسرب. افصل أوصافك المكانية عن قصد، وكن محددًا حول الخاصية التي تنتمي إلى كل جسم.
انجراف المشهد في المقاطع الأطول: في المقاطع التي تتجاوز 6 إلى 8 ثوانٍ، تفقد نماذج كثيرة أثر إعداد المشهد الأولي وتنجرف تدريجيًا نحو تكوين مختلف. هذا قيد معروف في أحجام الفضاء الكامن الحالية للفيديو. ويساعد كثيرًا الحفاظ على الأوامر مركزة على حركة واحدة متصلة داخل موقع واحد.
💡 نصيحة: الأوامر القصيرة والمحددة وأحادية المشهد تتفوق دائمًا تقريبًا على الأوصاف الطويلة متعددة الأحداث. حركة واحدة واضحة أفضل من سلسلة من الحركات.
Wan 2.6 T2V من أقوى نماذج تحويل النص إلى فيديو ذات البنية المفتوحة المتاحة الآن، ويتميز بتماسك زمني جيد بشكل خاص والتزام عالٍ بالأمر النصي. إليك كيفية تشغيله مباشرةً على PicassoIA.
انتقل إلى صفحة Wan 2.6 T2V على PicassoIA. تحمّل الواجهة معلمات النموذج وحقل الأمر النصي فورًا.
ابنِ أمرك النصي على طبقات، لا كتدفق عفوي للأفكار:
| المعلمة | قيمة البداية الموصى بها |
|---|---|
| المدة | 5 ثوانٍ |
| الدقة | 720p |
| مقياس التوجيه | 7.0 إلى 7.5 |
| خطوات التشغيل | 30 |
| نسبة العرض إلى الارتفاع | 16:9 |
ابدأ بحذر. يمكنك دائمًا زيادة الخطوات والدقة بعد أن يعمل أمرك النصي. تحتاج المقاطع الأطول إلى خطوات أكثر للحفاظ على الاتساق الزمني.
بعد التوليد، قيّم مخرجاتك على ثلاثة محاور:
إذا لم يكن شيء على ما يرام، غيّر شيئًا واحدًا في كل مرة داخل أمرك النصي. وإذا احتجت إلى نتائج أسرع أثناء الاختبار، فإن Wan 2.5 T2V Fast يستخدم بنية مشابهة بسرعة توليد أعلى، لذا تنتقل دروس أوامرك النصية إليه مباشرةً.
💡 نصيحة: للحصول على أفضل النتائج الزمنية مع Wan 2.6 T2V، ركّز كل أمر نصي على حركة واحدة متصلة داخل موقع واحد. الانتقالات بين المشاهد والتسلسلات متعددة الأحداث تدفع حدود اتساق النموذج إلى أقصاها.
فهم الآليات شيء، وتوليد شيء فعلي شيء آخر. تضيق الفجوة بين مخرجات متوسطة وأخرى جيدة حقًا بسرعة، بمجرد أن تعرف ما يفعله النموذج في كل خطوة. لم تعد تخمّن. تعرف أنه يبدأ من الضوضاء، ويزيل الضوضاء باتجاه تضمينك في كل خطوة، وينتبه عبر الزمن للحفاظ على الاتساق، ثم يفكّ الترميز إلى بكسلات عبر مفكّك ترميز مُتعلَّم.
هذه المعرفة تغيّر طريقة كتابتك للأوامر النصية. أوصاف أقصر. تعليمات حركة صريحة. مشهد متماسك واحد لكل مقطع. تحديد مكاني لكل خاصية. توقعات واقعية حول الفيزياء التي يستطيع النموذج إعادة إنتاجها بشكل معقول.
يوفر PicassoIA أكثر من 80 نموذجًا لتحويل النص إلى فيديو جاهزًا للتشغيل الآن، من نقاط دخول مجانية مثل Ray Flash 2 540p وPixverse v5.6 إلى خيارات بجودة سينمائية مثل Kling v3 Omni Video وVeo 3.1. لا توجد طريقة أفضل لفهم عمل هذه النماذج من تشغيل بضعة أوامر نصية بنفسك، ومقارنة المخرجات جنبًا إلى جنب، وملاحظة أين ولماذا تختلف.
اختر نموذجًا. اكتب جملة واحدة واضحة ومحددة. شاهد النتيجة. ثم غيّر شيئًا واحدًا وشغّله مرة أخرى.
اختر لغتك
