في كل مرة ترفع صورة أو تولّد صورة، يتخذ مصنِّف آلي قرارًا بشأنها خلال أجزاء من الثانية. يشرح هذا المقال الآليات الحقيقية لفلترة المحتوى بالذكاء الاصطناعي: الشبكات العصبية، وبيانات التدريب، ولماذا تفشل هذه الأنظمة بطرق تفاجئ حتى مطوريها.
كلما رفعت صورة، أو نشرت تعليقًا، أو كتبت أمرًا نصيًا لمولّد صور بالذكاء الاصطناعي، هناك من يراقب. ليس إنسانًا، بل مصنِّف. شبكة عصبية بملايين المعاملات دُرّبت على مئات الملايين من الأمثلة الموسومة. تتخذ قرارها في أقل من 50 مللي ثانية، وتمنح المحتوى درجة احتمالية، ثم تسمح بمروره أو تحجبه بالكامل.
الآليات التي تقف وراء هذه العملية أكثر إثارة مما يدرك معظم الناس، وأنماط فشلها أكثر كشفًا مما تحب المنصات الاعتراف به.
كلمة "فلتر" توحي بأن إشراف المحتوى مجرد غربال بسيط: محتوى سيئ يدخل فيُحجب، وكل ما عداه يمر. الأمر ليس بهذه البساطة.
في جوهرها، فلتر المحتوى هو مصنِّف ثنائي، أو بدقة أكبر مصنِّف متعدد الفئات بمخرجات ثنائية. يأخذ مدخلًا (صورة، أو سلسلة نصية، أو مقطعًا صوتيًا، أو فيديو) ويُنتج درجة احتمالية لكل فئة دُرّب على رصدها. إذا تجاوز احتمال "يخالف السياسة" عتبةً محددة، يُعلَّم المحتوى. وإن كان أقل من العتبة، يمر.
تُعد هذه العتبة من أهم القرارات في النظام كله. إن رفعتها أكثر من اللازم، تسرّبت محتويات ضارة. وإن خفضتها أكثر من اللازم، حجبت آلاف المحتويات المشروعة: صور الشواطئ، والرسوم الطبية، وصور الرضاعة الطبيعية، ومعلومات الحد من الضرر. إيجاد العتبة المناسبة ليس مشكلة تقنية، بل مشكلة سياسات، والناس المعقولون يختلفون بشدة حول المكان الذي ينبغي أن يُرسم فيه الخط.
تعمل معظم أنظمة إشراف المحتوى في الإنتاج عبر ثلاث طبقات مختلفة في الوقت نفسه:
التجزئة قبل التصنيف — بالنسبة لفئات المواد الضارة المعروفة، تحتفظ المنصات بقواعد بيانات لتجزئات تشفيرية (تجزئات إدراكية مثل PhotoDNA للصور). قبل تشغيل أي ذكاء اصطناعي، تُحسب تجزئة للمحتوى المرفوع وتُقارن بهذه القاعدة. التطابق يُفعّل حجبًا فوريًا قبل أن يستلم المصنِّف المدخل أصلًا.
تشغيل النموذج بالذكاء الاصطناعي — يعمل المصنِّف الرئيسي على كل ما اجتاز فحص التجزئة. تحلل الشبكات العصبية المحتوى وتُنتج درجات ثقة عبر فئات مخالفات السياسة.
طابور المراجعة البشرية — المحتوى الذي تقع درجته في نطاق وسطي غير محسوم (نحو 35 إلى 65% من الثقة) يُحال إلى مراجعين بشريين لاتخاذ القرار النهائي. هنا تُتخذ أدق القرارات، وهنا تقع أكثر الأخطاء أيضًا.
المصنِّف لا "يعرف" ما هو مسيء أو ضار بأي معنى ذي قيمة. لقد تعلّم أنماطًا إحصائية من مجموعة بيانات موسومة. شخص ما جلس ووسم المحتوى بأنه آمن أو غير آمن أو بين الاثنين. آلاف الأشخاص، على مدى شهور من أعمال التوسيم، يجلبون كلٌّ منهم خلفياته الثقافية وتفسيراته الخاصة للمهمة.
تنقل هذه القرارات البشرية تحيزاتها وافتراضاتها الثقافية وتناقضاتها الداخلية مباشرة إلى السلوك الذي يتعلمه النموذج. يُشفّر النموذج أي نمط توافق عليه المُوسِّمون، بما فيه من ضوضاء.
تُبنى فلاتر محتوى الصور على الشبكات العصبية الالتفافية (CNNs) أو، بشكل متزايد، على محولات الرؤية (ViTs). تقسّم هذه البنى الصورة إلى رقع مكانية، وتحدد الملامح المحلية في الطبقات الأولى (الحواف والقوام وتدرجات الألوان)، ثم تجمعها في طبقات أعمق تدريجيًا للتعرف على أنماط أعلى المستوى: مناطق لون البشرة، وأشكال أجزاء الجسم، وترتيبات الأجسام، والعلاقات المكانية بين العناصر في الإطار.
النموذج لا يرى ما يراه البشر. إنه يعالج مصفوفات قيم البكسل. عندما يعلّم المصنِّف صورة بأنها NSFW، فهو لا يُصدر حكمًا جماليًا أو أخلاقيًا. إنه يُبلغ بأن تكوين البكسل هذا يشبه إحصائيًا توزيع الأنماط التي وسمها المُوسِّمون بأنها NSFW في بيانات التدريب. هذا الفرق أهم مما يبدو للوهلة الأولى.
هكذا يسير مسار تشغيل النموذج فعليًا لإرسال صورة واحدة:
| الخطوة | ما الذي يحدث |
|---|---|
| تغيير الحجم | إعادة قياس الصورة إلى حجم دخل النموذج (مثلًا 224x224px) |
| التطبيع | تحويل قيم البكسل إلى النطاق العددي الذي يتوقعه النموذج |
| التمرير الأمامي | تنتقل الصورة عبر عشرات الطبقات الالتفافية |
| استخلاص الملامح | تنشط الطبقات الأعمق على أنماط بصرية عالية المستوى |
| مخرجات Softmax | يُسند احتمال لكل تسمية فئة |
| فحص العتبة | إذا تجاوز P(مخالف) العتبة، يُحجب المحتوى |
يستغرق المسار كله عادةً من 20 إلى 80 مللي ثانية على GPU. وعلى نطاق المنصات، يعمل هذا المسار عبر أساطيل من خوادم التشغيل تعالج ملايين الصور في الساعة.
هذه هي المشكلة التي ظلت تلاحق مصنّفات محتوى الصور منذ البداية: كانت النماذج الأولى مفرطة الملاءمة لكشف البشرة بدلًا من كشف السياق.
المصنِّف المدرَّب في الغالب على صور صريحة يتعلم ربط المساحات الكبيرة من البشرة المكشوفة بمحتوى NSFW، بصرف النظر عن السياق أو النية الفنية. والنتيجة متوقعة: صور حروق الشمس تُفعّل الفلتر، وصور النحت الكلاسيكي بالأبيض والأسود تُعلَّم، والبشرة الداكنة تُعلَّم بشكل مفرط وبنسبة غير متناسبة لأنها تخلق بصمات تباين مختلفة أمام ألوان الخلفيات الشائعة.
هذا ليس افتراضيًا. فقد وثّقت منصات كبرى عدة نمط الفشل هذا بالضبط عندما واجهت مصنّفاتها التنوع الواقعي في محتوى المستخدمين على نطاق واسع.
💡 الحل في السياق، لا في البكسلات وحدها. تستخدم المصنّفات الحديثة بشكل متزايد آليات الانتباه المكاني لنمذجة العلاقات بين العناصر: أين تظهر أجزاء الجسم بالنسبة لبعضها، وماذا تشير الأجسام المحيطة إلى طبيعة المكان، وهل تُلمح الإشارات السياقية إلى نية طبية أو ترفيهية أو فنية، بدلًا من الاعتماد على التشابه الخام للبكسلات وحده.
إشراف النصوص تحدٍّ مختلف جذريًا. فعلى عكس الصور، يتطلب النص معالجة التسلسل والسياق والسخرية والإحالات الثقافية والنية. نمط البكسل لا يحمل معاني مختلفة بحسب من كتبه أو إلى أي مجتمع ينتمي. أما الجملة فتفعل.
كانت الفلاتر النصية الأولى قوائم حجب بالكلمات المفتاحية: سريعة ورخيصة، وسيئة بشكل مذهل في فهم الفروق. قائمة تلتقط كلمة "kill" تحجب أيضًا الحديث عن "skill" و"thriller" و"Kilimanjaro". الجيل الثاني استخدم التعابير النمطية. والثالث استخدم مصنّفات TF-IDF التي تقيس تكرار المصطلح مقابل سياق المستند. والجيل الحالي يستخدم نماذج لغوية قائمة على المحولات خضعت للضبط الدقيق على أمثلة مخالفات السياسة تحديدًا.
الفروق بين أساليب الإشراف كبيرة في كل بُعد مهم:
| الأسلوب | السرعة | الدقة | التعامل مع السخرية | تعدد اللغات |
|---|---|---|---|---|
| قائمة حجب بالكلمات | سريعة جدًا | منخفضة جدًا | لا | لا |
| مصنّف TF-IDF | سريع | متوسطة | يتعثر | جزئي |
| LLM مضبوط بدقة | أبطأ | عالية | أفضل | نعم |
| مجموعة (كل الطبقات) | بطيئة | الأعلى | الأفضل | نعم |
تستخدم معظم الأنظمة الإنتاجية بنى المجموعات. يلتقط مرور سريع بالكلمات المفتاحية المخالفات الواضحة أولًا. وتُحال الحالات الحدّية إلى نماذج أبطأ تدريجيًا وأدق. تُحسّن البنية الإنتاجية في الطرف الرخيص من المسار، والدقة في طرفه المكلف.
حتى نموذج لغوي جيد التدريب يمكن أن يُهزم باستمرار بأنماط لغوية محددة:
💡 دورة التحايل حقيقية ومستمرة. مع كل تحسين للإشراف، يجد المستخدمون المتحايلون طرقًا جديدة للالتفاف عليه. لهذا تُضيف المنصات الكبرى إشارات سلوكية فوق تحليل المحتوى: عمر الحساب، وأنماط النشر، والروابط الشبكية، وسجل المحتوى المُبلَّغ عنه، وبصمات الأجهزة، وكلها تدخل في درجة الثقة النهائية إلى جانب المحتوى نفسه.
يضيف الفيديو بُعد الزمن، وهذا يجعل الفلترة أكثر تعقيدًا بكثير. مقطع مدته خمس ثوانٍ بمعدل 24fps يحتوي على 120 إطارًا فرديًا، ومسارًا صوتيًا كاملًا، وبيانات وصفية مضمنة، والمعنى المتسلسل الذي ينشأ من ترتيب هذه الإطارات. قد تتغير نية المقطع كليًا بحسب السياق الزمني، لا بحسب ما يظهر في أي إطار منفرد.
أبسط أسلوب لإشراف الفيديو يأخذ عينات من الإطارات على فترات ثابتة (كل ثانية، أو كل N إطار)، ويمرر كل عينة عبر مصنِّف صور قياسي. إذا تجاوزت أي عينة العتبة، يُعلَّم الفيديو كاملًا ويُحتجز للمراجعة.
الضعف واضح: إطار مخالف واحد يظهر لمدة 1/24 من الثانية بين 119 إطارًا آمنًا قد يقع بين نقاط أخذ العينات ويفلت من الرصد تمامًا. والأهم أن المعنى زمني. فتسلسل من إطارات تبدو آمنة كلٌّ على حدة قد يُكوّن شيئًا إشكاليًا فقط عند رؤيته في الحركة والتسلسل.
تستخدم الأنظمة الأحدث شبكات CNN ثلاثية الأبعاد ومحولات الفيديو التي تعالج التسلسلات الزمنية كمدخلات موحدة. تكتشف هذه النماذج أنماط الحركة، والتدفق البصري (optical flow) عبر الإطارات، والسياق الزمني الذي تغفله المصنّفات أحادية الإطار تمامًا. تكلفة الحوسبة أعلى بكثير، لكن الدقة في الحالات الحدّية تتحسن بشكل ملموس.
إشراف الفيديو ليس مشكلة بصرية بحتة. يمر المسار الصوتي عبر خط تحليل موازٍ يضم:
مقطع بمرئيات آمنة تمامًا لكن بمسار صوتي عنيف ما زال يُفعّل النظام على المنصات التي تُجري فحصًا صوتيًا كاملًا. كثير من المنصات الأدنى مستوى تتجاوز تحليل الصوت كليًا لأسباب تتعلق بالتكلفة، مما يخلق نقطة عمياء موثقة ومستغلة على نطاق واسع.
كل فلتر محتوى دقيق بقدر دقة بيانات تدريبه. وهذا يستحق اهتمامًا أكبر بكثير مما يُمنح له عادةً في النقاشات العامة حول أنظمة سلامة الذكاء الاصطناعي.
تدريب مصنِّف محتوى بجودة الإنتاج يتطلب ثلاثة أشياء يصعب الحصول عليها أكثر مما تبدو:
يُنجز التوسيم عادةً عمال متعاقدون، غالبًا في أسواق ذات دخل منخفض، يعملون تحت ضغط زمني شديد على محتوى يتراوح بين العادي والمزعج للغاية. وتوثق دراسات هذه القوة العاملة ارتفاع معدلات الإرهاق، وتدهورًا قابلًا للقياس في اتساق التوسيم مع تعرض المُوسِّمين المتكرر لمحتوى ضار دون دعم كافٍ.
عندما تكون التسميات غير متسقة، يتعلم النموذج قواعد غير متسقة. لا يملك المصنِّف آلية للتمييز بين خطأ في التوسيم والغموض الحقيقي في المحتوى نفسه. إنه يتعلم المتوسط الإحصائي للحكم البشري المعيب، مشفرًا بشكل دائم حتى دورة إعادة التدريب الكاملة التالية.
التحيز الجغرافي: بيانات التدريب المستمدة أساسًا من منصات غربية ناطقة بالإنجليزية تُشفّر تلك الأعراف الثقافية مباشرة في النموذج. الأزياء التقليدية من ثقافات أخرى، وممارسات تعديل الجسم المعتادة في مجتمعات معينة، أو الأعراف الفنية ذات التاريخ الثقافي الممتد لقرون، تُعلَّم لمجرد وقوعها خارج توزيع بيانات التدريب، لا لأنها تخالف أي سياسة متماسكة.
التحيز الزمني: تُدرَّب النماذج في نقطة زمنية محددة. الأعراف الثقافية تتغير، والسياقات السياسية تتبدل. مصنّف مُعايَر على ما يُعد خطابًا ضارًا في 2022 قد يصبح مُعايَرًا بشكل خاطئ بدرجة ملموسة بحلول 2026، فينتج إيجابيات كاذبة على لغة أصبحت مقبولة حديثًا، وسلبيات كاذبة على محتوى إشكالي جديد.
عدم توازن الفئات: المحتوى الآمن يفوق بكثير المحتوى المخالف في أي مجموعة بيانات واقعية. بدون إعادة توازن دقيقة أثناء التدريب، يتعلم النموذج الميل نحو التنبؤات الآمنة لأنها الأكثر أمانًا إحصائيًا عبر معظم المدخلات. والمحتوى القريب من حد القرار الذي يخالف السياسة فعلًا يمر بمعدل أعلى مما تكشفه مقاييس الدقة الإجمالية.
ليس كل محتوى يُراجع في النقطة نفسها من دورة حياته. لتوقيت المراجعة آثار كبيرة على نتائج السلامة وعلى تجربة المستخدم، وتتخذ المنصات خيارات مختلفة جدًا بشأن مكان رسم هذا الخط.
توجد ثلاث بنى توقيت مختلفة في الأنظمة الإنتاجية اليوم:
منصات توليد الصور بالذكاء الاصطناعي تعتمد بأغلبية ساحقة على الإشراف قبل النشر لأنها تتحكم في مسار المخرجات من البداية إلى النهاية. تقع طبقة السلامة بين تشغيل النموذج والتسليم. إذا تجاوزت المخرجات العتبة، يمكن للمنصة إعادة أخذ عينة جديدة، أو إرجاع رسالة خطأ، أو استبدال النتيجة بنتيجة آمنة دون أن يرى المستخدم المخرج المُعلَّم أبدًا.
لا يوجد نظام آلي يحقق دقة كافية عبر كل فئات المحتوى ليُلغي المراجعة البشرية تمامًا. البنية المعيارية متعددة الطبقات للمنصات الكبرى تعمل كالتالي:
يجب على المراجعين البشريين العاملين في الطابور اتخاذ قرارات بسرعة، غالبًا في أقل من 30 ثانية لكل عنصر لمواكبة الحجم، وهذا يخلق مشكلات اتساق خاصة به. الإرهاق لدى المراجعين، والخلفية الثقافية، وتأثيرات وقت اليوم، كلها تؤثر بشكل قابل للقياس على دقة القرار على المستوى الفردي. والنتيجة نظام متتالٍ تتراكم فيه أخطاء التصنيف الآلي وأخطاء المراجعة البشرية عبر ملايين القرارات اليومية.
توليد الصور بالذكاء الاصطناعي حالة مثيرة للاهتمام بشكل فريد في إشراف المحتوى، لأن الفلتر يُطبَّق على المحتوى المُولَّد، لا المحتوى المرفوع. تتحكم المنصة في المسار كله من الأمر النصي إلى البكسل المُسلَّم. وهذا يخلق فرص إشراف لا تملكها المنصات الاجتماعية التي تستضيف محتوى المستخدمين المرفوع.
تطبق معظم منصات تحويل النص إلى صورة السلامة عبر ثلاث آليات يمكن ضبطها بشكل مستقل عن بعضها:
لا تكون هذه الطبقات الثلاث نشطة دائمًا في الوقت نفسه. قد تستخدم منصة فلترة صارمة للأوامر دون تصنيف للمخرجات لتحقيق السرعة، أو تتخطى فلترة الأوامر كليًا وتعتمد على بوابة المخرجات وحدها. والمزيج المستخدم في أي منصة بعينها نادرًا ما يُعلن عنه علنًا.
عندما تكشف منصة عن مفتاح "الوضع الآمن" أو "وضع البالغين"، فإنها غالبًا تعدّل عتبة تصنيف المخرجات بدلًا من إضافة قدرات النموذج أو إزالتها. يضبط الوضع الآمن عتبة أدنى: يُحجب محتوى أكثر. ويرفع وضع البالغين العتبة: يمر محتوى أكثر من البوابة.
أوزان النموذج الأساسية متطابقة في الحالتين. التمرير الأمامي نفسه وتشغيل النموذج نفسه يُنتجان كلا النتيجتين. ما يغيّر ما يتلقاه المستخدم هو بوابة التقييم عند المخرجات وحدها.
💡 بعض المنصات تذهب أبعد. بدلًا من تعديل بسيط للعتبة، تحتفظ عدد قليل من المنصات بإصدارات نموذج مضبوطة بدقة ومنفصلة فعليًا للمخرجات الآمنة وغير المقيدة، بأوزان مُتعلَّمة مختلفة وتركيبات بيانات تدريب مختلفة. ينتج هذا سلوكًا أكثر اتساقًا وقابلية للتنبؤ عند الطرفين مما يمكن أن يحققه مفتاح العتبة.
معرفة عمل فلاتر المحتوى تمنحك أفضلية إبداعية حقيقية. تعرف ما الذي يُفعّل المصنّفات على مستوى البكسل، وما المصطلحات في الأمر النصي التي تُفعّل طبقات قوائم الحجب قبل بدء التوليد أصلًا، وكيف تُحرّك الإشارات السياقية الدرجات الحدّية في أي من الاتجاهين. هذه المعرفة مكانها في سير عملك الإبداعي.
تمنحك PicassoIA وصولًا مباشرًا إلى الطيف الكامل لنماذج توليد الصور، ولكل منها إعداد السلامة الخاص ونطاقه الإبداعي. PicassoIA Image هو مولّد تحويل النص إلى صورة الأساسي في المنصة، وقد صُمم للعمل الإبداعي عالي الحجم مع جودة متسقة عبر أساليب الأوامر النصية. ولتحرير الصور الموجودة وإعادة مزجها، يوفّر PicassoIA Image Editor Pro التعديل الموضعي وتوسيع الصورة والتحرير الدقيق على مستوى الأجسام دون الحاجة إلى أدوات أو سير عمل منفصل.
للعمل على البورتريه والشخصيات حيث الواقعية هي الأولوية، يُنتج Seedream 4.5 من ByteDance مخرجات بدقة 4K مع قوام بشرة استثنائي وتفاصيل فوتوغرافية. وللتحكم في التكوين والتنوع الأسلوبي، يقدّمان Flux Redux Dev وFlux Schnell LoRA من Black Forest Labs توجيهًا بنيويًا دقيقًا وتكرارًا سريعًا. ويبقى Stable Diffusion 3 من Stability AI أساسًا فوتوغرافيًا واقعيًا موثوقًا مع توافق واسع عبر سير العمل.
للتعديل بعد التوليد حيث يكون الاتساق المكاني هو الأهم، يتعامل Flux Fill Pro مع مهام التعديل الموضعي بتعبئة واعية بالسياق تنتج نتائج متسقة طبيعيًا ضمن اللغة البصرية الموجودة في الصورة. ولأن المخرج يبدو فوتوغرافيًا لا مُجمّعًا، فإنه يجتاز مصنّفات المخرجات بثبات أكبر.
يمكن الوصول إلى كل نموذج على PicassoIA عبر picassoia.com/en/all-models، مع معاينات حية، ووثائق كاملة للمعاملات، ووصول قائم على النقاط لتجربة أي نموذج قبل اعتماده في سير عملك.
فلتر المحتوى ليس خصمك. إنه نظام إحصائي بآليات موثقة، وأنماط فشل يمكن التنبؤ بها، ومعاملات قابلة للضبط. كلما عرفت بدقة ما الذي يُفعّله ولماذا، استطعت أن تنشئ العمل الذي تقصده فعلًا بدقة أكبر، على أي منصة، وعند أي مستوى من المحتوى.
اختر لغتك
