لا يحتاج الإنسان إلى سماع الكلمات دائمًا حتى يفهم ما يقوله الآخرون؛ فحركات الشفاه تحمل إشارات بصرية يمكن الاستفادة منها في إعادة بناء الكلام. لكن قراءة الشفاه تظل مهمة معقدة، حتى بالنسبة إلى أنظمة الذكاء الاصطناعي، بسبب تشابه الحركات التي تصدر عند نطق بعض الحروف، وهو ما يجعل التمييز بين كلمات متقاربة أمرًا صعبًا.
لا يحتاج إلى كلمات
وفي محاولة لتجاوز هذه العقبة، طور باحثون من KAIST نموذجًا للذكاء الاصطناعي يتبع طريقة مختلفة في قراءة الشفاه؛ فبدلًا من تحليل الجملة كلمة بعد أخرى بالترتيب، يبدأ بالكلمات التي يستطيع التعرف عليها بثقة، ثم يستعين بها لفهم الأجزاء الأقل وضوحًا، مستفيدًا من سياق الجملة في الاتجاهين.
لا يحتاج الإنسان إلى سماع الكلمات دائمًا حتى يفهم ما يقوله الآخرون؛ فحركات الشفاه تحمل إشارات بصرية يمكن الاستفادة منها في إعادة بناء الكلام. لكن قراءة الشفاه تظل مهمة معقدة، حتى بالنسبة إلى أنظمة الذكاء الاصطناعي، بسبب تشابه الحركات التي تصدر عند نطق بعض الحروف، وهو ما يجعل التمييز بين كلمات متقاربة أمرًا صعبًا.
وفي محاولة لتجاوز هذه العقبة، طور باحثون من المعهد الكوري المتقدم للعلوم والتكنولوجيا KAIST، نموذجًا للذكاء الاصطناعي يتبع طريقة مختلفة في قراءة الشفاه؛ فبدلًا من تحليل الجملة كلمة بعد أخرى بالترتيب، يبدأ بالكلمات التي يستطيع التعرف عليها بثقة، ثم يستعين بها لفهم الأجزاء الأقل وضوحًا، مستفيدًا من سياق الجملة في الاتجاهين.
الكلمات الواضحة أولًا
تعتمد التقنية، التي تحمل اسم DLLM-VSR، على نموذج لغوي كبير قائم على الانتشار، يملأ المواضع المحجوبة تدريجيًا. ويحدد النظام المقاطع التي تبدو حركات الشفاه فيها أكثر وضوحًا، ويثبت الكلمات التي يتوقعها بثقة مرتفعة، ثم يستخدمها لفك الأجزاء الملتبسة.
وتكمن أهمية هذا الترتيب في أن بعض الأصوات تنتج حركات فم متشابهة؛ ففي الإنجليزية، يصعب التمييز بصريًا بين أصوات مثل P وB وM. وفي النماذج التقليدية، يمكن أن يؤثر الخطأ في كلمة مبكرة على الكلمات التالية، بينما تتيح الطريقة الجديدة الاستفادة من الكلمات السابقة واللاحقة معًا.
وقسم الباحثون التدريب إلى مرحلتين: مواءمة حركات الشفاه مع النصوص المقابلة، ثم تعلم تقدير طول الجملة. وعند تحليل مقطع جديد، يضع النموذج احتمالات لطول الكلام استنادًا إلى مدة الفيديو، وينشئ جملة مرشحة لكل احتمال، ثم يختار الأكثر ترجيحًا.
ماذا حقق النموذج؟
استخدم الفريق قاعدة بيانات LRS3، التي تضم 433 ساعة من مقاطع فيديو قراءة الشفاه المصحوبة بنصوص معنونة، وحقق معدل خطأ في الكلمات بلغ 19.4%. ووفق بيان KAIST المنشور في 16 نوفمبر 2026، يمثل ذلك أقل معدل بين الطرق التي استخدمت قاعدة LRS3 وحدها بيانات تدريب معنونة.
ولا يعني الرقم أن النظام يفهم 80.6% من المحادثات كاملة؛ فمعدل خطأ الكلمات يحصي ما جرى التعرف عليه خطأ أو إسقاطه أو إضافته مقارنة بالنص الصحيح. كما أن النتيجة مرتبطة بقاعدة البيانات وشروط المقارنة، وليست دليلًا على أداء مماثل في كل اللغات والبيئات.
تشمل التطبيقات المحتملة تحويل الكلام إلى نص عندما تحجب الضوضاء الصوت، ومنها مواقع العمل الصناعية التي يصعب فيها سماع العاملين بسبب الآلات، إلى جانب أدوات تساعد الصم وضعاف السمع على متابعة المحادثات. ويتصل ذلك بمسار توظيف الذكاء الاصطناعي لتسهيل التواصل، وتحسين حياة ذوي الإعاقة بالتقنيات الذكية.
لكن التقنية لم تصل بعد إلى الاستخدام اليومي؛ إذ لا يزال أداؤها متفاوتًا بين مجموعات البيانات، ويعمل الباحثون على تقليل حجم النموذج وكلفته الحسابية لتشغيله لحظيًا على أجهزة قابلة للارتداء وروبوتات دون اتصال بالإنترنت. كما تثير القدرة على قراءة محادثات من تسجيلات صامتة تساؤلات تتعلق بالخصوصية.







