كيفيّة تصميم ذكاء اصطناعي قادر على التعامل مع اللهجات المتعدّدة

يدعم Galaxy AI حاليًا التواصل بـ 16 لغة، مما يسهل تخطي حواجز اللغة من خلال الترجمة الفورية على الأجهزة، إذ دشنت سامسونج مع هذا الابتكار عصراً جديداً من الذكاء الاصطناعي للهواتف المحمولة. في هذا الإطار، ومن خلال زيارة لمراكز أبحاث سامسونج في جميع أنحاء العالم، يمكن التعرف على بداية ظهور Galaxy AI واستكشاف التحديات التي تواجه تطوير الذكاء الاصطناعي والوقوف على حلولها. وفي الوقت الذي تناول فيه الجزء الأول من هذه السلسلة مهمة تحديد البيانات المطلوبة، فإنّ هذا الجزء يركّز على التحدي المعقد المتمثل في استيعاب اللهجات المختلفة.

يمثل تدريب نموذج الذكاء الاصطناعي الهادف لفهم لغة ما، عملية معقدة، ولكن ماذا لو لم تكن لغة واحدة، بل مجموعة من اللهجات المتنوعة؟. في الوقت الذي تمّ فيه إضافة اللغة العربيّة لتصبح إحدى اللغات المعتمدة لدى ميّزات Galaxy AI مثل الترجمة المباشرة Live Translate؛ واجه فريق مركز سامسونج للبحث والتطوير في الأردن تحديّاً في استيعاب عدد كبير من اللهجات العربية السائدة في منطقة الشرق الأوسط وشمال أفريقيا، والتي تتميز كل منها بنطقها الفريد ومعجمها وبنيتها النحوية.

تأتي اللغة العربية ضمن أكثر ست لغات انتشارًا في العالم؛ حيث يتحدثها يوميًا أكثر من 400 مليون شخص. وتصنف اللغة العربية إلى نوعين: الفصحى "الرسميّة"، والعاميّة "اللهجات المختلفة". تُستخدم الفصحى عادةً في المناسبات العامة والرسمية، وكذلك في نشرات الأخبار، بينما تُستخدم العاميّة بشكل أكثر شيوعًا في المحادثات اليومية، وتنتشر اللغة العربية في أكثر من 20 دولة، ويوجد حاليًا حوالي 30 لهجة في المنطقة.

القواعد غير المكتوبة

وإدراكاً للاختلاف والتنوّع الذي تقدمه هذه اللهجات، وظف فريق مركز البحث والتطوير لدى سامسونج في الأردن مجموعة من التقنيات لتحديد ومعالجة الخصائص اللغوية الفريدة المتأصلة في كل منها. وقد أثبتت هذه المنهجيّة دورها المحوري في ضمان قدرة Galaxy AI على الفهم والاستجابة بطريقة تعكس الفروق الدقيقة بين اللهجات.

ويقول رئيس مشروع فريق تطوير اللغة العربية، محمد حمدان: "على عكس اللغات الأخرى، فإن نطق المفعول به في اللغة العربية يختلف باختلاف الفاعل والفعل في الجملة. لذا فإننا نهدف لتطوير نموذج قادر على فهم كل هذه اللهجات والرد عليها باللغة العربية الفصحى."

إن تحويل النص إلى كلام "TTS"، يعدّ جزءاً لا يتجزأ من ميّزة الترجمة المباشرة Live Translate في Galaxy AI، بحيث يمكّن المستخدمين من التفاعل مع متحدثين بلغات مختلفة عن طريق تحويل الكلمات المنطوقة إلى نص مكتوب ثم نطقها لفظيًا. وقد واجه فريق تحويل النص إلى كلام تحديًا استثنائياً نابعًا من الخصوصية المتأصلة في العمل مع اللغة العربية.

في اللغة العربية، تُستخدم علامات التشكيل كوسيلة مساعدة للنطق في سياقات معينة مثل النصوص الدينية والشعر والمواد التعليمية. وفي حين أن المتحدثين الأصليين يفهمون عادةً علامات التشكيل، إلا أنها لا تُستخدم بشكل شائع في الكتابة اليومية. ويشكل هذا الغياب تحديًا أمام الآلات في تحويل الكلمات غير المشكّلة إلى وحدات صوتيّة والتي تعدّ ضرورية لتركيب الكلام.

من جانبه، يقول مسؤول مشروع TTS / قسم الذكاء الاصطناعي محمد حويله: "إن ندرة مجموعات البيانات التي يمكن الاعتماد عليها والتي تعكس الاستخدام السليم لعلامات التشكيل بدقة، تعتبر تحديًا. ونتيجة لذلك، كنا بحاجة إلى تطوير نموذج عصبي قادر على التنبؤ بدقة واستعادة علامات التشكيل المفقودة."

وتعمل النماذج العصبية بشكل مشابه للدماغ البشري. ومن أجل التنبؤ بعلامات التشكيل، يجب على النموذج تحليل كميات هائلة من النصوص العربية، واستيعاب اصطلاحات اللغة وقواعدها، وفهم الفروق الدقيقة في سياق استخدام الكلمات. على سبيل المثال، يمكن لنطق الكلمة بشكل كبير أن يختلف بناءً على الفعل أو الجنس الذي تشير إليه، وقد شكّل التدريب المكثف من قبل الفريق أهمية كبيرة في زيادة دقة نموذج تحويل النص إلى كلام باللغة العربية.

تعزيز مستوى الفهم

رئيس قسم الفريق المكلّف بإنشاء قاعدة البيانات، آية حسن، قالت: "تولى فريق مركز سامسونج للبحث والتطوير في الأردن مهمة جمع مجموعة واسعة من التسجيلات الصوتية التي تصور لهجات مختلفة من مصادر متعددة. وقد تم نسخ هذه التسجيلات بدقة، مع التركيز على التقاط الأصوات والمفردات والتعابير الاصطلاحية الفريدة. قمنا بالاستعانة بمجموعة من المتحدثين الأصليين الذين يجيدون هذه اللهجات، ومجهزين بفهم عميق للفوارق والاختلافات بينها، حيث استمعوا بدقة إلى التسجيلات وقاموا يدويًا بنسخ الكلمات المنطوقة إلى نص."

وقد لعب هذا المسعى دورًا محوريًا في تحسين نظام التعرف التلقائي على الكلام (ASR)، وبالتالي تمكين Galaxy AI من التنقل بفعالية في النسيج الغني للهجات العربية. ويعد ASR بمثابة حجر الزاوية في تسهيل إمكانات الفهم والاستجابة في الوقت الفعلي لـ Galaxy AI.

ويُشير المسؤول عن مشروع ASR، محمد حمدان، إلى أنّ إنشاء نظام ASR قادر على استيعاب العديد من اللهجات ضمن نموذج موحد يعدّ مهمة معقّدة؛ فهو يتطلب فهمًا عميقًا للفوارق اللغوية، وتنظيم البيانات بدقة، واستخدام استراتيجيات النمذجة المتقدمة.

ذروة الابتكار

بعد أشهر طويلة من التخطيط والتطوير والاختبارات، أصبح الفريق مستعدًا لدمج اللغة العربية كخيار لغة لـ Galaxy AI، مما يسهل التواصل عبر الحدود لجمهور أوسع. وقد أدى هذا الجهد المتفاني إلى تعزيز انتشار خدمات Galaxy AI وجعلها في متناول المتحدثين باللغة العربية، مما ساهم بشكل فعال في تقليل الحواجز اللغوية والثقافية بينهم وبين الأفراد في جميع أنحاء العالم، وضمن هذه العملية، قام الفريق بإنشاء منهجيات وممارسات رائدة يمكن اعتمادها على نطاق عالمي، ولا يزال العمل جارياً لتعزيز النماذج والقدرات اللغوية لـ Galaxy AI.