NLP

لسنوات عديدة، كانت الشبكات العصبية المتكررة (RNNs) وشبكات الذاكرة طويلة قصيرة المدى (LSTM) هي البطل بلا منازع في معالجة البيانات المتسلسلة. لقد قامت بتشغيل أنظمة الترجمة الحديثة، والمساعدين الصوتيين، ونماذج توليد النصوص. ومع ذلك، في عام 2017، قدمت الورقة البحثية التاريخية “Attention Is All You Need” (Vaswani et al.) بنية المحول (Transformer). وخلال سنوات قليلة، تم التخلص تدريجياً من شبكات RNN و LSTM تماماً من نماذج الذكاء الاصطناعي السائدة.

في عام 2018، نشر باحثو Google ورقة بحثية بارزة بعنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). لقد غير هذا البحث بشكل جذري مجال معالجة اللغة الطبيعية (NLP). قبل BERT، كانت النماذج تعالج النصوص بشكل متسلسل من اليسار إلى اليمين أو من اليمين إلى اليسار. قدم BERT طريقة لتدريب تمثيلات اللغة التي تنظر إلى السياق من كلا الاتجاهين في وقت واحد.

في عصر الاتصالات الرقمية المعولمة، أصبح تحليل المشاعر - وهو مهمة تحديد النبرة العاطفية وراء النص - أمرًا بالغ الأهمية للشركات والحكومات والباحثين. في حين أن تحليل المشاعر ناضج للغاية بالنسبة للغات مثل الإنجليزية، فإن تطبيقه على اللغة العربية يمثل مجموعة فريدة من التحديات اللغوية والتقنية. تعد اللغة العربية واحدة من أكثر اللغات انتشارًا في العالم حيث يتحدث بها أكثر من 400 مليون شخص. ومع ذلك، فإن بنيتها الصرفية الغنية، وازدواجية اللغة (التعايش بين الفصحى والعامية)، ونظام كتابتها المعقد يتطلب استراتيجيات معالجة مسبقة وبناء نماذج متخصصة.