فهم شبكات المحولات (Transformer) وآلية الانتباه الذاتي (Self-Attention)
في عام 2017، تغير مشهد الذكاء الاصطناعي إلى الأبد مع نشر البحث العلمي المؤثر “Attention Is All You Need” بواسطة فريق الباحثين تحت إشراف فاسواني (Vaswani et al). قدم البحث بنية المحول (Transformer)، وهي بنية ثورية للشبكات العصبية تخلت تماماً عن التكرار (RNNs, LSTMs)، واختارت بدلاً من ذلك معالجة البيانات التسلسلية بشكل متوازٍ باستخدام آلية الانتباه الذاتي (Self-Attention Mechanism).
المحولات
الانتباه الذاتي
التعلم العميق
معالجة اللغة الطبيعية
بنية الذكاء الاصطناعي