BERT

في عام 2018، نشر باحثو Google ورقة بحثية بارزة بعنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). لقد غير هذا البحث بشكل جذري مجال معالجة اللغة الطبيعية (NLP). قبل BERT، كانت النماذج تعالج النصوص بشكل متسلسل من اليسار إلى اليمين أو من اليمين إلى اليسار. قدم BERT طريقة لتدريب تمثيلات اللغة التي تنظر إلى السياق من كلا الاتجاهين في وقت واحد.