BERT

בשנת 2018, חוקרי גוגל פרסמו מאמר מכונן בשם “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). מחקר זה שינה מן היסוד את תחום עיבוד השפה הטבעית (NLP). לפני BERT, מודלים עיבדו טקסט באופן סדרתי משמאל לימין או מימין לשמאל. BERT הציג שיטה לאימון ייצוגי שפה המסתכלים על ההקשר משני הכיוונים בו-זמנית.