BERT

در سال ۲۰۱۸، محققان گوگل مقاله برجسته‌ای با عنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.) منتشر کردند. این تحقیق به طور اساسی حوزه پردازش زبان طبیعی (NLP) را متحول کرد. پیش از BERT، مدل‌ها متن را به صورت متوالی از چپ به راست یا راست به چپ پردازش می‌کردند. مدل BERT روشی را برای آموزش نمایش‌های زبانی معرفی کرد که هم‌زمان به بافتار از هر دو جهت نگاه می‌کند.