BERT

2018 میں، گوگل کے محققین نے ایک تاریخی مقالہ شائع کیا جس کا عنوان تھا “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.)۔ اس تحقیق نے نیچرل لینگویج پروسیسنگ (NLP) کے شعبے کو بنیادی طور پر بدل دیا۔ BERT سے پہلے، ماڈل متن کو بائیں سے دائیں یا دائیں سے بائیں ترتیب وار پروسیس کرتے تھے۔ BERT نے زبان کی ایسی نمائندگیوں کو تربیت دینے کا طریقہ متعارف کرایا جو ایک ہی وقت میں دونوں سمتوں سے سیاق و سباق کو دیکھتی ہیں۔