سیلف اٹینشن

2017 میں، واسوانی اور ان کے ساتھیوں کی جانب سے شائع کردہ تاریخی مقالے “Attention Is All You Need” نے مصنوعی ذہانت (AI) کے منظر نامے کو ہمیشہ کے لیے بدل دیا۔ اس مقالے نے ٹرانسفارمر (Transformer) کو متعارف کرایا، جو کہ ایک انقلابی نیورل نیٹ ورک آرکیٹیکچر تھا جس نے تکرار (RNNs, LSTMs) کو مکمل طور پر ترک کر دیا، اور اس کے بجائے سیلف اٹینشن میکانزم (Self-Attention Mechanism) کا استعمال کرتے ہوئے سلسلہ وار ڈیٹا کو متوازی (parallel) طور پر پروسیس کرنے کا انتخاب کیا۔