ترنسفورمر

در سال ۲۰۱۷، چشم‌انداز هوش مصنوعی با انتشار مقاله جریان‌ساز “Attention Is All You Need” توسط واسوانی و همکارانش برای همیشه تغییر کرد. این مقاله ترنسفورمر (Transformer) را معرفی کرد؛ یک معماری انقلابی در شبکه‌های عصبی که تکرار (RNNs, LSTMs) را به طور کامل کنار گذاشت و در عوض، پردازش موازی داده‌های متوالی را با استفاده از مکانیزم خودتوجهی (Self-Attention Mechanism) ترجیح داد.