چرا ترنسفورمرها جایگزین شبکههای RNN و LSTM شدند
برای سالها، شبکههای عصبی بازگشتی (RNNs) و شبکههای حافظه طولانی کوتاهمدت (LSTM) قهرمانان بلامنازع پردازش دادههای متوالی بودند. آنها سیستمهای ترجمه پیشرفته، دستیارهای صوتی و مدلهای تولید متن را قدرت میبخشیدند. با این حال، در سال ۲۰۱۷، مقاله برجسته “Attention Is All You Need” (Vaswani et al.) معماری ترنسفورمر را معرفی کرد. در عرض چند سال، RNNها و LSTMها تقریباً به طور کامل از مدلهای اصلی هوش مصنوعی کنار گذاشته شدند.
Transformers
RNN
LSTM
NLP
Deep Learning