LSTM

बरसों तक, रिकरेंट न्यूरल नेटवर्क (RNN) और लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क अनुक्रमिक डेटा (sequential data) प्रसंस्करण के निर्विवाद विजेता थे। उन्होंने अत्याधुनिक अनुवाद प्रणालियों, वॉयस सहायकों और टेक्स्ट जनरेशन मॉडलों को संचालित किया। हालाँकि, 2017 में, मौलिक शोध पत्र “Attention Is All You Need” (Vaswani et al.) ने ट्रांसफॉर्मर आर्किटेक्चर को पेश किया। कुछ ही वर्षों के भीतर, RNN और LSTM लगभग पूरी तरह से मुख्यधारा के एआई मॉडलों से बाहर हो गए।