ट्रांसफार्मर नेटवर्क और सेल्फ-अटेंशन (Self-Attention) तंत्र को समझना
2017 में, वासवानी आदि द्वारा लिखित ऐतिहासिक शोध पत्र “Attention Is All You Need” के प्रकाशन के साथ कृत्रिम बुद्धिमत्ता (AI) का परिदृश्य हमेशा के लिए बदल गया। इस शोध पत्र ने ट्रांसफार्मर (Transformer) को पेश किया, जो एक क्रांतिकारी तंत्रिका नेटवर्क (neural network) आर्किटेक्चर था जिसने पुनरावृत्ति (RNN, LSTM) को पूरी तरह से त्याग दिया, और इसके बजाय सेल्फ-अटेंशन तंत्र (Self-Attention Mechanism) का उपयोग करके क्रमिक डेटा को समानांतर (parallel) रूप से संसाधित करने का विकल्प चुना।
ट्रांसफार्मर
सेल्फ-अटेंशन
डीप लर्निंग
NLP
एआई आर्किटेक्चर