Transformers

Google के Gemini मॉडल ने मूल मल्टीमोडैलिटी, विशाल संदर्भ विंडो और प्रमुख वास्तुकला अनुकूलन पेश करके एआई क्षमताओं में नए मानक स्थापित किए हैं। GPT-3 या BERT जैसे पुराने मॉडलों के विपरीत, Gemini को पहले दिन से ही कई प्रकार के डेटा को संभालने के लिए बनाया गया है और यह अत्यधिक कुशल अटेंशन मैकेनिज्म का उपयोग करता है।

GPT ट्रांसफॉर्मर कैसे काम करता है? कॉज़ल सेल्फ-अटेंशन की व्याख्या मूल रूप से, जीपीटी एक ऑटोरेग्रेसिव मॉडल है। इसका मतलब है कि टेक्स्ट की एक श्रृंखला तैयार करने के लिए, यह एक-एक करके अगले टोकन की भविष्यवाणी करता है, और जिन टोकन को यह पहले ही तैयार कर चुका है उन्हें अगली भविष्यवाणी के लिए संदर्भ (context) के रूप में उपयोग करता है।

बरसों तक, रिकरेंट न्यूरल नेटवर्क (RNN) और लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क अनुक्रमिक डेटा (sequential data) प्रसंस्करण के निर्विवाद विजेता थे। उन्होंने अत्याधुनिक अनुवाद प्रणालियों, वॉयस सहायकों और टेक्स्ट जनरेशन मॉडलों को संचालित किया। हालाँकि, 2017 में, मौलिक शोध पत्र “Attention Is All You Need” (Vaswani et al.) ने ट्रांसफॉर्मर आर्किटेक्चर को पेश किया। कुछ ही वर्षों के भीतर, RNN और LSTM लगभग पूरी तरह से मुख्यधारा के एआई मॉडलों से बाहर हो गए।

2018 में, Google के शोधकर्ताओं ने “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.) नामक एक अत्यंत महत्वपूर्ण शोध पत्र प्रकाशित किया। इस शोध ने नेचुरल लैंग्वेज प्रोसेसिंग (NLP) के क्षेत्र को पूरी तरह से बदल दिया। BERT से पहले, मॉडल आमतौर पर पाठ को बाएं-से-दाएं या दाएं-से-बाएं क्रमिक रूप से संसाधित करते थे। BERT ने भाषा प्रतिनिधित्व को प्रशिक्षित करने की एक ऐसी विधि पेश की जो एक ही समय में दोनों दिशाओं से संदर्भ को देखती है।