Causal Attention

GPT ट्रांसफॉर्मर कैसे काम करता है? कॉज़ल सेल्फ-अटेंशन की व्याख्या मूल रूप से, जीपीटी एक ऑटोरेग्रेसिव मॉडल है। इसका मतलब है कि टेक्स्ट की एक श्रृंखला तैयार करने के लिए, यह एक-एक करके अगले टोकन की भविष्यवाणी करता है, और जिन टोकन को यह पहले ही तैयार कर चुका है उन्हें अगली भविष्यवाणी के लिए संदर्भ (context) के रूप में उपयोग करता है।