GPT

בינה מלאכותית גנרטיבית היא אחד מהשינויים הטכנולוגיים המשנים ביותר של המאה ה-21. בניגוד למערכות בינה מלאכותית מסורתיות שמסווגות, מנבאות או מזהות, בינה מלאכותית גנרית יוצרת טקסט, תמונות, אודיו, וידאו, קוד ואפילו מבנים תלת מימדיים. זוהי הטכנולוגיה שמאחורי ChatGPT כתיבת מאמרים, Midjourney ציור אמנות פוטוריאליסטית ו- GitHub Copilot שמשלים פונקציות שלמות מהערה. מדריך זה מסביר מהו AI Generative, כיצד הוא פועל מתחת למכסה המנוע, ארכיטקטורות הדגמים העיקריות המניעות אותו, ולאן הוא מועד.

בשנים האחרונות, מודלים מסוג Generative Pre-trained Transformers (GPT) לחולל מהפכה בבינה המלאכותית. מעוזרי תכנות ועד לסוכנים שיحתיים, מודלים מבוססי GPT מפעילים כיום את האפליקציות היוצרות המתקדמות ביותר. אבל איך הטכנולוגיה הזו בעצם עובדת? בעוד שמודלים כמו BERT משתמשים בחלק ה-Encoder של ה-Transformer כדי להבין טקסט באופן דו-כיווני, GPT משתמש בארכיטקטורה של Decoder-only המיועדת לחיזוי אוטו-רגרסיבי של הטוקן הבא. בבלוג זה, נחשוף את סודות ה-GPT Transformer, נצלול לעומק מנגנון הקשב העצמי הסיבתי (causal self-attention), ונממש אותו בקود.