Deep Learning

בינה מלאכותית גנרטיבית היא אחד מהשינויים הטכנולוגיים המשנים ביותר של המאה ה-21. בניגוד למערכות בינה מלאכותית מסורתיות שמסווגות, מנבאות או מזהות, בינה מלאכותית גנרית יוצרת טקסט, תמונות, אודיו, וידאו, קוד ואפילו מבנים תלת מימדיים. זוהי הטכנולוגיה שמאחורי ChatGPT כתיבת מאמרים, Midjourney ציור אמנות פוטוריאליסטית ו- GitHub Copilot שמשלים פונקציות שלמות מהערה. מדריך זה מסביר מהו AI Generative, כיצד הוא פועל מתחת למכסה המנוע, ארכיטקטורות הדגמים העיקריות המניעות אותו, ולאן הוא מועד.

מודלי ה-Gemini של גוגل הציבו מדדי ביצועים חדשים ביכולות בינה מלאכותית על ידי הצגת מולטי-מודליות נייטיב, חלונות הקשר עצומים ואופטימיזציות ארכיטקטוניות מרכזיות. בניגוד למודלים ישנים יותר כמו GPT-3 ou BERT, ‏Gemini נבנה לטיפול בסוגי נתונים מרובים מהיום הראשון ומשתמש במנגנוני קשב (attention) יעילים במיוחד.

במשך שנים, רשתות עצביות חוזרות (RNN) ורשתות זיכרון לטווח ארוך וקצר (LSTM) היו האלופות הבלתי מעורערות של עיבוד נתונים סדרתי. הן הניעו מערכות תרגום מתקדמות, עוזרים קוליים ומודלים לייצור טקסט. עם זאת, בשנת 2017, המאמר המכונן “Attention Is All You Need” (Vaswani et al.) הציג את ארכיטקטורת הטרנספורמר. בתוך שנים ספורות, RNN ו-LSTM הוצאו כמעט לחלוטין ממודלי הבינה המלאכותית המרכזיים.

בשנת 2018, חוקרי גוגל פרסמו מאמר מכונן בשם “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). מחקר זה שינה מן היסוד את תחום עיבוד השפה הטבעית (NLP). לפני BERT, מודלים עיבדו טקסט באופן סדרתי משמאל לימין או מימין לשמאל. BERT הציג שיטה לאימון ייצוגי שפה המסתכלים על ההקשר משני הכיוונים בו-זמנית.