טרנספורמר

בשנת 2017, נוף הבינה המלאכותית השתנה לתמיד עם פרסום המאמר המכונן “Attention Is All You Need” על ידי וסוואני ואחרים (Vaswani et al). המאמר הציג את ה-Transformer, ארכיטקטורת רשת קשרים עצבית מהפכנית שזנחה לחלוטיن את הרקורסיה (RNNs, LSTMs), ובחרה במקום זאת לעבד נתונים סדרתיים במקביל באמצעות מנגנון הקשב העצמי (Self-Attention Mechanism). כיום, טרנספורמרים מניעים כמעט את כל מודלי השפה הגדולים (LLMs) המובילים, כולל GPT-4, Gemini, Claude ו-Llama. בלוג זה מפשט את רשת הטרנספורמר ומסביר כיצد מנגנון הקשב העצמי מיושם באופן מתמטי ומעשי.