NLP

זיהוי ישויות נקובות (Named Entity Recognition - NER) הוא אבן יסוד בעיבוד שפה טבעית (NLP). זהו התהליך של זיהוי וסיווג אוטומטי של אלמנטים מרכזיים בטקסט לא מובנה לקטגוריות מוגדרות מראש - כגון שמות של אנשים, ארגונים, מיקומים, תאריכים, ערכים כספיים ושמות מוצרים. ללא NER, מנועי חיפוש, מנועי המלצות ומערכות אוטומטיות לניתוח מסמכים יתקשו להבין מי, מה, איפה ומתי בתוך טקסט.

בשנים האחרונות, מודלים מסוג Generative Pre-trained Transformers (GPT) לחולל מהפכה בבינה המלאכותית. מעוזרי תכנות ועד לסוכנים שיحתיים, מודלים מבוססי GPT מפעילים כיום את האפליקציות היוצרות המתקדמות ביותר. אבל איך הטכנולוגיה הזו בעצם עובדת? בעוד שמודלים כמו BERT משתמשים בחלק ה-Encoder של ה-Transformer כדי להבין טקסט באופן דו-כיווני, GPT משתמש בארכיטקטורה של Decoder-only המיועדת לחיזוי אוטו-רגרסיבי של הטוקן הבא. בבלוג זה, נחשוף את סודות ה-GPT Transformer, נצלול לעומק מנגנון הקשב העצמי הסיבתי (causal self-attention), ונממש אותו בקود.

במשך שנים, רשתות עצביות חוזרות (RNN) ורשתות זיכרון לטווח ארוך וקצר (LSTM) היו האלופות הבלתי מעורערות של עיבוד נתונים סדרתי. הן הניעו מערכות תרגום מתקדמות, עוזרים קוליים ומודלים לייצור טקסט. עם זאת, בשנת 2017, המאמר המכונן “Attention Is All You Need” (Vaswani et al.) הציג את ארכיטקטורת הטרנספורמר. בתוך שנים ספורות, RNN ו-LSTM הוצאו כמעט לחלוטין ממודלי הבינה המלאכותית המרכזיים.

בשנת 2018, חוקרי גוגל פרסמו מאמר מכונן בשם “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). מחקר זה שינה מן היסוד את תחום עיבוד השפה הטבעית (NLP). לפני BERT, מודלים עיבדו טקסט באופן סדרתי משמאל לימין או מימין לשמאל. BERT הציג שיטה לאימון ייצוגי שפה המסתכלים על ההקשר משני הכיוונים בו-זמנית.

בשנת 2017, נוף הבינה המלאכותית השתנה לתמיד עם פרסום המאמר המכונן “Attention Is All You Need” על ידי וסוואני ואחרים (Vaswani et al). המאמר הציג את ה-Transformer, ארכיטקטורת רשת קשרים עצבית מהפכנית שזנחה לחלוטיن את הרקורסיה (RNNs, LSTMs), ובחרה במקום זאת לעבד נתונים סדרתיים במקביל באמצעות מנגנון הקשב העצמי (Self-Attention Mechanism). כיום, טרנספורמרים מניעים כמעט את כל מודלי השפה הגדולים (LLMs) המובילים, כולל GPT-4, Gemini, Claude ו-Llama. בלוג זה מפשט את רשת הטרנספורמר ומסביר כיצد מנגנון הקשב העצמי מיושם באופן מתמטי ומעשי.

בנוף של עיבוד שפה טבעית (NLP) ובינה מלאכותית, היכולת לתרגם שפות, לסכם מאמרים ולייצר תשובות שיחתיות עברה מהפכה עצומה. בלב הטרנספורמציה הזו עומדת ארכיטקטורת Sequence-to-Sequence (Seq2Seq) ומנגנון הקשב החלוצי (Attention Mechanism). לפני הופעתם של מודלי ה-Transformer המודרניים, שני החידושים הללו פתרו את אחד האתגרים הגדולים ביותר של למידה עמוקה: מיפוי רצפי קלט לרצפי פלט כאשר אורכיהם שונים.

בעידן התקשורת הדיגיטלית הגלובלית, ניתוח סנטימנט (התפקיד של זיהוי הטון הרגשי מאחורי טקסט) הפך לקריטי עבור עסקים, ממשלות וחוקרים. בעוד שניתוח סנטימנט הוא תחום בוגר מאוד עבור שפות כמו אנגלית, יישומו על השפה הערבית מציג סט ייחודי של אתגרים בלשניים וטכנולוגיים. עם למעלה מ-400 מיליון דוברים, ערבית היא אחת השפות המדוברות ביותר בעולם. עם זאת, המבנה המורפולוגי העשיר שלה, הדיגלוסיה (דו-לשוניות - קיום מקביל של שפה ספרותית ומדוברת) ומערכת הכתיבה המורכבת דורשים אסטרטגיות עיבוד מקדים ומידול מיוחדות.