Seq2Seq

בנוף של עיבוד שפה טבעית (NLP) ובינה מלאכותית, היכולת לתרגם שפות, לסכם מאמרים ולייצר תשובות שיחתיות עברה מהפכה עצומה. בלב הטרנספורמציה הזו עומדת ארכיטקטורת Sequence-to-Sequence (Seq2Seq) ומנגנון הקשב החלוצי (Attention Mechanism). לפני הופעתם של מודלי ה-Transformer המודרניים, שני החידושים הללו פתרו את אחד האתגרים הגדולים ביותר של למידה עמוקה: מיפוי רצפי קלט לרצפי פלט כאשר אורכיהם שונים.