כיצד עובד מודל הטרנספורמר Gemini: GQA, SwiGLU ומולטי-מודליות נייטיב
מודלי ה-Gemini של גוגل הציבו מדדי ביצועים חדשים ביכולות בינה מלאכותית על ידי הצגת מולטי-מודליות נייטיב, חלונות הקשר עצומים ואופטימיזציות ארכיטקטוניות מרכזיות. בניגוד למודלים ישנים יותר כמו GPT-3 ou BERT, Gemini נבנה לטיפול בסוגי נתונים מרובים מהיום הראשון ומשתמש במנגנוני קשב (attention) יעילים במיוחד.
Gemini
Transformers
GQA
SwiGLU
Multimodality
Deep Learning