Come funciona il modello Transformer di Gemini: GQA, SwiGLU e multimodalità nativa
I modelli Gemini di Google hanno stabilito nuovi standard di riferimento nelle capacità dell’IA introducendo multimodalità nativa, enormi finestre di contesto e ottimizzazioni architetturali chiave. A differenza dei modelli più vecchi como GPT-3 o BERT, Gemini è costruito per gestire diversi tipi di dati fin dal primo giorno e utiliza meccanismi di attenzione altamente efficienti.
Gemini
Transformer
GQA
SwiGLU
Multimodalità
Deep Learning