Как работает модель трансформера Gemini: GQA, SwiGLU и нативная мультимодальность
Модели Gemini от Google установили новые стандарты возможностей искусственного интеллекта, представив нативную мультимодальность, гигантские контекстные окна и ключевые архитектурные оптимизации. В отличие от более старых моделей, таких как GPT-3 или BERT, Gemini с самого первого дня разрабатывалась для работы с различными типами данных и использует высокоэффективные механизмы внимания.
Gemini
Transformers
GQA
SwiGLU
Multimodality
Deep Learning