Transformers

Модели Gemini от Google установили новые стандарты возможностей искусственного интеллекта, представив нативную мультимодальность, гигантские контекстные окна и ключевые архитектурные оптимизации. В отличие от более старых моделей, таких как GPT-3 или BERT, Gemini с самого первого дня разрабатывалась для работы с различными типами данных и использует высокоэффективные механизмы внимания.

В течение многих лет рекуррентные нейронные сети (RNN) и сети долгой краткосрочной памяти (LSTM) были бесспорными лидерами в обработке последовательных данных. Они лежали в основе современных систем перевода, голосовых помощников и моделей генерации текста. Однако в 2017 году революционная статья «Attention Is All You Need» (Vaswani et al.) представила архитектуру Transformer. В течение нескольких лет RNN и LSTM были практически полностью вытеснены из основных моделей искусственного интеллекта.

В 2018 году исследователи из Google опубликовали революционную статью под названием «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding» (Devlin et al.). Это исследование фундаментально изменило область обработки естественного языка (NLP). До BERT модели обрабатывали текст последовательно: слева направо или справа налево. BERT представил метод обучения языковых представлений, которые анализируют контекст с обоих направлений одновременно.