Архитектура ИИ

В 2018 году исследователи из Google опубликовали революционную статью под названием «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding» (Devlin et al.). Это исследование фундаментально изменило область обработки естественного языка (NLP). До BERT модели обрабатывали текст последовательно: слева направо или справа налево. BERT представил метод обучения языковых представлений, которые анализируют контекст с обоих направлений одновременно.

В 2017 году ландшафт искусственного интеллекта изменился навсегда после публикации фундаментальной работы «Attention Is All You Need» команды исследователей под руководством Vaswani. В работе была представлена архитектура Transformer — революционная архитектура нейронных сетей, которая полностью отказалась от рекуррентности (RNN, LSTM), сделав выбор в пользу параллельной обработки последовательностей данных с использованием Механизма Self-Attention (самовнимания).