Понимание сетей Transformer и механизма Self-Attention
В 2017 году ландшафт искусственного интеллекта изменился навсегда после публикации фундаментальной работы «Attention Is All You Need» команды исследователей под руководством Vaswani. В работе была представлена архитектура Transformer — революционная архитектура нейронных сетей, которая полностью отказалась от рекуррентности (RNN, LSTM), сделав выбор в пользу параллельной обработки последовательностей данных с использованием Механизма Self-Attention (самовнимания).
Transformer
Self-Attention
Deep Learning
NLP
Архитектура ИИ