Comprensión de las Redes Transformer y el Mecanismo de Self-Attention
En 2017, el panorama de la inteligencia artificial cambió para siempre con la publicación del influyente artículo “Attention Is All You Need” por Vaswani et al. El artículo introdujo el Transformer, una revolucionaria arquitectura de red neuronal que descartó por completo la recurrencia (RNN, LSTM), optando en su lugar por procesar datos secuenciales en paralelo utilizando el Mecanismo de Self-Attention (Autoatención).
Transformer
Self-Attention
Deep Learning
NLP
Arquitectura de IA