Comprendre les Réseaux Transformer et le Mécanisme de Self-Attention
En 2017, le paysage de l’intelligence artificielle a été transformé à jamais par la publication de l’article fondateur “Attention Is All You Need” de Vaswani et al. Cet article a introduit le Transformer, une architecture de réseau de neurones révolutionnaire qui a complètement abandonné la récurrence (RNN, LSTM), choisissant plutôt de traiter les données séquentielles en parallèle grâce au Mécanisme de Self-Attention (Auto-attention).
Transformer
Self-Attention
Deep Learning
NLP
Architecture IA