LSTM

Pendant des années, les réseaux de neurones récurrents (RNN) et les réseaux LSTM (Long Short-Term Memory) ont été les champions incontestés du traitement des données séquentielles. Ils alimentaient des systèmes de traduction de pointe, des assistants vocaux et des modèles de génération de texte. Cependant, en 2017, l’article fondateur “Attention Is All You Need” (Vaswani et al.) a introduit l’architecture Transformer. En quelques années, les RNN et les LSTM ont été presque entièrement éliminés des modèles d’IA grand public.