GPT

L’IA générative est l’un des changements technologiques les plus transformateurs du 21e siècle. Contrairement aux systèmes d’IA traditionnels qui classent, prédisent ou détectent, l’IA générative crée : du texte, des images, de l’audio, de la vidéo, du code et même des structures tridimensionnelles. C’est la technologie derrière ChatGPT qui écrit des articles, Midjourney peint de l’art photoréaliste et GitHub Copilot qui remplit des fonctions entières à partir d’un commentaire.

Ces dernières années, les modèles GPT (Generative Pre-trained Transformer) ont révolutionné l’intelligence artificielle. Des assistants de code aux agents conversationnels, les modèles basés sur GPT alimentent aujourd’hui les applications génératives les plus avancées. Mais comment fonctionne réellement cette technologie ? Alors que les modèles comme BERT utilisent la partie Encoder du Transformer pour comprendre le texte de manière bidirectionnelle, GPT est une architecture Decoder-only (décodeur uniquement) conçue pour la prédiction autorégressive du token suivant. Dans cet article, nous allons démystifier le fonctionnement du Transformer GPT, plonger dans le mécanisme d’auto-attention causale et l’implémenter en code.