GPT

L’intelligenza artificiale generativa è uno dei cambiamenti tecnologici più trasformativi del 21° secolo. A differenza dei tradizionali sistemi di intelligenza artificiale che classificano, prevedono o rilevano, l’intelligenza artificiale generativa crea testo, immagini, audio, video, codice e persino strutture tridimensionali. È la tecnologia alla base di ChatGPT per scrivere articoli, Midjourney che dipinge arte fotorealistica e GitHub Copilot che completa intere funzioni da un commento.

Negli ultimi anni, i Generative Pre-trained Transformers (GPT) hanno rivoluzionato l’intelligenza artificiale. Dagli assistenti di programmazione agli agenti conversazionali, i modelli basati su GPT alimentano oggi le applicazioni generative più avanzate. Ma come funziona effettivamente questa tecnologia? Mentre modelli come BERT utilizzano la parte Encoder del Transformer per comprendere il testo in modo bidirezionale, GPT è un’architettura Decoder-only progettata per la previsione autoregressiva del token successivo. In questo blog demistificheremo il funzionamento del GPT Transformer, approfondiremo il meccanismo di causal self-attention e lo implementeremo nel codice.