Генеративный ИИ

За последние годы модели GPT (Generative Pre-trained Transformer) произвели революцию в области искусственного интеллекта. От помощников по написанию кода до диалоговых систем — модели на базе GPT лежат в основе самых передовых генеративных приложений сегодняшнего дня. Но как устроена эта технология на самом деле? В то время как модели вроде BERT используют часть Encoder (кодировщик) архитектуры Transformer для двунаправленного понимания текста, GPT представляет собой архитектуру Decoder-only (только декодировщик), спроектированную для авторегрессионного прогнозирования следующего токена. В этой статье мы разберем принцип работы GPT Transformer, детально изучим механизм каузального самовнимания (causal self-attention) и реализуем его в коде.