Yapay Zeka Mimarisi

2018 yılında Google araştırmacıları, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin ve ark.) başlıklı dönüm noktası niteliğinde bir makale yayınladılar. Bu araştırma, Doğal Dil İşleme (NLP) alanını temelden değiştirdi. BERT’ten önce modeller, metni soldan sağa veya sağdan sola sıralı olarak işliyordu. BERT, her iki yöndeki bağlamı aynı anda inceleyen dil temsillerini eğitmek için bir yöntem sundu.

2017 yılında Vaswani ve arkadaşları tarafından yayınlanan çığır açıcı “Attention Is All You Need” makalesiyle yapay zeka dünyası kalıcı olarak değişti. Makale, tekrarlamalı yapıları (RNN’ler, LSTM’ler) tamamen bir kenara bırakıp ardışık verileri Self-Attention Mekanizması aracılığıyla paralel olarak işlemeyi tercih eden devrim niteliğindeki Transformer sinir ağı mimarisini tanıttı. Bugün Transformer’lar; GPT-4, Gemini, Claude ve Llama dahil olmak üzere neredeyse tüm gelişmiş Büyük Dil Modellerinin (LLM’ler) temel gücünü oluşturmaktadır. Bu blog yazısında, Transformer ağlarını gizeminden arındıracak ve self-attention mekanizmasının matematiksel ve pratik olarak nasıl uygulandığını açıklayacağız.