Derin Ogrenme

Yıllarca, Yinelemeli Yapay Sinir Ağları (RNN’ler) ve Uzun Kısa Süreli Bellek (LSTM) ağları, sıralı veri işlemenin tartışmasız şampiyonlarıydı. En gelişmiş çeviri sistemlerine, sesli asistanlara ve metin üretme modellerine güç veriyorlardı. Ancak 2017 yılında yayımlanan dönüm noktası niteliğindeki “Attention Is All You Need” (Vaswani ve ark.) makalesi Transformer mimarisini tanıttı. Birkaç yıl içinde, RNN’ler ve LSTM’ler ana akım yapay zeka modellerinden neredeyse tamamen silindi.

2017 yılında Vaswani ve arkadaşları tarafından yayınlanan çığır açıcı “Attention Is All You Need” makalesiyle yapay zeka dünyası kalıcı olarak değişti. Makale, tekrarlamalı yapıları (RNN’ler, LSTM’ler) tamamen bir kenara bırakıp ardışık verileri Self-Attention Mekanizması aracılığıyla paralel olarak işlemeyi tercih eden devrim niteliğindeki Transformer sinir ağı mimarisini tanıttı. Bugün Transformer’lar; GPT-4, Gemini, Claude ve Llama dahil olmak üzere neredeyse tüm gelişmiş Büyük Dil Modellerinin (LLM’ler) temel gücünü oluşturmaktadır. Bu blog yazısında, Transformer ağlarını gizeminden arındıracak ve self-attention mekanizmasının matematiksel ve pratik olarak nasıl uygulandığını açıklayacağız.