Transformers

Yıllarca, Yinelemeli Yapay Sinir Ağları (RNN’ler) ve Uzun Kısa Süreli Bellek (LSTM) ağları, sıralı veri işlemenin tartışmasız şampiyonlarıydı. En gelişmiş çeviri sistemlerine, sesli asistanlara ve metin üretme modellerine güç veriyorlardı. Ancak 2017 yılında yayımlanan dönüm noktası niteliğindeki “Attention Is All You Need” (Vaswani ve ark.) makalesi Transformer mimarisini tanıttı. Birkaç yıl içinde, RNN’ler ve LSTM’ler ana akım yapay zeka modellerinden neredeyse tamamen silindi.

2018 yılında Google araştırmacıları, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin ve ark.) başlıklı dönüm noktası niteliğinde bir makale yayınladılar. Bu araştırma, Doğal Dil İşleme (NLP) alanını temelden değiştirdi. BERT’ten önce modeller, metni soldan sağa veya sağdan sola sıralı olarak işliyordu. BERT, her iki yöndeki bağlamı aynı anda inceleyen dil temsillerini eğitmek için bir yöntem sundu.

Küreselleşen dijital iletişim çağında, bir metnin arkasındaki duygusal tonu belirleme görevi olan duygu analizi; işletmeler, hükümetler ve araştırmacılar için kritik bir hale geldi. Duygu analizi İngilizce gibi diller için son derece olgunlaşmış olsa da, bunu Arapçaya uygulamak benzersiz dilsel ve teknik zorluklar sunar. 400 milyondan fazla konuşanı olan Arapça, dünyada en yaygın konuşulan dillerden biridir. Ancak zengin morfolojik yapısı, diglossia (standart ve konuşma dillerinin bir arada bulunması) ve karmaşık yazı sistemi; özel ön işleme ve modelleme stratejileri gerektirir.