Deep Learning

يعد الذكاء الاصطناعي التوليدي أحد أكثر التحولات التكنولوجية التحويلية في القرن الحادي والعشرين. على عكس أنظمة الذكاء الاصطناعي التقليدية التي تقوم بالتصنيف أو التنبؤ أو الكشف، ينشئ الذكاء الاصطناعي التوليدي — النصوص والصور والصوت والفيديو والتعليمات البرمجية، وحتى الهياكل ثلاثية الأبعاد. إنها التقنية التي تكمن وراء كتابة مقالات ChatGPT، ورسم Midjourney للفن الواقعي، وGitHub Copilot الذي يكمل وظائف كاملة من تعليق.

وضعت نماذج Gemini من Google معايير جديدة لقدرات الذكاء الاصطناعي من خلال تقديم الوسائط المتعددة الأصلية، ونوافذ السياق الضخمة، والتحسينات الهيكلية الرئيسية. وخلافاً للنماذج القديمة مثل GPT-3 أو BERT، فقد تم تصميم Gemini للتعامل مع أنواع متعددة من البيانات منذ اليوم الأول، ويستخدم آليات انتباه عالية الكفاءة.

لسنوات عديدة، كانت الشبكات العصبية المتكررة (RNNs) وشبكات الذاكرة طويلة قصيرة المدى (LSTM) هي البطل بلا منازع في معالجة البيانات المتسلسلة. لقد قامت بتشغيل أنظمة الترجمة الحديثة، والمساعدين الصوتيين، ونماذج توليد النصوص. ومع ذلك، في عام 2017، قدمت الورقة البحثية التاريخية “Attention Is All You Need” (Vaswani et al.) بنية المحول (Transformer). وخلال سنوات قليلة، تم التخلص تدريجياً من شبكات RNN و LSTM تماماً من نماذج الذكاء الاصطناعي السائدة.

في عام 2018، نشر باحثو Google ورقة بحثية بارزة بعنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). لقد غير هذا البحث بشكل جذري مجال معالجة اللغة الطبيعية (NLP). قبل BERT، كانت النماذج تعالج النصوص بشكل متسلسل من اليسار إلى اليمين أو من اليمين إلى اليسار. قدم BERT طريقة لتدريب تمثيلات اللغة التي تنظر إلى السياق من كلا الاتجاهين في وقت واحد.