GPT

يعد الذكاء الاصطناعي التوليدي أحد أكثر التحولات التكنولوجية التحويلية في القرن الحادي والعشرين. على عكس أنظمة الذكاء الاصطناعي التقليدية التي تقوم بالتصنيف أو التنبؤ أو الكشف، ينشئ الذكاء الاصطناعي التوليدي — النصوص والصور والصوت والفيديو والتعليمات البرمجية، وحتى الهياكل ثلاثية الأبعاد. إنها التقنية التي تكمن وراء كتابة مقالات ChatGPT، ورسم Midjourney للفن الواقعي، وGitHub Copilot الذي يكمل وظائف كاملة من تعليق.

في السنوات الأخيرة، أحدثت النماذج التوليدية مسبقة التدريب (GPT) ثورة حقيقية في مجالات الذكاء الاصطناعي. من مساعدي البرمجة إلى برمجيات المحادثة التفاعلية، تشغل النماذج القائمة على GPT أكثر التطبيقات التوليدية تقدمًا اليوم. ولكن كيف تعمل هذه التكنولوجيا فعليًا؟ بينما تستخدم نماذج مثل BERT جزء الترميز (Encoder) من نموذج Transformer لفهم النصوص بشكل ثنائي الاتجاه، فإن GPT يعتمد على بنية فك الترميز فقط (Decoder-only) المصممة للتنبؤ بالتوكن التالي بشكل تكراري تلقائي (autoregressive). في هذه التدوينة، سنزيل الغموض عن كيفية عمل GPT Transformer، ونغوص عميقًا في آلية الانتباه الذاتي السببي (causal self-attention)، ونقوم بتنفيذها برمجياً.