Deep Learning

جنریٹو اے آئی 21ویں صدی کی سب سے زیادہ تبدیلی لانے والی تکنیکی تبدیلیوں میں سے ایک ہے۔ روایتی AI سسٹمز کے برعکس جو درجہ بندی، پیشین گوئی، یا پتہ لگاتے ہیں، جنریٹیو AI تخلیق کرتا ہے — متن، تصاویر، آڈیو، ویڈیو، کوڈ، اور یہاں تک کہ تین جہتی ڈھانچے بھی۔ یہ ChatGPT آرٹیکل لکھنے، Midjourney پینٹنگ فوٹوریئلسٹک آرٹ، اور GitHub Copilot ایک تبصرے سے پورے فنکشن کو مکمل کرنے کے پیچھے ٹیکنالوجی ہے۔

گوگل کے جیمنائی ماڈلز نے نیٹیو ملٹی موڈالٹی، بڑے کانٹیکسٹ ونڈوز، اور اہم فن تعمیراتی اصلاحات متعارف کروا کر اے آئی کی صلاحیتوں میں نئے معیارات قائم کیے ہیں۔ GPT-3 یا BERT جیسے پرانے ماڈلز کے برعکس، جیمنائی کو پہلے دن سے ہی متعدد قسم کے ڈیٹا کو سنبھالنے کے لیے بنایا گیا ہے اور یہ انتہائی موثر توجہ کے میکانزم کا استعمال کرتا ہے۔

برسوں تک، ریکرنٹ نیورل نیٹ ورکس (RNNs) اور لانگ شارٹ ٹرم میموری (LSTM) نیٹ ورکس ترتیب وار ڈیٹا پروسیسنگ کے بے تاج بادشاہ تھے۔ انہوں نے جدید ترین ترجمہ کے نظام، صوتی معاونین، اور ٹیکسٹ جنریشن ماڈلز کو طاقت دی۔ تاہم، 2017 میں، تاریخی مقالے “Attention Is All You Need” (Vaswani et al.) نے ٹرانسفارمر فن تعمیر کو متعارف کرایا۔ چند ہی سالوں میں، RNNs اور LSTMs کو مرکزی دھارے کے AI ماڈلز سے تقریباً مکمل طور پر باہر کر دیا گیا۔

2018 میں، گوگل کے محققین نے ایک تاریخی مقالہ شائع کیا جس کا عنوان تھا “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.)۔ اس تحقیق نے نیچرل لینگویج پروسیسنگ (NLP) کے شعبے کو بنیادی طور پر بدل دیا۔ BERT سے پہلے، ماڈل متن کو بائیں سے دائیں یا دائیں سے بائیں ترتیب وار پروسیس کرتے تھے۔ BERT نے زبان کی ایسی نمائندگیوں کو تربیت دینے کا طریقہ متعارف کرایا جو ایک ہی وقت میں دونوں سمتوں سے سیاق و سباق کو دیکھتی ہیں۔