Deep Learning

هوش مصنوعی مولد یکی از دگرگون‌کننده‌ترین تغییرات تکنولوژیکی قرن بیست و یکم است. برخلاف سیستم‌های هوش مصنوعی سنتی که طبقه‌بندی، پیش‌بینی یا شناسایی می‌کنند، هوش مصنوعی مولد ایجاد می‌کند - متن، تصاویر، صدا، ویدئو، کد و حتی ساختارهای سه‌بعدی. این فناوری پشت مقاله نوشتن ChatGPT، نقاشی هنر فوتورئالیستی Midjourney، و GitHub Copilot است که تمام عملکردها را از یک نظر تکمیل می کند.

مدل‌های جمینای گوگل با معرفی چندوجهی بومی، پنجره‌های زمینه عظیم و بهینه‌سازی‌های کلیدی در معماری، معیارهای جدیدی را در توانایی‌های هوش مصنوعی ایجاد کرده‌اند. برخلاف مدل‌های قدیمی‌تر مانند GPT-3 یا BERT، جمینای از همان روز اول برای مدیریت چندین نوع داده ساخته شده است و از مکانیسم‌های توجه بسیار کارآمد استفاده می‌کند.

برای سال‌ها، شبکه‌های عصبی بازگشتی (RNNs) و شبکه‌های حافظه طولانی کوتاه‌مدت (LSTM) قهرمانان بلامنازع پردازش داده‌های متوالی بودند. آن‌ها سیستم‌های ترجمه پیشرفته، دستیارهای صوتی و مدل‌های تولید متن را قدرت می‌بخشیدند. با این حال، در سال ۲۰۱۷، مقاله برجسته “Attention Is All You Need” (Vaswani et al.) معماری ترنسفورمر را معرفی کرد. در عرض چند سال، RNNها و LSTMها تقریباً به طور کامل از مدل‌های اصلی هوش مصنوعی کنار گذاشته شدند.

در سال ۲۰۱۸، محققان گوگل مقاله برجسته‌ای با عنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.) منتشر کردند. این تحقیق به طور اساسی حوزه پردازش زبان طبیعی (NLP) را متحول کرد. پیش از BERT، مدل‌ها متن را به صورت متوالی از چپ به راست یا راست به چپ پردازش می‌کردند. مدل BERT روشی را برای آموزش نمایش‌های زبانی معرفی کرد که هم‌زمان به بافتار از هر دو جهت نگاه می‌کند.