Transformers

Google의 Gemini 모델은 네이티브 멀티모달리티, 거대한 컨텍스트 창, 주요 아키텍처 최적화를 도입하여 AI 기능의 새로운 기준을 세웠습니다. GPT-3나 BERT와 같은 기존 모델과 달리 Gemini는 처음부터 여러 데이터 유형을 처리하도록 설계되었으며 매우 효율적인 어텐션 메커니즘을 사용합니다. 이 글에서는 Gemini 트랜스포머 모델의 핵심 아키텍처 선택을 알아보고, 기존 아키텍처와 어떻게 비교되는지 분석하며, PyTorch로 그룹화 쿼리 어텐션(GQA) 및 SwiGLU 피드포워드 네트워크를 구현해 봅니다.

오랫동안 순환 신경망(RNN)과 장단기 메모리(LSTM) 네트워크는 순차 데이터 처리 분야에서 독보적인 챔피언이었습니다. 이들은 최첨단 번역 시스템, 음성 비서, 텍스트 생성 모델의 기반이 되었습니다. 그러나 2017년, 기념비적인 논문인 “Attention Is All You Need” (Vaswani et al.)가 트랜스포머 아키텍처를 도입했습니다. 그리고 불과 몇 년 만에 RNN과 LSTM은 인공지능 주류 모델에서 거의 완벽히 사라지게 되었습니다.

2018년, Google 연구원들은 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.)이라는 획기적인 논문을 발표했습니다. 이 연구는 자연어 처리(NLP) 분야를 근본적으로 변화시켰습니다. BERT 이전의 모델들은 텍스트를 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 순차적으로 처리했습니다. BERT는 동시에 양방향의 문맥을 분석하여 언어 표현을 학습하는 새로운 방법을 도입했습니다. 오늘날 BERT와 그 파생 모델들(RoBERTa, DistilBERT, ALBERT 등)은 검색 엔진, 감성 분석, 질의응답 시스템, 정보 추출 분야에서 핵심적인 역할을 하고 있습니다. 이 글에서는 BERT 아키텍처와 그 작동 원리 및 학습 과정을 설명합니다.