RNN

오랫동안 순환 신경망(RNN)과 장단기 메모리(LSTM) 네트워크는 순차 데이터 처리 분야에서 독보적인 챔피언이었습니다. 이들은 최첨단 번역 시스템, 음성 비서, 텍스트 생성 모델의 기반이 되었습니다. 그러나 2017년, 기념비적인 논문인 “Attention Is All You Need” (Vaswani et al.)가 트랜스포머 아키텍처를 도입했습니다. 그리고 불과 몇 년 만에 RNN과 LSTM은 인공지능 주류 모델에서 거의 완벽히 사라지게 되었습니다.