Arquitectura De IA

En 2018, los investigadores de Google publicaron un artículo fundamental titulado “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). Esta investigación transformó fundamentalmente el campo del Procesamiento del Lenguaje Natural (NLP). Antes de BERT, los modelos procesaban el texto de forma secuencial de izquierda a derecha o de derecha a izquierda. BERT introdujo un método para entrenar representaciones de lenguaje que consideran el contexto desde ambas direcciones simultáneamente.

En 2017, el panorama de la inteligencia artificial cambió para siempre con la publicación del influyente artículo “Attention Is All You Need” por Vaswani et al. El artículo introdujo el Transformer, una revolucionaria arquitectura de red neuronal que descartó por completo la recurrencia (RNN, LSTM), optando en su lugar por procesar datos secuenciales en paralelo utilizando el Mecanismo de Self-Attention (Autoatención).