Arquitetura De IA

Em 2018, os pesquisadores do Google publicaram um artigo marcante intitulado “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). Esta pesquisa mudou fundamentalmente o campo do Processamento de Linguagem Natural (NLP). Antes do BERT, os modelos processavam o texto sequencialmente da esquerda para a direita ou da direita para a esquerda. O BERT introduziu um método para treinar representações de linguagem que olham para o contexto de ambas as direções simultaneamente.

Em 2017, o cenário da inteligência artificial mudou para sempre com a publicação do seminal artigo “Attention Is All You Need” por Vaswani et al. O artigo introduziu o Transformer, uma arquitetura de rede neural revolucionária que descartou completamente a recorrência (RNNs, LSTMs), optando por processar dados sequenciais em paralelo usando o Mecanismo de Self-Attention (Autoatendimento).