NLP

O Reconhecimento de Entidades Nomeadas (NER, na sigla em inglês) é um dos pilares do Processamento de Linguagem Natural (NLP). Trata-se do processo de identificar e classificar automaticamente elementos-chave em textos não estruturados em categorias predefinidas — tais como nomes de pessoas, organizações, localizações, datas, valores monetários e nomes de produtos.

Como funciona o GPT Transformer: Explicação da Autoatenção Causal Nos últimos anos, os Transformers Generativos Pré-treinados (GPT) revolucionaram a inteligência artificial. De assistentes de programação a agentes conversacionais, os modelos baseados em GPT alimentam as aplicações generativas mais avançadas da atualidade. Mas como essa tecnologia realmente funciona?

Por anos, as Redes Neurais Recorrentes (RNNs) e as redes de memória de longo prazo (LSTM) foram as campeãs incontestáveis do processamento de dados sequenciais. Elas alimentavam sistemas de tradução de última geração, assistentes de voz e modelos de geração de texto. No entanto, em 2017, o artigo seminal “Attention Is All You Need” (Vaswani et al.) introduziu a arquitetura Transformer. Em poucos anos, as RNNs e LSTMs foram quase inteiramente eliminadas dos modelos de IA tradicionais.

Em 2018, os pesquisadores do Google publicaram um artigo marcante intitulado “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (Devlin et al.). Esta pesquisa mudou fundamentalmente o campo do Processamento de Linguagem Natural (NLP). Antes do BERT, os modelos processavam o texto sequencialmente da esquerda para a direita ou da direita para a esquerda. O BERT introduziu um método para treinar representações de linguagem que olham para o contexto de ambas as direções simultaneamente.

Em 2017, o cenário da inteligência artificial mudou para sempre com a publicação do seminal artigo “Attention Is All You Need” por Vaswani et al. O artigo introduziu o Transformer, uma arquitetura de rede neural revolucionária que descartou completamente a recorrência (RNNs, LSTMs), optando por processar dados sequenciais em paralelo usando o Mecanismo de Self-Attention (Autoatendimento).

No panorama do Processamento de Linguagem Natural (NLP) e da Inteligência Artificial, a capacidade de traduzir idiomas, resumir artigos e gerar respostas conversacionais passou por uma revolução. No coração dessa transformação está a arquitetura Sequence-to-Sequence (Seq2Seq) e o pioneiro Mecanismo de Atenção. Antes do advento dos Transformers modernos, essas duas inovações resolveram um dos maiores desafios do aprendizado profundo: mapear sequências de entrada para sequências de saída quando seus comprimentos são diferentes.