Compreendendo os modelos RAG: fundamentando LLMs com conhecimento do mundo real

Modelos de linguagem grandes (LLMs) como GPT-4 ou Gemini são incrivelmente poderosos, mas têm algumas fraquezas críticas: eles alucinam, não conhecem informações após a data limite de treinamento e não têm acesso aos dados do seu domínio privado.

Para resolver essas limitações, os desenvolvedores usam a Geração Aumentada de Recuperação (RAG). RAG é um framework que recupera informações relevantes de um banco de dados externo e as fornece ao LLM para gerar respostas precisas e conscientes do contexto.

Aqui está um guia completo para entender os modelos RAG, como eles funcionam e por que são essenciais para a IA empresarial.

1. O que é Geração Aumentada de Recuperação (RAG)?

Em sua essência, a RAG combina dois processos distintos:

1. Recuperação (Retrieval): Encontrar documentos ou fragmentos de texto relevantes de uma base de conhecimento com base na consulta de um usuário.
2. Geração (Generation): Enviar os documentos recuperados junto com a consulta do usuário para um LLM para que ele possa gerar uma resposta precisa.

Pense nisso como um exame de livro aberto. Em vez de confiar apenas no que o LLM memorizou durante o treinamento (um exame de livro fechado), o modelo tem permissão para pesquisar em um livro de referência (a base de conhecimento) antes de responder.

2. O pipeline RAG passo a passo

Um pipeline RAG padrão consiste em três fases principais: Ingestão, Recuperação e Geração.

Fase 1: Ingestão (Preparação de dados)

Antes que o sistema possa recuperar informações, os dados brutos devem ser processados:

• Carregamento: Documentos (PDFs, Markdown, páginas da web, etc.) são reunidos.
• Divisão em partes (Chunking): Arquivos grandes são divididos em partes de texto menores e gerenciáveis (por exemplo, 500 caracteres).
• Incorporação (Embedding): Um modelo de embedding converte essas partes de texto em vetores matemáticos densos que representam seu significado semântico.
• Armazenamento: Essas representações vetoriais são armazenadas em um banco de dados vetorial especializado (como Milvus, Pinecone ou Qdrant).

Fase 2: Recuperação (Encontrando a resposta)

Quando um usuário faz uma pergunta:

1. A consulta do usuário é convertida em um vetor usando o mesmo modelo de embedding.
2. O sistema realiza uma busca de similaridade vetorial (como similaridade por cosseno) no banco de dados vetorial para encontrar as partes de texto mais relevantes para a consulta.
3. As partes com melhor correspondência são recuperadas.

Fase 3: Geração (Sintetizando a resposta)

1. As partes de texto recuperadas são combinadas com a consulta original do usuário em um modelo de prompt detalhado.
2. Esse prompt é enviado ao LLM.
3. O LLM lê o contexto, extrai os fatos relevantes e gera uma resposta em linguagem natural baseada nos documentos fornecidos.

3. Como são criadas as incorporações (Embeddings)

As incorporações são a espinha dorsal matemática da RAG. Elas convertem a linguagem humana em vetores numéricos densos que capturam o significado semântico.

• O processo de embedding:
  1. Tokenização: A parte do texto é dividida em partes menores chamadas tokens.
  2. Modelo codificador: Um codificador especializado baseado em Transformer (como BERT ou text-embedding-3 da OpenAI) processa os tokens.
  3. Vetor de alta dimensão: O modelo produz uma lista de números (geralmente 384, 768 ou 1536 dimensões). Cada dimensão representa uma característica ou conceito semântico diferente.
• Mapeamento semântico: Neste espaço vetorial, palavras ou frases com significados semelhantes são posicionadas próximas umas das outras. Por exemplo, o vetor para “gato” estará mais próximo de “gatinho” do que de “carro”.
• Métricas de distância: Bancos de dados vetoriais encontram contexto relevante medindo a distância entre os vetores de consulta e documento usando fórmulas matemáticas como a similaridade por cosseno (ângulo entre vetores), o produto escalar ou a distância euclidiana.

4. O passo a passo completo do fluxo de trabalho RAG

Aqui está um passo a passo de como uma solicitação se move através de um sistema RAG:

[Consulta do Usuário] ──> [Modelo de Embedding] ──> [Vetor da Consulta]
                                                          │
                                                          ▼
[Resposta do LLM] <── [LLM] <── [Prompt] <── [Busca no BD Vetorial]
                                (Contexto + Consulta)

1. Entrada do usuário: Um usuário envia uma consulta (por exemplo, “Qual foi a nossa receita no terceiro trimestre?”).
2. Vetorização da consulta: A consulta é convertida em um vetor pelo modelo de embedding.
3. Busca no banco de dados: O banco de dados vetorial compara o vetor da consulta com todos os vetores de documentos e recupera os fragmentos de texto mais próximos (top-K).
4. Fusão de contexto: Os fragmentos recuperados são injetados em um modelo de prompt junto com a consulta original do usuário.
5. Inferência do LLM: O LLM lê o prompt integrado ao contexto e gera uma resposta natural e precisa.

5. RAG vs. Ajuste Fino (Fine-Tuning): Qual é o melhor?

Ao adaptar um LLM para dados personalizados, os desenvolvedores costumam escolher entre RAG e Ajuste Fino. Aqui está como eles se comparam:

6. Técnicas avançadas de RAG

A RAG básica é fácil de criar, mas a RAG de nível de produção requer técnicas avançadas para lidar com consultas complexas:

• Reescrita de consultas: Reformular a consulta do usuário para melhorar a precisão da busca vetorial.
• Re-classificação (Re-ranking): Usar um modelo secundário (como um codificador cruzado) para reavaliar e reordenar os documentos recuperados, garantindo que os mais relevantes fiquem primeiro.
• Busca híbrida: Combinar busca por palavras-chave (BM25) com busca vetorial para capturar tanto correspondências exatas quanto significados semânticos.
• Divisão hierárquica: Armazenar partes pequenas para recuperação precisa, mas vinculando-as a partes pai maiores para fornecer um contexto mais amplo ao LLM.

Conclusão

A RAG se tornou o padrão da indústria para criar aplicações de IA em produção. Ao fundamentar os LLMs com conhecimento do mundo real, ela preenche a lacuna entre os pesos estáticos dos modelos e os dados dinâmicos e específicos do domínio. Esteja você construindo um assistente de wiki interno da empresa ou um bot automatizado de atendimento ao cliente, os modelos RAG garantem que sua IA permaneça precisa, atualizada e segura.

Explore mais percepções de IA no blog da Ghaznix →