Comprensión de los modelos RAG: conectando los LLM con el conocimiento del mundo real

Los modelos de lenguaje grande (LLM) como GPT-4 o Gemini son increíblemente potentes, pero tienen algunas debilidades críticas: alucinan, no conocen la información posterior a la fecha de corte de su entrenamiento y carecen de acceso a los datos de su dominio privado.

Para resolver estas limitaciones, los desarrolladores utilizan la Generación Aumentada por Recuperación (RAG). RAG es un marco que recupera información relevante de una base de datos externa y se la proporciona al LLM para generar respuestas precisas y conscientes del contexto.

Aquí tiene una guía completa para comprender los modelos RAG, cómo funcionan y por qué son esenciales para la IA empresarial.

1. ¿Qué es la Generación Aumentada por Recuperación (RAG)?

En su esencia, RAG combina dos procesos distintos:

1. Recuperación (Retrieval): Encontrar documentos o fragmentos de texto relevantes de una base de conocimiento basados en la consulta de un usuario.
2. Generación (Generation): Alimentar los documentos recuperados junto con la consulta del usuario a un LLM para que pueda generar una respuesta precisa.

Pensece en esto como un examen a libro abierto. En lugar de confiar únicamente en lo que el LLM memorizó durante el entrenamiento (un examen a libro cerrado), el modelo tiene permitido buscar en un libro de referencia (la base de conocimiento) antes de responder.

2. El pipeline de RAG paso a paso

Un pipeline estándar de RAG consta de tres fases principales: Ingesta, Recuperación y Generación.

Fase 1: Ingesta (Preparación de datos)

Antes de que el sistema pueda recuperar información, los datos brutos deben procesarse:

• Carga: Se recopilan los documentos (PDFs, Markdown, páginas web, etc.).
• Fragmentación (Chunking): Los archivos grandes se dividen en fragmentos de texto más pequeños y manejables (por ejemplo, de 500 caracteres).
• Incrustación (Embedding): Un modelo de incrustación convierte estos fragmentos de texto en vectores matemáticos densos que representan su significado semántico.
• Almacenamiento: Estas representaciones vectoriales se almacenan en una base de datos vectorial especializada (como Milvus, Pinecone o Qdrant).

Fase 2: Recuperación (Encontrar la respuesta)

Cuando un usuario hace una pregunta:

1. La consulta del usuario se convierte en un vector utilizando el mismo modelo de incrustación.
2. El sistema realiza una búsqueda de similitud vectorial (como la similitud del coseno) en la base de datos vectorial para encontrar los fragmentos de texto más relevantes para la consulta.
3. Se recuperan los fragmentos con mejor coincidencia.

Fase 3: Generación (Sintetizar la respuesta)

1. Los fragmentos de texto recuperados se combinan con la consulta original del usuario en una plantilla de prompt detallada.
2. Este prompt se envía al LLM.
3. El LLM lee el contexto, extrae los hechos relevantes y genera una respuesta en lenguaje natural basada en los documentos proporcionados.

3. Cómo se crean las incrustaciones (Embeddings)

Las incrustaciones son la columna vertebral matemática de RAG. Convienrtan el lenguaje humano en vectores numéricos densos que capturan el significado semántico.

• El proceso de embedding:
  1. Tokenización: El fragmento de texto se divide en partes más pequeñas llamadas tokens.
  2. Modelo codificador: Un codificador especializado basado en Transformer (como BERT o text-embedding-3 de OpenAI) procesa los tokens.
  3. Vector de alta dimensión: El modelo genera una lista de números (típicamente de 384, 768 o 1536 dimensiones). Cada dimensión representa una característica o concepto semántico diferente.
• Mapeo semántico: En este espacio vectorial, las palabras o frases con significados similares se colocan cerca unas de otras. Por ejemplo, el vector de “gato” estará más cerca de “gatito” que de “auto”.
• Métricas de distancia: Las bases de datos vectoriales encuentran contexto relevante midiendo la distancia entre los vectores de consulta y de documento mediante fórmulas matemáticas como la similitud del coseno (ángulo entre vectores), el producto punto o la distancia euclidiana.

4. El recorrido completo del flujo de trabajo de RAG

Aquí tiene un recorrido paso a paso de cómo se mueve una solicitud a través de un sistema RAG:

[Consulta de Usuario] ──> [Modelo de Embedding] ──> [Vector de Consulta]
                                                          │
                                                          ▼
[Respuesta de LLM] <── [LLM] <── [Prompt] <── [Búsqueda en BD Vectorial]
                                 (Contexto + Consulta)

1. Entrada de usuario: A usuario envía una consulta (por ejemplo, “¿Cuáles fueron nuestros ingresos del tercer trimestre?”).
2. Vectorización de consulta: La consulta se convierte en un vector mediante el modelo de incrustación.
3. Búsqueda en base de datos: La base de datos vectorial compara el vector de consulta con todos los vectores de documentos y recupera los fragmentos de texto más cercanos (top-K).
4. Fusión de contexto: Los fragmentos recuperados se insertan en una plantilla de prompt junto con la consulta original del usuario.
5. Inferencia de LLM: El LLM lee el prompt con contexto integrado y genera una respuesta natural y precisa.

5. RAG vs. Ajuste Fino (Fine-Tuning): ¿Cuál es mejor?

Al adaptar un LLM a datos personalizados, los desarrolladores suelen elegir entre RAG y Ajuste Fino. Así es como se comparan:

6. Técnicas avanzadas de RAG

La RAG básica es fácil de construir, pero la RAG de nivel de producción requiere técnicas avanzadas para manejar consultas complejas:

• Reescritura de consultas: Reformular la consulta del usuario para mejorar la precisión de la búsqueda vectorial.
• Re-clasificación (Re-ranking): Usar un modelo secundario (como un codificador cruzado) para reevaluar y reordenar los documentos recuperados, asegurando que los más relevantes se posicionen primero.
• Búsqueda híbrida: Combinar la búsqueda por palabras clave (BM25) con la búsqueda vectorial para capturar tanto coincidencias exactas como significados semánticos.
• Fragmentación jerárquica: Almacenar fragmentos pequeños para una recuperación precisa, pero vinculándolos a fragmentos principales más grandes para proporcionar un contexto más amplio al LLM.

Conclusión

RAG se ha convertido en el estándar de la industria para construir aplicaciones de IA en producción. Al conectar los LLM con el conocimiento del mundo real, cierra la brecha entre los pesos estáticos de los modelos y los datos dinámicos y específicos del dominio. Ya sea que esté construyendo un asistente wiki interno para una empresa o un bot de soporte al cliente automatizado, los modelos RAG aseguran que su IA permanezca precisa, actualizada y segura.

Explore más perspectivas de IA en el blog de Ghaznix →