Ghaznix

深入理解 RAG 模型：利用真实世界知识增强大语言模型

RAG 架构图解

像 GPT-4 或 Gemini 这样的大语言模型（LLM）功能异常强大，但它们也存在一些关键弱点：它们会产生幻觉、无法获知训练截止日期之后的信息，并且无法访问您的私有域数据。

为了解决这些局限性，开发人员引入了检索增强生成（Retrieval-Augmented Generation，简称 RAG）。RAG 是一种通过从外部数据库中检索相关信息，并将其提供给大语言模型来生成准确且富含上下文信息的应答的框架。

这篇全面指南将带您深入理解 RAG 模型、其工作原理，以及为什么它对企业级人工智能至关重要。

1. 什么是检索增强生成 (RAG)？

从核心来看，RAG 结合了两个独立的过程：

  1. 检索 (Retrieval)：根据用户查询，从知识库中寻找相关的文档或文本块。
  2. 生成 (Generation)：将检索到的文档连同用户查询一起输入到大语言模型中，以便其生成准确的回答。

这就像是一场开卷考试。模型不再仅仅依靠在训练期间记住的内容（闭卷考试），而是被允许在回答之前查找参考书（知识库）。

2. 步步拆解 RAG 工作流

标准的 RAG 流水线主要包含三个阶段：数据准备（Ingestion）、检索（Retrieval）和生成（Generation）。

阶段 1：数据准备 (Ingestion)

在系统能够检索信息之前，必须对原始数据进行处理：

  • 数据加载：收集文档（PDF、Markdown、网页等）。
  • 文本分块 (Chunking)：将大文件切分成更小、更易管理的文本块（例如 500 个字符）。
  • 向量化 (Embedding)：利用嵌入模型将这些文本块转换为紧密的数学向量，以代表它们的语义特征。
  • 数据存储：将这些向量表示形式存储在专用的向量数据库中（如 Milvus、Pinecone 或 Qdrant）。

阶段 2：检索 (Retrieval)

当用户提出问题时：

  1. 使用相同的嵌入模型将用户的查询转换为向量。
  2. 系统在向量数据库中进行向量相似度搜索（如余弦相似度），以找到与查询最相关的文本块。
  3. 提取出匹配度最高的文本块。

阶段 3：生成 (Generation)

  1. 将检索到的文本块与用户原始的查询合并到一个详细的提示词模板中。
  2. 将此提示词发送给大语言模型。
  3. 大语言模型读取上下文，提取相关事实，并基于提供的文档生成自然语言回答。

3. 向量嵌入 (Embeddings) 是如何生成的

向量嵌入是 RAG 的数学基石。它们将人类语言转换为捕获语义信息的密集数值向量。

  • 向量嵌入过程：
    1. 分词 (Tokenization)：将文本块分解为被称为“Token”的更小单元。
    2. 编码器模型：通过专门的 Transformer 编码器模型（如 BERT 或 OpenAI 的 text-embedding-3）处理这些 Token。
    3. 高维向量：模型输出一系列数字（通常为 384、768 或 1536 维）。每个维度代表不同的语义特征或概念。
  • 语义映射：在此向量空间中，具有相似含义的单词或短语会被定位在彼此接近的位置。例如，“猫”的向量与“小猫”的距离将比与“汽车”的距离更近。
  • 距离度量：向量数据库通过使用数学公式（如余弦相似度（向量夹角）、点积或欧氏距离）来计算查询向量与文档向量之间的距离，从而检索相关的上下文信息。

4. 完整的 RAG 工作流演示

以下是请求在 RAG 系统中流转的详细步骤演示：

[用户查询] ──> [嵌入模型] ──> [查询向量]
                                    │
                                    ▼
[LLM 响应] <── [LLM] <── [提示词] <── [向量数据库检索]
                            (上下文 + 查询)
  1. 用户输入：用户提交查询（例如，“我们第三季度的营收是多少？”）。
  2. 查询向量化：嵌入模型将该查询转换为向量。
  3. 数据库检索：向量数据库将查询向量与所有文档向量进行对比，并检索出最接近的前 K 个文本块。
  4. 上下文融合：将检索出的文本块与用户的原始查询一起注入到提示词模板中。
  5. 大模型推理：大语言模型读取融合了上下文信息的提示词，并生成自然、符合事实的准确回答。

5. RAG vs. 微调 (Fine-Tuning)：哪种更好？

在使大语言模型适应定制数据时，开发人员通常在 RAG 和微调之间进行选择。以下是它们的对比：

特性 RAG（检索增强生成） 微调 (Fine-Tuning)
主要目的 基于客观的外部知识进行事实锚定 调整模型的行为、风格或特定任务的格式
部署成本 低至中等 高（需要 GPU 和训练流水线）
实时更新 高（只需在向量数据库中添加/编辑文档） 低（需要重新训练或持续微调）
幻觉风险 极低（回答基于源文档） 中到高（模型仍可能凭空捏造事实）
数据隐私 简单（在数据库级别处理访问控制） 困难（一旦数据融入模型，就很难限制访问）

6. 高级 RAG 技术

构建基础的 RAG 很容易，但在实际生产中，要处理复杂的查询，必须使用高级的 RAG 技术：

  • 查询改写 (Query Rewriting)：重述用户的查询以提高向量搜索的准确性。
  • 重排 (Re-ranking)：使用次级模型（如交叉编码器）重新评估检索到的文档并对其排序，确保将最相关的文档放在最前面。
  • 混合检索 (Hybrid Search)：结合关键词搜索 (BM25) 与向量检索，以同时捕捉精确匹配与语义内涵。
  • 层级分块 (Hierarchical Chunking)：存储小文本块以实现精确检索，但将其关联到更大的大文本块，以便向大模型提供更广泛的上下文信息。

结论

RAG 已成为构建生产级 AI 应用的行业标准。通过让大语言模型立足于真实世界的知识，它弥合了静态模型权重与动态特定领域数据之间的鸿沟。无论您是正在构建内部公司百科助理还是自动客户支持机器人，RAG 模型都能确保您的人工智能保持准确、实时且安全。

在 Ghaznix 博客上探索更多人工智能见解 →

Tags

人工智能 RAG 模型 大语言模型 向量数据库 机器学习