推理

大型语言模型 (LLM) 席卷全球，不仅因为它们能生成类似人类的文本，还因为它们似乎能通过复杂的“推理”来解决问题。但是，一个基于词元 (token) 预测的统计模型究竟是如何执行逻辑任务 forest？ 在这篇文章中，我们将探索 LLM 推理的机制，从简单的模式匹配到思维链 (Chain of Thought - CoT) 等高级策略。 1. 是真正的推理还是仅仅是预测？ 从本质上讲，LLM 被训练用于预测序列中的下一个词元。然而，随着这些模型规模（参数量）的增长，开始出现涌现属性。研究人员发现，模型可以解决数学问题、编写代码并遵循复杂的指令——这些任务需要的不仅仅是记忆。 这通常被称为**“涌现推理”**。虽然模型不像人类那样“思考”，但其内部的语言表示包含足够的逻辑结构来模拟推理步骤。 2. 突破：思维链 (CoT) LLM 推理中最显著的进展之一是思维链 (CoT) 提示。CoT 不直接询问最终答案，而是鼓励模型生成中间步骤。 CoT 的工作原理： 分步逻辑： 模型将复杂问题分解为更小、更易于管理的片段。 记忆缓冲： 中间步骤充当工作记忆，允许模型“回溯”到其先前的逻辑。 验证： 通过展示其工作过程，模型不太可能犯下“逻辑跳跃”错误。 3. 系统 1 与系统 2 思维 心理学家丹尼尔·卡尼曼曾著名地描述了人类思维的两个系统： 系统 1： 快速、本能且情绪化（例如识别面部）。 系统 2： 较慢、更深思熟虑且合乎逻辑（例如解数学方程）。 大多数 LLM 主要以“系统 1”模式运行——它们根据概率快速生成文本。目前的研究重点是将 AI 推向系统 2 思维，即模型在输出最终答案之前会暂停、反思并验证其逻辑。 4. 当前局限性 尽管其能力令人印象深刻，但 LLM 在推理方面仍面临重大障碍：