GPT

生成式人工智能是 21 世纪最具变革性的技术变革之一。与分类、预测或检测的传统人工智能系统不同，生成式人工智能创建——文本、图像、音频、视频、代码，甚至三维结构。它是 ChatGPT 撰写文章、Midjourney 绘画真实感艺术以及 GitHub Copilot 通过评论完成整个功能背后的技术。 本指南解释了什么是生成式人工智能、它的工作原理、支持它的主要模型架构以及它的发展方向。 1.什么是生成式人工智能？ 生成式人工智能是指一类人工智能模型，它学习训练数据的统计分布，然后生成遵循相同分布的新内容。 简单地说：如果你用数百万张人脸照片训练一个模型，它就会学习脸部的模式——眼睛的位置、鼻子的形状、皮肤的纹理——然后可以生成一张以前从未存在过的全新脸部。 判别式和生成式模型之间的主要区别： 歧视性人工智能 生成式人工智能 了解班级之间的界限 了解完整的数据分布 输入→标签/类别 输入提示→新增内容（文字、图片、音频） 示例：图像分类器、垃圾邮件过滤器 示例：GPT-4，稳定扩散，Gemini 回答：“这是猫吗？” → 是/否 答案：“生成一幅穿着宇航服的猫的画” 2. 生成式人工智能背后的核心架构 现代生成式人工智能并不是一项单一的技术——它是一系列不同的架构，每种架构都适合不同的领域。 2.1 基于 Transformer 的语言模型 (LLM) Vaswani 等人在 2017 年具有里程碑意义的论文“Attention is All You Need”中介绍的 Transformer 架构是当今所有主要语言模型的基础，包括 GPT-4、Gemini、Claude 和 Llama。 它是如何工作的： 标记化：输入文本被分解为标记（子词单元）。 “生成式人工智能”可能会变成 ["Genera", "tive", " AI"]。 嵌入：每个标记都被转换为捕获其含义的高维数值向量。 自我注意力机制：每个令牌计算与序列中每个其他令牌的关系（注意力分数）。这使得模型能够理解“河岸”中的“银行”与“银行账户”中的“银行”不同。 前馈层：每个位置都经过非线性前馈网络来提取复杂的特征。 下一个标记预测：像 GPT 这样的自回归模型经过训练来预测下一个最可能的标记，重复此过程直到输出完成。 现代法学硕士的规模令人震惊：

近年来，生成式预训练 Transformer（GPT）彻底改变了人工智能。从代码助手到对话智能体，基于 GPT 的模型正在为当今最先进的生成式应用提供动力。但是这项技术究竟是如何工作的呢？ 虽然像 BERT 这样的模型使用 Transformer 的**编码器（Encoder）部分来双向理解文本，但 GPT 采用的是仅解码器（Decoder-only）**的架构，专为自回归的下一 token 预测而设计。在本文中，我们将揭秘 GPT Transformer 的工作原理，深入探讨因果自注意力（Causal Self-Attention）机制，并在代码中对其进行实现。 1. 自回归生成循环 在核心层面，GPT 是一个自回归模型。这意味着要生成一段文本序列，它会一个接一个地预测下一个 token，并使用已生成的 token 作为下一次预测的上下文。 其工作流程遵循以下步骤： 输入： 模型接收一个提示词（prompt）："Deep learning is"。 预测： 模型处理该提示，并在其整个词汇表上输出一个概率分布。它对下一个 token 进行采样："awesome"。 循环： 新生成的 token 被追加到输入中，使其变为："Deep learning is awesome"。这个新序列成为下一步的输入。 终止： 重复该过程，直到模型输出特殊的序列结束符（[EOS]）或达到预设的长度限制。 2. 因果掩码：解码器的核心 在像 BERT 这样仅包含编码器的模型中，每个 token 都可以关注所有其他 token，同时回顾过去并展望未来。然而，对于预测下一个 token 的生成式模型来说，在训练期间看到未来的 token 属于“作弊”。 为了防止模型看到未来的 token， GPT 使用了因果自注意力机制（或称掩码自注意力机制）。