Generative AI

生成式人工智能是 21 世纪最具变革性的技术变革之一。与分类、预测或检测的传统人工智能系统不同，生成式人工智能创建——文本、图像、音频、视频、代码，甚至三维结构。它是 ChatGPT 撰写文章、Midjourney 绘画真实感艺术以及 GitHub Copilot 通过评论完成整个功能背后的技术。 本指南解释了什么是生成式人工智能、它的工作原理、支持它的主要模型架构以及它的发展方向。 1.什么是生成式人工智能？ 生成式人工智能是指一类人工智能模型，它学习训练数据的统计分布，然后生成遵循相同分布的新内容。 简单地说：如果你用数百万张人脸照片训练一个模型，它就会学习脸部的模式——眼睛的位置、鼻子的形状、皮肤的纹理——然后可以生成一张以前从未存在过的全新脸部。 判别式和生成式模型之间的主要区别： 歧视性人工智能 生成式人工智能 了解班级之间的界限 了解完整的数据分布 输入→标签/类别 输入提示→新增内容（文字、图片、音频） 示例：图像分类器、垃圾邮件过滤器 示例：GPT-4，稳定扩散，Gemini 回答：“这是猫吗？” → 是/否 答案：“生成一幅穿着宇航服的猫的画” 2. 生成式人工智能背后的核心架构 现代生成式人工智能并不是一项单一的技术——它是一系列不同的架构，每种架构都适合不同的领域。 2.1 基于 Transformer 的语言模型 (LLM) Vaswani 等人在 2017 年具有里程碑意义的论文“Attention is All You Need”中介绍的 Transformer 架构是当今所有主要语言模型的基础，包括 GPT-4、Gemini、Claude 和 Llama。 它是如何工作的： 标记化：输入文本被分解为标记（子词单元）。 “生成式人工智能”可能会变成 ["Genera", "tive", " AI"]。 嵌入：每个标记都被转换为捕获其含义的高维数值向量。 自我注意力机制：每个令牌计算与序列中每个其他令牌的关系（注意力分数）。这使得模型能够理解“河岸”中的“银行”与“银行账户”中的“银行”不同。 前馈层：每个位置都经过非线性前馈网络来提取复杂的特征。 下一个标记预测：像 GPT 这样的自回归模型经过训练来预测下一个最可能的标记，重复此过程直到输出完成。 现代法学硕士的规模令人震惊：