深度学习

谷歌的 Gemini 模型通过引入原生多模态、超长上下文窗口以及关键的架构优化，树立了 AI 能力的新标杆。与 GPT-3 或 BERT 等旧模型不同，Gemini 从设计之初就是为了处理多种数据类型，并使用了极高效率的注意力机制。 在本文中，我们将深入解析 Gemini Transformer 核心的架构选择，探索它们与传统架构的不同之处，并使用 PyTorch 实现分组查询注意力（GQA）和 SwiGLU 前馈网络。 1. 原生多模态（统一嵌入空间） 传统的 AI 系统是通过拼接不同的模型来实现多模态行为的。例如，它们会使用映射层或适配器，将图像编码器（如 CLIP）或音频处理器（如 Whisper）与预训练的文本模型配对。 Gemini 则完全不同。它是原生多模态的，这意味着它在开发初期就同时在不同的模态（文本、代码、图像、音频和视频）上进行预训练。 统一的分词器（Tokenizer）： 不同类型的输入不需要经过独立的预处理流水线，而是被统一转换为共享的潜在嵌入空间中的 token。 跨模态推理： 由于表示空间是共享的，单个解码器（decoder）块可以在同一个序列中同时处理视觉 token、音频 token 和文本 token。这使得 Gemini 能够直接执行复杂任务，如解释视频帧或直接将音频翻译为文本。 2. 分组查询注意力（Grouped-Query Attention, GQA） 随着上下文窗口的扩大（可达数百万个 token），键值（KV）缓存的内存占用成为了模型推理服务的主要瓶颈。 为了解决这个问题： 多头注意力（MHA）： 每个查询头（Query head, $Q$）都有一个匹配的键（Key, $K$）和值（Value, $V$）头。如果有 32 个头，我们就必须存储 32 组 KV 向量。 多查询注意力（MQA）： 所有查询头共享一个键和值头。虽然这节省了内存，但会降低模型的表达能力和输出质量。 分组查询注意力（GQA）： 查询头被分组（例如，分为 8 组，每组包含 4 个查询头）。每组共享一个键和值头。 $$\text{Scores} = QK^T \text{ computation in GQA groups Q heads to share a single KV pair}$$

多年来，循环神经网络（RNN）和长短期记忆网络（LSTM）一直是序列数据处理领域无可争议的霸主。它们为最先进的翻译系统、语音助手和文本生成模型提供了强大的技术支持。然而，在 2017 年，一篇名为 “Attention Is All You Need”（Vaswani 等人）的里程碑式论文引入了 Transformer 架构。在短短几年内，RNN 和 LSTM 几乎完全退出了主流 AI 模型的舞台。 为什么会发生如此快速的转变？是什么让 Transformer 在结构上比循环网络更具优势？本文将探讨 RNN/LSTM 的数学和架构瓶颈，以及 Transformer 是如何克服它们的。 1. 核心瓶颈：串行限制 RNN 的决定性特征是其递归状态转换。为了处理输入序列，网络一步一步地处理每个 token，根据当前输入 $x_t$ 和前一个隐状态 $h_{t-1}$ 来更新其内部隐状态 $h_t$。 数学上的递推关系表示为： $$h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b)$$ 并行化问题 由于 $h_t$ 直接依赖于 $h_{t-1}$，处理过程无法并行化。要计算一个句子中第 100 个单词的状态，网络必须顺序计算前 99 个状态。 随着 GPU 和 TPU 的发展以支持海量的并行矩阵计算，这种串行依赖性成为了致命的瓶颈。在大型网络数据集上训练深度 RNN 模型需要数周时间，而如果计算相互独立，硬件本可以运行得快得多。

2018 年，Google 研究人员发表了一篇具有里程碑意义的论文，题为 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”（Devlin 等人）。这项研究彻底改变了自然语言处理（NLP）领域。在 BERT 之前，模型大多是自左向右或自右向左单向处理文本。BERT 引入了一种方法，可以同时从两个方向来训练语言表示。 今天，BERT 及其衍生模型（如 RoBERTa、DistilBERT 和 ALBERT）仍然是搜索引擎、情感分析、问答系统和信息提取的基石。本文将带您揭开 BERT 架构的神秘面纱，解析其工作原理和训练方式。 1. 什么是 BERT？ BERT 的全称是 Bidirectional Encoder Representations from Transformers（基于 Transformers 的双向编码器表示）。让我们拆解一下这个名字： 双向（Bidirectional）： 与从左到右（如 GPT）或从右到左读取文本的传统语言模型不同，BERT 一次性读取整个单词序列。这使它能够根据某个单词的整个上下文（左右两侧）来学习该单词的语义。 编码器表示（Encoder Representations）： BERT 使用了原始 Transformer 架构中的**编码器（Encoder）**部分。它接收输入序列，并为每个 token 输出一个密集的向量表示（嵌入/embedding）。 Transformers： 其底层引擎是 Transformer 注意力网络，它能够对长距离依赖关系进行建模并支持并行计算。 双向表示的强大之处 在单向模型中，一个 token 只能关注之前的 token。例如在句子中： “他决定把钱存进银行（bank）。”

2017年，随着 Vaswani 等人发表了里程碑式的论文 《Attention Is All You Need》，人工智能领域发生了翻天覆地的变化。该论文引入了 Transformer，一种革命性的神经网络架构，它完全摒弃了循环结构（RNN、LSTM），转而使用**自注意力机制（Self-Attention Mechanism）**并行处理序列数据。 如今，Transformer 驱动着几乎所有最先进的大语言模型（LLM），包括 GPT-4、Gemini, Claude 和 Llama。本篇博客将揭开 Transformer 网络的神秘面纱，并从数学和实践的角度解析自注意力机制是如何实现的。 1. 串行处理的瓶颈（RNN 与 Transformer 的对比） 在 Transformer 出现之前，循环神经网络（RNN）和长短期记忆（LSTM）网络是序列建模的标准方法。然而，RNN 必须按顺序（一次处理一个词）处理 Token。为了计算第 10 个词的隐藏状态，模型必须先计算第 1 到第 9 个词的隐藏状态。 这种串行特性带来了两个严重的局限性： 无法并行化： 现代 GPU 的计算能力无法得到高效利用，因为每一步计算都必须等待上一步完成。 梯度消失/爆炸： 当模型处理到长序列的末尾时，序列开头的早期信息会被压缩并丢失（即瓶颈问题）。 Transformer 同时解决了这两个问题。通过用自注意力取代循环结构，Transformer 可以同时处理整个输入序列，实现了海量的并行化计算，并在序列中的任意两个 Token 之间建立直接联系，无论它们相距多远。 2. 什么是自注意力机制？ 自注意力允许模型评估同一序列中不同词之间的关系。模型不再孤立地处理每个词，而是通过结合句子中所有其他词的上下文来表示当前词。 例如在以下句子中： “The bank of the river was muddy.”（河岸很泥泞。） “The money was deposited in the bank.”（钱存进了银行。） 单词“bank”根据上下文具有不同的含义。自注意力机制使模型能够在第一个句子中关注“river”（河流），在第二个句子中关注“money”（金钱），从而正确调整“bank”的特征表示。

在自然语言处理（NLP）和人工智能领域，机器翻译、文本摘要以及对话生成等技术在过去几年中经历了一场革命。这场变革的核心正是序列到序列（Seq2Seq）架构以及开创性的注意力（Attention）机制。 在现代 Transformer 架构诞生之前，这两大创新解决了深度学习领域最棘手的挑战之一：在输入序列和输出序列长度不同时，如何建立它们之间的映射。 1. 理论奠基：什么是序列到序列（Seq2Seq）？ 序列到序列（Seq2Seq）模型由谷歌等机构的研究人员于 2014 年提出，它是一种专门用于处理序列数据的编码器-解码器（Encoder-Decoder）框架。它被广泛应用于输入序列长度与输出序列长度不一致的任务中，例如： 机器翻译： 将英文的 “How are you?"（3个单词）翻译为中文的“你好吗？”（3个汉字）或西班牙语的 “¿Cómo estás?"（2个单词）。 文本摘要： 将一篇 500 字的文章压缩为 50 字的摘要。 问答系统： 将问题序列映射到相应的回答序列。 编码器-解码器机制 标准的 Seq2Seq 模型由两个循环神经网络（RNN）组成，通常采用 LSTM（长短期记忆网络）或 GRU（门控循环单元）： 编码器（Encoder）： 逐个 Token（词元）地处理输入序列。在每一步中，它会根据当前输入的 Token 和上一步的隐藏状态来更新隐藏状态。处理完整个输入后，编码器会提取最后一个隐藏状态。这个最终的隐藏状态被称为上下文向量（Context Vector）（或瓶颈向量）。 解码器（Decoder）： 将上下文向量作为其初始隐藏状态，并以自回归的方式逐个 Token 地生成输出序列。在每一步中，它都会根据当前的隐藏状态和前一步生成的单词来预测下一个单词。 2. 瓶颈问题（Bottleneck Problem） 虽然经典的编码器-解码器模型是一项巨大的技术突破，但它存在一个致命的局限性，即信息瓶颈（Information Bottleneck）。 在标准的 Seq2Seq 模型中，编码器被迫将输入句子的完整语义——无论它是 5 个词还是 100 个词——全部压缩进一个固定大小的上下文向量中。 这导致了以下问题： 长期记忆丢失（Long-Term Memory Loss）： 对于长句子，当编码器处理到序列末尾时，序列开头的语义信息已经被稀释或遗忘。 性能严重衰退： 随着输入句子长度的增加，翻译或摘要的质量会显著下降。 将复杂的长篇大论压缩进单一向量，就如同在翻译整章书之前，尝试用一句话来概括它一样。信息在这一压缩过程中不可避免地会丢失。

在 2026 年的数字时代，计算机视觉 (CV) 已成为人工智能最具变革性的分支之一。它是一门让计算机能够像人类一样（甚至比人类更好）“看到”并理解视觉世界的科学。从智能手机上的面部识别到配送包裹的自主无人机，计算机视觉无处不在。 但是，机器究竟是如何将一堆数字网格转化为可识别的物体的呢？ 1. 基础：什么是数字图像？ 对于计算机来说，图像不是一幅画，而是一个巨大的数字网格，称为像素 (Pixels)。每个像素代表一个颜色值。在标准的 RGB 图像中，每个点由三个数字（红、绿、蓝）定义。 计算机视觉就是利用复杂的算法在这些数字中寻找规律的过程。 2. 计算机视觉处理流程 在机器能够识别猫或停止标志之前，数据会经过几个关键阶段： 图像获取： 通过摄像头、LiDAR（激光雷达）或热传感器捕捉视觉数据。 预处理： 清理数据——调整亮度、消除噪点或统一图像尺寸，以确保数据集的一致性。 特征提取： 识别重要部分。算法会寻找定义形状的边缘、角点和纹理。在 2026 年，这主要由深度神经层自动处理。 分类/检测： 最后一步，AI 根据提取的特征决定它正在看什么。 3. 卷积神经网络 (CNN) 的魔力 计算机视觉真正的突破源于深度学习，特别是卷积神经网络 (CNN)。 CNN 模仿人类的视觉皮层。它们通过多个层扫描图像，利用一种称为卷积的过程，即一个小过滤器在像素上移动以提取空间特征。 低层： 检测简单的图案，如水平或垂直线。 中层： 将线条组合成圆形或矩形等形状。 高层： 识别复杂的结构，如眼睛、轮子或叶子。 当数据到达最后一层时，网络可以以惊人的准确度区分成千上万个不同的类别。 4. 检测 vs. 分割：了解“在哪”和“是什么” 现代计算机视觉不仅仅是命名物体，它还会对其进行映射。 目标检测 (Object Detection)： 在物体周围画一个“边界框”（例如：“在这些坐标处有一辆车”）。 语义分割 (Semantic Segmentation)： 为图像中的每个像素打上标签（例如：“这 5000 个像素是道路的一部分，这 200 个像素是行人的一部分”）。 实例分割 (Instance Segmentation)： 区分同一类型的多个物体（例如：“这是汽车 A，那是汽车 B”）。 5. 现实世界中的计算机视觉 (2026) 到 2026 年，计算机视觉不再是实验性的，而是必不可少的：