机器学习

命名实体识别 (Named Entity Recognition，简称 NER) 是自然语言处理 (NLP) 的基石之一。它是从非结构化文本中自动识别关键元素，并将其归类到预定义类别（如人名、组织机构名、地理位置、日期、货币数值以及产品名称）的过程。 如果没有 NER，搜索引擎、推荐系统和自动化文档分析系统将很难理解文本中包含的“人、事、时、地”等核心信息。 本指南将带您全面了解 NER 的定义、该技术的发展历程，以及为什么现代生成式 AI 彻底改变了实体提取的方式。 1. NER 技术的发展演变 为了理解为什么基于 AI 的 NER 具有如此革命性的意义，我们需要回顾过去几十年来实体提取技术的发展阶段。 第一阶段：基于规则和词典的系统 早期的 NER 主要依赖于正则表达式 (Regex) 和人工整理的词典 (Gazetteers)。 工作原理：如果一个词存在于特定的地理位置数据库中，或者匹配某种模式（例如 [3位数字]-[3位数字]-[4位数字] 的电话号码），它就会被提取出来。 局限性：鲁棒性极差。它无法处理拼写错误、新出现的实体或上下文语义。例如，它无法区分 “Apple” 指的是水果还是这家科技公司。 第二阶段：传统 machine learning (CRF 与 SVM) 在 21 世纪初，条件随机场 (CRF) 和支持向量机 (SVM) 等统计机器学习模型成为了行业标准。 工作原理：工程师需要手动提取特征（例如前缀、后缀、大小写模式），并使用标注数据训练模型，以预测某个 Token 属于特定实体的概率。 局限性：需要大量的标注数据集，且手动特征工程非常繁琐耗时。 第三阶段：深度学习 (BiLSTM-CRF 与 BERT) 随着深度学习的兴起，双向长短期记忆网络 (BiLSTM) 结合 CRF，以及后来的 Transformer 模型（如 BERT）彻底改变了 NLP 领域。

像 GPT-4 或 Gemini 这样的大语言模型（LLM）功能异常强大，但它们也存在一些关键弱点：它们会产生幻觉、无法获知训练截止日期之后的信息，并且无法访问您的私有域数据。 为了解决这些局限性，开发人员引入了检索增强生成（Retrieval-Augmented Generation，简称 RAG）。RAG 是一种通过从外部数据库中检索相关信息，并将其提供给大语言模型来生成准确且富含上下文信息的应答的框架。 这篇全面指南将带您深入理解 RAG 模型、其工作原理，以及为什么它对企业级人工智能至关重要。 1. 什么是检索增强生成 (RAG)？ 从核心来看，RAG 结合了两个独立的过程： 检索 (Retrieval)：根据用户查询，从知识库中寻找相关的文档或文本块。 生成 (Generation)：将检索到的文档连同用户查询一起输入到大语言模型中，以便其生成准确的回答。 这就像是一场开卷考试。模型不再仅仅依靠在训练期间记住的内容（闭卷考试），而是被允许在回答之前查找参考书（知识库）。 2. 步步拆解 RAG 工作流 标准的 RAG 流水线主要包含三个阶段：数据准备（Ingestion）、检索（Retrieval）和生成（Generation）。 阶段 1：数据准备 (Ingestion) 在系统能够检索信息之前，必须对原始数据进行处理： 数据加载：收集文档（PDF、Markdown、网页等）。 文本分块 (Chunking)：将大文件切分成更小、更易管理的文本块（例如 500 个字符）。 向量化 (Embedding)：利用嵌入模型将这些文本块转换为紧密的数学向量，以代表它们的语义特征。 数据存储：将这些向量表示形式存储在专用的向量数据库中（如 Milvus、Pinecone 或 Qdrant）。 阶段 2：检索 (Retrieval) 当用户提出问题时： 使用相同的嵌入模型将用户的查询转换为向量。 系统在向量数据库中进行向量相似度搜索（如余弦相似度），以找到与查询最相关的文本块。 提取出匹配度最高的文本块。 阶段 3：生成 (Generation) 将检索到的文本块与用户原始的查询合并到一个详细的提示词模板中。 将此提示词发送给大语言模型。 大语言模型读取上下文，提取相关事实，并基于提供的文档生成自然语言回答。 3. 向量嵌入 (Embeddings) 是如何生成的 向量嵌入是 RAG 的数学基石。它们将人类语言转换为捕获语义信息的密集数值向量。

在全球化数字通信时代，情感分析（识别文本背后情绪基调的任务）已成为企业、政府和研究人员的关键工具。虽然英语等语言的情感分析已经高度成熟，但将其应用于阿拉伯语则面临着一系列独特的语言和技术挑战。 阿拉伯语拥有超过 4 亿使用者，是世界上使用最广泛的语言之一。然而，其丰富的形态结构、双层语言现象（标准语与口语并存）以及复杂的书写系统需要专门的预处理和建模策略。 本指南提供了阿拉伯语情感分析的全面演练，详细介绍了挑战、预处理流程、经典的机器学习实现（TF-IDF + 逻辑回归）以及使用 Hugging Face Transformers 的现代深度学习方法。 1. 阿拉伯语 NLP 的语言挑战 在编写代码之前，开发人员必须了解为什么阿拉伯语不能使用标准的西方 NLP 流程进行处理： 双层语言现象 (Diglossia)： 阿拉伯语分为现代标准阿拉伯语 (MSA)（用于正式写作、新闻和官方文档）和口语方言 (Darja/Ammiya)（用于社交媒体和日常交流）。方言（例如埃及、黎凡特、海湾方言）在词汇、语法和情感表达上存在显著差异。 丰富的形态学 (Rich Morphology)： 阿拉伯语是一种模板化语言，单词是通过应用特定模式从三字母或四字母词根衍生而来的。单个单词可以包含表示代词、介词和时态的前缀、后缀和中缀（例如 وسيكتبونها - “他们将写下它”）。 拼写变化 (Orthographic Variations)： 阿拉伯语字母的形状经常根据其在单词中的位置而变化，并且用户经常混用某些字母（例如 Alif 的变体 أ、إ、آ、ا，或 Yaa 变体 ي 与 ى）。 变音符号 (Tashkeel)： 短元音以变音符号的形式写在字母的上方或下方（例如 Fat-hah、Dammah、Kasrah）。虽然它们可以明确含义，但在数字文本中通常被省略，从而导致歧义；或者添加不一致，导致数据稀疏。 2. 阿拉伯语 NLP 预处理流程 为了处理阿拉伯语文本，我们必须构建一个专门的预处理流程，处理文本规范化、去变音符、分词、词干提取和模型推理： graph TD A[原始阿拉伯语文本] --> B[规范化与清洗] B --> C[去除变音符号与标点] C --> D[分词] D --> E[词干提取 / 词形还原] E --> F[特征向量化 / 词嵌入] F --> G[情感分类器] G --> H[输出结果：积极 / 消极 / 中性] 3. 步步详解：经典预处理与机器学习 (Python) 让我们使用 Python、NLTK 和 scikit-learn实现一个完整的流程。我们将编写自定义的规范化规则，并使用 NLTK 的 ISRIStemmer（专门为阿拉伯语设计的检索词干提取器）。

在 2026 年，移动应用不再仅仅是展示静态数据的界面。用户越来越多地期望应用能够实时感知、推理并对周围环境做出反应。将人工智能集成到移动开发技术栈中已不再是一项前瞻性的奢侈尝试——它已成为现代开发的必需品。 然而，开发者面临着一个关键的架构决策：您应该通过 API 在云端运行 AI 模型，还是直接在设备上运行？ 本指南将全面介绍移动应用中的 AI 集成，对比云端与设备端架构，并为 iOS (Swift) 和 Android (Kotlin) 提供一步步的实际开发实现。 1. 云端 AI vs. 设备端 AI：架构抉择 在编写代码之前，您必须了解模型在不同位置执行的权衡关系： 维度 云端 AI (API 驱动) 设备端 AI (边缘计算) 计算能力 虚拟无限 (GPUs/TPUs) 受限于移动硬件 (CPU/GPU/NPU) 延迟 取决于网络 (100ms - 2s+) 极低延迟 (10ms 以下) 成本 较高 (持续的 API/服务器成本) 零成本 (利用用户的设备硬件) 离线可用性 无法使用 (需要持续的网络连接) 100% 支持离线使用 隐私安全性 敏感用户数据必须离开设备传输 绝对安全 (数据永远保存在设备上) 2. 设备端 AI 开发框架 如果您选择在设备上运行模型，可以使用以下几种优化后的运行时：

几十年来，网络安全一直是一场基于特征码的猫鼠游戏。当发现新的恶意软件变种或漏洞利用时，安全研究人员会对其进行分析，提取出唯一的数字特征，并分发到杀毒软件数据库中。 但基于特征的防御有一个致命缺陷：它是完全被动的。它无法阻止从未见过的威胁。 这就是零日攻击（Zero-Day Attack）——在软件厂商发布补丁之前，针对先前未知的软件漏洞进行的攻击。由于没有特征码，传统的防火墙和入侵防御系统对它们完全视而不见。 为了防御零日威胁，整个行业正在经历一场范式转变：从依赖特征码转向依靠行为分析，而这正是由**机器学习（ML）**驱动的。 1. 超越特征码：异常检测的机制 基于机器学习的防御核心是异常检测的概念。机器学习模型不寻找已知的恶意行为（特征码），而是通过训练来理解系统或网络中的“正常”状态，并标记任何偏离该基线的行为。 行为基线建立： 诸如孤立森林（Isolation Forest）和自编码器（Autoencoder）等无监督学习算法，通过摄取海量的网络流量、用户活动和系统日志，构建出正常运行状态的高度详细模型。 偏离度评分： 当零日漏洞被执行时，它不可避免地会执行偏离基线的操作——例如执行异常的 API 调用序列、打开未预期的端口连接，或尝试读取受限的系统内存。机器学习模型会立即为该行为标记高异常评分。 2. 动态特征提取：实时分析文件 零日漏洞通常通过电子邮件附件或路过式下载（drive-by downloads）到达。由于特征码检查器无法标记这些新文件，由机器学习驱动的终端采用静态和动态特征提取，在毫秒级内对其进行分析。 静态分析： 模型无需运行文件即可分析其文件结构、导入的 DLL、API 函数调用和元数据。即使代码被混淆，深度学习模型也能标记出恶意模式。 动态沙箱分析： 如果静态分析无法得出确切结论，文件将在安全的虚拟化沙箱中运行。机器学习代理监控其实时执行，跟踪以下行为： 进程注入： 试图向合法的系统进程（如 explorer.exe）注入代码。 注册表修改： 写入敏感的启动键值或禁用安全服务。 特权提升： 通过系统漏洞异常地请求管理员权限。 3. 网络流量分析与序列建模 许多零日攻击涉及远程命令执行、数据外泄或在网络中进行横向移动。机器学习通过将网络遥测数据视为事件序列来监控这些活动。 LSTM 与循环神经网络（RNN）： 正如 LSTM 在自然语言处理（NLP）中用于预测句子中的下一个单词一样，在安全领域中它们被用于建模网络流。模型学习设备之间通信的典型序列，并标记恶意异常。 图神经网络（GNN）： GNN 将整个网络拓扑映射为图，其中设备是节点，通信是边。这使模型能够发现隐蔽的横向移动，即攻击者试图使用零日漏洞从一台服务器跳跃到另一台服务器。 4. 面临挑战：机器学习防御的双刃剑 虽然机器学习非常强大，但它不是万灵药。利用机器学习保护系统也带来了其特有的工程挑战： 误报困境： 如果异常检测模型过于敏感，它会将合法的软件更新或管理员任务标记为攻击，从而导致安全运营团队产生警报疲劳。 对抗性机器学习： 网络犯罪分子正在积极开发绕过机器学习模型的方法。通过引入细微的、非恶意的代码修改（对抗性扰动），他们可以欺骗分类模型，使其认为零日载荷是完全安全的。 结论：多层、自学习的未来 机器学习已将网络安全从被动的清理工作转变为主动的实时防御机制。通过分析行为、提取动态特征以及对网络序列建模，机器学习使组织能够在零日攻击造成大范围破坏之前将其制止。 随着攻击者变得越来越狡猾，防御的未来在于协同、自学习的系统，这些系统能够不断适应新的威胁，确保即使是最隐蔽的零日漏洞利用也无法遁形。 在 Ghaznix 博客上探索更多技术见解 →

在 2026 年的数字时代，计算机视觉 (CV) 已成为人工智能最具变革性的分支之一。它是一门让计算机能够像人类一样（甚至比人类更好）“看到”并理解视觉世界的科学。从智能手机上的面部识别到配送包裹的自主无人机，计算机视觉无处不在。 但是，机器究竟是如何将一堆数字网格转化为可识别的物体的呢？ 1. 基础：什么是数字图像？ 对于计算机来说，图像不是一幅画，而是一个巨大的数字网格，称为像素 (Pixels)。每个像素代表一个颜色值。在标准的 RGB 图像中，每个点由三个数字（红、绿、蓝）定义。 计算机视觉就是利用复杂的算法在这些数字中寻找规律的过程。 2. 计算机视觉处理流程 在机器能够识别猫或停止标志之前，数据会经过几个关键阶段： 图像获取： 通过摄像头、LiDAR（激光雷达）或热传感器捕捉视觉数据。 预处理： 清理数据——调整亮度、消除噪点或统一图像尺寸，以确保数据集的一致性。 特征提取： 识别重要部分。算法会寻找定义形状的边缘、角点和纹理。在 2026 年，这主要由深度神经层自动处理。 分类/检测： 最后一步，AI 根据提取的特征决定它正在看什么。 3. 卷积神经网络 (CNN) 的魔力 计算机视觉真正的突破源于深度学习，特别是卷积神经网络 (CNN)。 CNN 模仿人类的视觉皮层。它们通过多个层扫描图像，利用一种称为卷积的过程，即一个小过滤器在像素上移动以提取空间特征。 低层： 检测简单的图案，如水平或垂直线。 中层： 将线条组合成圆形或矩形等形状。 高层： 识别复杂的结构，如眼睛、轮子或叶子。 当数据到达最后一层时，网络可以以惊人的准确度区分成千上万个不同的类别。 4. 检测 vs. 分割：了解“在哪”和“是什么” 现代计算机视觉不仅仅是命名物体，它还会对其进行映射。 目标检测 (Object Detection)： 在物体周围画一个“边界框”（例如：“在这些坐标处有一辆车”）。 语义分割 (Semantic Segmentation)： 为图像中的每个像素打上标签（例如：“这 5000 个像素是道路的一部分，这 200 个像素是行人的一部分”）。 实例分割 (Instance Segmentation)： 区分同一类型的多个物体（例如：“这是汽车 A，那是汽车 B”）。 5. 现实世界中的计算机视觉 (2026) 到 2026 年，计算机视觉不再是实验性的，而是必不可少的：

大型语言模型 (LLM) 席卷全球，不仅因为它们能生成类似人类的文本，还因为它们似乎能通过复杂的“推理”来解决问题。但是，一个基于词元 (token) 预测的统计模型究竟是如何执行逻辑任务 forest？ 在这篇文章中，我们将探索 LLM 推理的机制，从简单的模式匹配到思维链 (Chain of Thought - CoT) 等高级策略。 1. 是真正的推理还是仅仅是预测？ 从本质上讲，LLM 被训练用于预测序列中的下一个词元。然而，随着这些模型规模（参数量）的增长，开始出现涌现属性。研究人员发现，模型可以解决数学问题、编写代码并遵循复杂的指令——这些任务需要的不仅仅是记忆。 这通常被称为**“涌现推理”**。虽然模型不像人类那样“思考”，但其内部的语言表示包含足够的逻辑结构来模拟推理步骤。 2. 突破：思维链 (CoT) LLM 推理中最显著的进展之一是思维链 (CoT) 提示。CoT 不直接询问最终答案，而是鼓励模型生成中间步骤。 CoT 的工作原理： 分步逻辑： 模型将复杂问题分解为更小、更易于管理的片段。 记忆缓冲： 中间步骤充当工作记忆，允许模型“回溯”到其先前的逻辑。 验证： 通过展示其工作过程，模型不太可能犯下“逻辑跳跃”错误。 3. 系统 1 与系统 2 思维 心理学家丹尼尔·卡尼曼曾著名地描述了人类思维的两个系统： 系统 1： 快速、本能且情绪化（例如识别面部）。 系统 2： 较慢、更深思熟虑且合乎逻辑（例如解数学方程）。 大多数 LLM 主要以“系统 1”模式运行——它们根据概率快速生成文本。目前的研究重点是将 AI 推向系统 2 思维，即模型在输出最终答案之前会暂停、反思并验证其逻辑。 4. 当前局限性 尽管其能力令人印象深刻，但 LLM 在推理方面仍面临重大障碍：

在传统的机器学习流程中，数据收集是第一步，也是通常最昂贵的一步。为了训练模型，您必须收集原始的用户数据（如照片、短信、健康记录或财务交易），并将它们上传到中央云服务器。 尽管这种集中式方法推动了 AI 革命，但它面临着重大挑战： 隐私顾虑： 用户越来越不愿意将私人数据上传到第三方服务器。 数据监管： GDPR 和 HIPAA 等法规严格限制了个人数据的传输和存储方式。 带宽成本： 从数百万个边缘设备（如智能手机）上传千兆字节的原始数据是非常低效的。 **联邦学习（Federated Learning - FL）**通过颠覆传统模式解决了这些问题。它不是将数据带给模型，而是将模型带给数据。 核心概念：去中心化训练 在联邦学习中，中央服务器维护一个全局模型。服务器不是收集原始数据来训练该模型，而是在边缘设备（客户端）网络（例如智能手机、智能家居设备或区域医院数据库）中协调协作训练过程。 这是联邦学习的基本规则： 原始数据绝不离开本地设备。只共享数学模型更新。 步骤详解：它是如何工作的 一个典型的联邦学习训练周期（称为通信轮次）由五个主要步骤组成： sequenceDiagram participant Server as 中央服务器 (全局模型) participant ClientA as 客户端 A (私人数据 A) participant ClientB as 客户端 B (私人数据 B) rect rgb(240, 248, 255) Note over Server: 步骤 1: 初始化全局模型 end Server->>ClientA: 步骤 2: 发送全局权重 (W_t) Server->>ClientB: 步骤 2: 发送全局权重 (W_t) rect rgb(245, 245, 245) Note over ClientA: 步骤 3: 在本地私有数据上进行训练 Note over ClientB: 步骤 3: 在本地私有数据上进行训练 end ClientA->>Server: 步骤 4: 发送本地更新 (W_t^A) ClientB->>Server: 步骤 4: 发送本地更新 (W_t^B) rect rgb(240, 255, 240) Note over Server: 步骤 5: 更新求均值 (FedAvg)<br/>更新全局模型 (W_t+1) end 1. 初始化 中央服务器使用初始权重（$W_0$）初始化全局模型。这些权重可以是随机的，也可以是在公共数据集上预先训练的。