Transformer

(Emergence of Perspectives: Multi-Head Attention) “横看成岭侧成峰，远近高低各不同。” —— 苏轼《题西林壁》 “整体大于部分之和。” —— 亚里士多德 “多样性不是缺陷，是智能的必要条件。” —— 本书核心论点 引言：从单通道到多声部 如果说第二章的 Attention 是一个精密的齿轮，那么第三章的 Multi-Head Attention 就是让这些齿轮组成一台复杂的机器，并解释这台机器为何能产生类似人类的"多维度思考"。 在上一章，我们构建了一个完美的 Attention 机制。它让词与词之间建立了联系。 但这里有一个隐患：如果所有的联系都挤在同一个通道里，会发生什么？ 想象一下，你正在读一句复杂的长难句： “尽管他不喜欢苹果公司的新手机，但它的设计确实很惊艳。” 这句话里包含了多重关系： 关系类型 示例 需要捕捉的联系 语法关系 “他"是主语，“喜欢"是谓语 主谓结构 指代关系 “它"指代"手机”，不是"苹果公司” 代词→实体 情感关系 “不喜欢"是负面，“惊艳"是正面 情感极性 实体关系 “苹果"修饰"公司”，“新"修饰"手机” 修饰关系 逻辑关系 “尽管…但…“表示转折 逻辑连接 如果你只有一个 Attention Head（注意力头），它必须同时处理所有这些关系。 它的注意力分数（Attention Score）会变得一团糟： “它"既要关注"手机”（为了指代），又要关注"惊艳”（为了情感），还要关注"设计”（为了语法）。 结果就是：特征纠缠（Feature Entanglement）。所有的信息混在一起，变成了噪音。 这就像一个人在同一时间： 听交响乐（需要捕捉旋律） 看画作（需要捕捉色彩） 品美酒（需要捕捉味道） 单一通道无法同时处理多维信息。 为了解决这个问题，Transformer 引入了 Multi-Head Attention（多头注意力）。 这不是工程优化，这是认知架构的必要设计。 3.1 盲人摸象的智慧：多头的物理意义 What：什么是 Multi-Head Attention 很多人误以为 Multi-Head 只是为了像 CPU 多核一样做并行计算加速。 ...

(The Atom of Intelligence: Deconstructing Attention) “你看见的，只是你想看见的。” —— 心理学中的选择性注意 “注意力是意识的门户。” —— 威廉·詹姆斯 “信息的相关性，比信息本身更重要。” —— 克劳德·香农 引言：从静态坐标到动态能量场 如果说第一章的 Embedding 是给每个词发了一张静态的身份证，那么第二章的 Attention 就是让这些词在一个巨大的会议室里开始交谈。 在 Transformer 出现之前，RNN（循环神经网络）像传话筒一样，一个词一个词地传递信息。 “我"传给"爱”，“爱"传给"你”。等到传到句子的末尾，开头的"我"早已模糊不清。 这不仅是效率问题，这是本体论的局限。 RNN 的设计假设是：语言是时间的函数，意义在序列中累积。 但人类的认知不是这样的。 当你读到这句话时，你的眼睛不是逐字扫描，而是跳跃式地捕捉关键信息。你的大脑不是线性处理，而是并行地激活相关概念。 Attention 彻底改变了这一切。 它让句子中的每一个词，都能同时看到其他所有词，并根据它们之间的关系，动态地吸收信息。 这不是工程优化，这是认知范式的转换。 这一章，我们将深入 Transformer 的心脏，解构那个著名的公式： $$ \text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 这个公式，是智能的原子。 它简单到可以用一行代码实现。 它复杂到足以支撑人类语言的无限表达。 让我们开始这场解构之旅。 2.1 信息的路由协议：从"传话"到"广播" What：两种信息传递模式 在计算机网络中，信息的传递有两种模式： 模式 类比 代表架构 特点 单播 (Unicast) 打电话，点对点 RNN/LSTM 信息沿时间轴流动 广播 (Broadcast) 开会，所有人听 Transformer/Attention 信息全局可见 2.1.1 RNN 的序列瓶颈 Why：为什么 RNN 有根本局限 ...