李航，张少华，林苑

我们每天都在使用大说话模型（Large Language Model，LLM）。一个显著的感触是，它们似乎真的可能理解k8凯发天生赢家说话，固然有时也会出现幻觉。另一方面，观察 LLM 输出的思想链，也就是其推理过程的说话暗示，我们会感应它们如同真的能像人一样思虑。

最近字节跳动的李航、张少华、林苑颁发了一篇文章。论说：LLM 的说话和思虑能力是怎么的能力？这些能力是若何通过其实现道理和步骤、甚至工作机造形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现道理是明显的，但其工作机造（Mechanics）仍未被充分理解。LLM 规模极其重大，工作机造极其复杂，给对其能力的钻研带来了很大难题。

ChatGPT 问世以来，已有大量关于 LLM 机造和个性的钻研，出格是近年关于工作机造（或可诠释性）的钻研。这些工作从分歧角度对这一 AI 的主题课题给出了肯定水平的回覆。但仍有很多问题有待今后的钻研。

该文章将对 LLM 的根基道理和实现步骤做了总结，也对 LLM 工作机造的钻研进行单一的介绍，蕴含字节跳动做的 LLM 影象机造的工作
；在此基础上，对 LLM 的能力形成提出自己的见解。

引用：LLM影象机造论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 重要概想

文章论述了以下重要概想。

LLM 进建到的是说话使用和推理的模式，重要的是学到了其高阶模式。LLM 的进建属于机械进建，其进建得到的内容性质上是数据中的统计法规，或者说数据中的模式（Patterns）。说话数据内容丰硕，蕴含了词汇、语法、语义、语用信息和世界知识。我们能够看到，LLM 不仅进建到了与词汇和语法有关的低阶模式，并且也进建到了与语义、语用和世界知知趣关的高阶模式（Higher Order Patterns）。之前的说话模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因而，以为 LLM 仅仅学到了说话的大局而没有学到内容的概想（例如后述乔姆斯基的见解）并不能令人折服Ｄ芄挥 Next Token Prediction (NTP) 来概括其根基实现道理，但整体能力是由战术、模型、算法及数据这几个身分共同决定的。LLM 的进建和推理的过程是 NTP，但这只是表表的大局，其具体的实现步骤以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率散布。后训练的强化进建旨在微调模型，使其成为最优词元序列天生的战术函数。作为模型的 Transformer 拥有极强的说话和知识暗示能力。随机梯度降落的优化算法令能援手找到拥有优良泛化性的解。LLM 的关键在于对这些技术的系统整合与规
；迪。有概想将 LLM 的成功单一归因于 NTP，这是过于单一化的理解。LLM 的内部机造已得到肯定的解析和理解。近年 LLM 可诠释性钻研获得了肯定进展，此刻 LLM 对我们来说已不再齐满是黑盒。LLM 中的特职能够通过 SAE 等工具提取出来，特点之间形成的回路也能够利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特点在进建过程中被影象、在推理中被检索的法规。随着将来钻研的不休深刻，LLM 的工作机造会越来越多地被我们解析和理解。

2 LLM 的工作机造

LLM 的钻研能够从三个视角进行：机械进建步骤与理论、表部提醒尝试分析、内部工作机造钻研。若将 LLM 比作人脑，工作机造的钻研则对应着脑科学尝试。

2.1 特点叠加

神经网络的每一层上都可能存在着「特点叠加」（Superposition）景象。传统的概想以为，一个神经元暗示一个特点。然而，大量尝试批注，这种梦想化的情况在现实网络中比力少见。相反，神经元与特点之间往往出现的是多对多的对应关系：即一个神经元参加暗示多个特点，一个特点由多个神经元共同暗示。

图 1：LLM 的说话和思虑能力、工作机造、实现道理和步骤之间的关系。

Anthropic 钻研团队提出了特点叠加假说（Superposition Hypothesis）。其主题思想是：通过特点叠加，神经网络的一层神经元能够近似暗示弘远于其数量的特点，价值是特点之间存在肯定水平的滋扰。

神经网络的一层（称为现实层）能够暗示为：

其次，在训练过程中，神经网络通过梯度降落最幼化损失函数。当网络面对「暗示尽可能多的特点」与「使用尽可能少的神经元」这两个指标时，特点叠加成为一种天然的优化了局。另表，ReLU 激活函数的使用也推进了特点向量的稀少化，由于较弱的激活值会被截断为零。

上述特点叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）仿照尝试中得到验证，并在后续稀少自编码器（Sparse Autoencoder）的开发与利用中获得了进一步的支持。

2.2 SAE：特点分析

稀少自编码器（Sparse Autoencoder，SAE）能够用于分析神经网络，发显熹中拥有可诠释性的特点。在 LLM 的可诠释性钻研中，通常将其利用于 Transformer 的残差流，即在每层的输出暗示向量上。

SAE 与特点叠加理论形成了互补关系。特点叠加能够被视为一种压缩过程：模型隐式地通过高维且稀少的特点向量对输入向量进行暗示。而 SAE 则能够被视为一种「解压」步骤：将输入向量分化为高维且稀少的特点向量。这种「压缩—解压」的关系，使 SAE 成为钻研和分析特点叠加景象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀少的特点向量：

通过 SAE 得到的稀少激活特点与特点叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概想编码在神经元中。例如，钻研者在对大说话模型进行分析时，已经成功提取出数十万到百万量级的特点，其中一些特点拥有显著的语义寓意，例如与实体（如「金门大桥」）或行为（如「讨好」，Sycophancy）有关的特点。

分析批注，大说话模型中的特点往往出现出肯定的档次化结构：浅层根基是暗示输入的词法与单一语法的特点
；中央层有大量复杂语法和根基语义的特点
；深层重要是复杂语义、推理实现和输出表白的特点。

2.3 影象机造

字节跳动的工作提出了职能词元假说，揭示了 LLM 的影象机造的根基特点 。职能词元假说（Function Token Hypothesis）以为，LLM 中特点的影象是萦绕着职能词元发展的，特点在一个高低文的检索，也是通过职能词元进行的。

职能词元是指在训练语猜中呈显斓率最高的词元，大部门对应于说话学中的职能词，在语法和高低文衔接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表白明确且丰硕的语义信息。统计批注，在大规模预训练语猜中，前 100 多个高频词元就占了所有词元出现次数的约莫 40%。

在 LLM 的预训练阶段，进建过程出现出以职能词元为中心的显著特点。通过将训练损失依照职能词元和内容词元的四种组合进行分化观察，了局发现，「职能词元 → 内容词元」的损失函数降落得最慢。也就是说，凭据职能词元来预测下一个内容词元是最难题的。从说话学的角度看，这是合理的，由于职能词元往往标志取前一个说话单元（Chunk）的实现，要预测它之后的内容词元，必要对从开头到当前地位的整个高低文有正确的理解Ｄ芄淮Ф，正是这种最难的预测工作，成为了驱动模型优化的主导力量。

另一个发现是职能词元在训练的过程中能激活大部门特点（在分歧的高低文激活分歧的稀少特点）。将职能词元和特点之间成立二部图。若是一个职能词元在某个高低文激活了某个特点，就在两者之间成立一个边。随着训练的深刻，二部图上的边不休增长。最后，少量职能词元能与大部门特点之间成立联系，前 10 个高频词元激活 70% 的特点，也就是说，这些职能词元能（在分歧的高低文）激活大部门特点。这里也存在着幂律散布。

在推理过程中，职能词元阐扬着影象检索的主题作用。它们能从高低文中动态地激活最具预测性的特点，从而领导下一个词元的天生。例如，如图 3 所示，当提醒为「Answer the question in Chinese: What is the capital of Russia?」时，职能词元（如冒号「:」和换行符）会激活高低文钟赘用中文回覆」和「俄罗斯」等特点，同时抑造无关特点，最终疏导模型用中文天生答案「莫斯科」。这种动态的特点选择与组合能力，正是职能词元区别于内容词元的关键个性。

图 3：LLM 推理过程中职能词元阐扬着影象检索的主题作用。

职能词元之所以在 LLM 中阐扬如此关键的作用，是训练指标、进建算法、模型架构和说话个性共同作用的了局。首先，下一词元预测的训练指标（交叉熵损失）要求模型最大化预测正确性，而梯度降落算法总是优先降低损失最大的部门。其次，Transformer 架构中的前馈网络层能将知识（特点）进行很好的暗示和影象，自把稳力层能将低阶的知识（特点）有效地组合成高阶的知识（特点）。最后，天然说话自身的结构个性起到了决定性作用，文本总是被职能词元宰割成嵌套的 Chunk（可所以短语、句子或段落）。因而，对职能词元之后的预测，必要理解从文本开头到该地位的整个高低文语义。这是一项极具挑战性的工作，促使职能词元在训练中获得衔接大部门特点的能力，并在推理时重新激活最具预测性的特点。

职能词元假说对 LLM 训练实际拥有深刻启迪。其中最重要的一点是训练数据的体式至关重要。多项钻研的了局印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思想链推理等能力。这可能是由于后训练通过调整职能词元的激活模式，激活了预训练期间已经习得的特点。例如，职能词元（如「thus」）在强化进建训练中可能显著提升推理机能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层衔接特点的推算图，用于暗示模型中的特点是若何被激活和传布的。由于 SAE 只能看到单层的特点，拥有较大的局限性。为了分析跨层的特点的衔接和影响关系，钻研者提出了 CLT（Cross Layer Transcoder，跨层转码器）步骤。

CLT 的工作道理是：以某一层的残差流 作为输入，模型将其映射到后续各层的残差流 。通过这种方式，CLT 可能进建到一个跨层对齐的特点字典，捉拿分歧层之间的特点影响关系。

CLT 在每一层都有一个类似 SAE 的特点抽取？，但其优化指标有很大分歧。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可诠释性，选取剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，鉴别对最终输出贡献最大的蹊径。得到的精简归因图可能更清澈地展示模型中的特点激活和推理蹊径，揭示模型在特定场景中的主题特点回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部推算机造。起源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的说话理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为阐发来看，大说话模型已展示出人类一致以上的说话与推理能力。以图灵测试为衡量尺度，即调查其在对话中是否无法与人类分辨，LLM 已达到了人类水平。

LLM 所习得的不仅限于说话的低阶模式，更涵盖了说话与推理的高阶模式。这一点在我们日常使用 LLM 时能够得到直观验证。例如，LLM 可能理解并执杏赘喜马拉雅山有多高，用英文回覆」这类指令，体现了其语用能力
；它还可能辨析「金门大桥与金拱门的关系」这类涉及概想异同的问题，显示出语义理解与世界知识的整合能力。

从内部机造的分析角度看，「金门大桥」、「讨好」等概想特点在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾品评 LLM 仅进建到说话的表层统计法规。然而，以上事实批注，这一判断并不成立。不外，这并不料味着 LLM 与人类说话能力齐全等同。事实上，LLM 的说话机造与人类大脑存在显著差距。例如，人脑的说话理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者重要掌管语法处置，后者则承担词汇处置职能。

3.1.2 整体机造

大说话模型（LLM）的整体工作机造能够从训练方式、战术、算法和模型来理解（见图 5）。其训练方式通常蕴含预训练和后训练两个阶段，并通过两步训练融合，使模型在统一系统中同时具备说话理解、天生与推理能力。在机造上，LLM 基于自回归预测，即凭据已有高低文逐步预测下一个词，这一过程也能够看作一种序列决策过程。

图 5：LLM 的机造能够从训练方式、战术、算法和模型来理解。

在预训练阶段，模型通过大规模语料进建统计法规，给定足够长的上文，下一个词元的概率散布往往会越发集中
；而在后训练阶段，通过人类反馈或战术优化，使模型在一样高低文下更偏差天生最合理、最切合人类偏好的下文。

从技术实现上看，进建战术掌管界说预测指标和优化方向，算法用于调整模型参数以达到最优指标，而模型结构则决定了表白能力，通过自把稳力机造实现特点组合，通过前馈网络进行特点检测（非线性变换），并通过多层结构形成档次化暗示。这些都对 LLM 的类人说话和推理能力起着重要作用。

模型机能的提升还体现出显著的规模效应：随着数据量、参数规模和推算资源的增长，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提醒设计）也对成效至关重要。

这样训练得到的 LLM 中形成了大量的特点，暗示着各类分歧的概想，凭据分歧的高低文，这些分歧的特点被激活，动态形成回路，实现复杂的说话处置和推理机造。

3.2 与人类能力的比力

表 1 对比了 LLM 与人类的能力Ｄ芄豢闯，LLM 在说话与推理工作上已具备与人类相当甚至超过人类的水平。然而，在其他能力维度上，两者不仅机造可能存在底子差距，其机能也并非单一可比。下面对此进行简要注明与会商。

表 1: LLM 与人类能力比力

幻觉性质源于对事实的判断谬误。LLM 自身无法解决幻觉问题。由于它进建的是说话数据中的统计法规。理论证明，在肯定如果前提下，说话天生过程中肯定会以肯定概率产生幻觉
；镁跷侍饪赏ü渌旒右曰航，好比，检索加强天生（RAG）。

人的思虑蕴含多个方面，不仅涉及说话、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及活动系统亲昵有关。具身认知假说以为，思虑的过程并非纯正的符号运算，而是基于身段的感知活动经验，在心智中进行仿照。当前的多模态大说话模型（MLLM）可能将说话推理与视觉、听觉等信息进行关联处置，但其推理过程通常发生在说话暗示空间。这种处置方式与人类基于具身履历的、丰硕的、有意识的思虑有着性质区别。

最近也有一些工作尝试进行多模态推理，让模型可能「边看边想」
；但这些步骤仍属于比力初步的索求。因而，从具身认知的角度看，MLLM 的思虑能力与人类仍有显著差距。

LLM 既不是基于大局逻辑规定（如命题逻辑）进行推理，也不是依照推算规定进行算术运算。它能够通过其天活力造仿照，出现出肯定的启发式推理和推算能力，但在处置复杂问题时，由于不足严谨性，容易产生谬误。因而，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个盛开式的问题，这也依赖于对创造力的界说。创新分渐进式创新和颠覆性创新。通过观察能够发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的成立，LLM 是否可能做到，目前尚无定论。Ilya Sutskever 以为 LLM 能够做插值（interpolation），但表推（extrapolation）是盛开问题，也是类似的设法。

LLM 并不存在对应人的意识机造，固然我们会感应与 LLM 对话时有与真人交互的感触。意识是指人的心智中感触到的对内部身段和表部环境的知觉。意识是复苏时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏倒、殒命。意识是主观的，是每幼我以自我为中心的心矫捷动，对我们每幼我来说自己的意识是持续的、一贯的、不变的。同时，意识又是客观的，它对应着人脑神经系统的高档次处置，由人脑神经系统的低档次处置支持。全局工作空间理论（Global Workspace Theory）以为意识是脑内信息的全局广播。