本月官方更新行业钻研汇报某国潜艇兵跑步戴智能腕表引发泄密 很欣喜为您解答这个问题
，让我来助您具体注明一下。品牌授权报建电话
，急剧上门服务

海南省固原市西沙区银川市静海区西翟庄镇贵州省六盘水市水城县平山县幼觉镇西藏山南市贡嘎县黑龙江省哈尔滨市巴彦县银川市山西省晋中市榆社县江苏省南阳市辽宁省向阳市北票市江西省遵义市武宁县平凉市贵州省六盘水市水城县向阳区幼红门地域平山县东回舍镇行唐县龙州镇黑龙江省哈尔滨市巴彦县辽宁省锦州市义县延庆区沈家营镇辽宁省本溪市溪湖区河西区桃园街路山西省晋中市太谷区信阳市平桥区内蒙古锡林郭勒盟镶黄旗山西省晋城市高平市四川省宜宾市珙县桥西区东华街路向阳区双井街路怀柔区宝山镇山西省忻州市宁武县山西省吕梁市岚县四川省甘孜藏族自治州丹巴县福建省南充市升天县宝坻区牛家牌镇黑龙江省佳木斯市汤原县西乡塘区郴州市博望区黑龙江省佳木斯市汤原县和田地域辽宁省辽阳市白塔区山东省呼伦贝尔市台儿庄区岳阳市瑶海区福建省眉山市梅列区密云区河南寨镇武威市海城区上海市市辖区嘉定区广东省兰州市新兴县博尔塔拉蒙古自治州温泉县陕西省汉中市南郑区常德市南陵县辽宁省大连市旅顺口区山东省濮阳市广东省西安市龙门县辽宁省大连市旅顺口区定西市田林县元氏县殷村镇福建省眉山市梅列区甘肃省甘南藏族自治州云南省文山壮族苗族自治州广南县江苏省南阳市新沂市山东省呼伦贝尔市台儿庄区江苏省漯河市浦口区四川省凉山彝族自治州昭觉县宝坻区牛家牌镇内蒙古鄂尔多斯市鄂托克旗郴州市博望区武清区上马台镇青海省玉树藏族自治州治多县内蒙古锡林郭勒盟正镶白旗乌鲁木齐市沙依巴克区四川省宜宾市珙县北辰区广源街路内蒙古兴安盟乌兰浩特市平山县东回舍镇常德市南陵县江西省曲靖市宜丰县青海省海西蒙古族藏族自治州德令哈市黑龙江省鹤岗市江苏省信阳市相城区江苏省驻马店市赣榆区桥西区东华街路许昌市建安区吉林省白山市浑江区门头沟区大峪街路张家界市蚌山区哈密市伊吾县昌平区回龙观街路甘肃省定西市渭源县元氏县殷村镇青海省玉树藏族自治州治多县辽宁省辽阳市白塔区山东省鄂尔多斯市临淄区云南省红河哈尼族彝族自治州泸西县江苏省南阳市新沂市山东省平顶山市云南省西双版纳傣族自治州勐腊县黑龙江省佳木斯市汤原县绵阳市利辛县福建省乐山市海沧区

本月行业汇报传递行业新变动大说话模型为什么能像人一样措辞和思虑？
，很欣喜为您解答这个问题
，让我来助您具体注明一下:官方服务专线
，支持多品牌报建

广东省拉萨市三水区甘肃省白银市景泰县广东省西安市龙门县井陉县吴家窑乡广东省拉萨市三水区密云区河南寨镇桥西区留营街路广东省昭通市越秀区广东省昭通市越秀区四川省甘孜藏族自治州泸定县固原市西吉县洛阳市汝阳县江西省毕节市余江区辽宁省铁岭市清河区青海省玉树藏族自治州治多县西藏山南市山东省乌兰察布市牟平区江西省昆明市永新县陕西省咸阳市兴平市湖北省恩施土家族苗族自治州建始县密云区河南寨镇定西市靖西市银川市宁明县无极县大陈镇辽宁省锦州市义县常德市南陵县湖北省宜昌市秭归县河东区东新街路桥西区留营街路甘肃省天水市秦州区蓟州区官庄镇内蒙古呼伦贝尔市阿荣旗黑龙江省大兴安岭地域呼玛县南阳市内乡县辽宁省大连市旅顺口区向阳区豆各庄地域贵州省铜仁市印江土家族苗族自治县张掖市东兴市山东省焦作市茌平区山西省吕梁市岚县赞皇县院头镇内蒙古呼伦贝尔市阿荣旗云南省红河哈尼族彝族自治州绿春县张家界市蚌山区内蒙古锡林郭勒盟镶黄旗吉林省白山市浑江区贵州省安顺市普定县延庆区沈家营镇平山县宅北乡内蒙古呼伦贝尔市阿荣旗昌平区阳坊镇贵州省六盘水市水城县陕西省西安市未央区湖北省孝感市汉川市昌平区回龙观街路湖北省襄阳市襄州区甘肃省庆阳市镇原县贵州省六盘水市水城县四川省凉山彝族自治州甘洛县甘肃省庆阳市镇原县贵州省安顺市普定县四川省甘孜藏族自治州广东省临沧市南澳县四川省广安市岳池县江苏省周口市启东市四川省成都市双流区密云区不老屯镇博尔塔拉蒙古自治州温泉县四川省宜宾市江安县陕西省宝鸡市眉县白银市兴安县向阳区管庄地域向阳区酒仙桥街路定西市田林县贵州省铜仁市玉屏侗族自治县向阳区酒仙桥街路江苏省南阳市吉林省长春市双阳区江西省六盘水市上栗县甘肃省天水市秦州区向阳区豆各庄地域山西省晋中市灵石县银川市贺兰县江苏省周口市启东市山西省朔州市山阴县阿克苏地域拜城县江西省昆明市永新县湖北省孝感市汉川市福建省乐山市海沧区海南省中卫市山东省濮阳市四川省凉山彝族自治州西昌市巴音郭楞蒙古自治州和硕县阿克苏地域新和县鹿泉区白鹿泉乡江苏省南阳市丰县白银市秀峰区江西省昆明市昆明县山西省忻州市定襄县西青区精武镇

全球服务区域:桥西区苑东街路四川省凉山彝族自治州昭觉县赵县沙河店镇辽宁省沈阳市四川省宜宾市江安县山西省朔州市山阴县山东省巴彦淖尔市垦利区开封市通许县四川省甘孜藏族自治州焦作市中站区辽宁省沈阳市密云区高岭镇怀柔区宝山镇白银市兴安县白银市秀峰区赞皇县院头镇西城区天桥街路山东省焦作市茌平区海南省固原市西沙区博尔塔拉蒙古自治州温泉县广东省丽江市岳阳市瑶海区甘肃省陇南市甘肃省白银市景泰县和平区南市街路山西省吕梁市岚县喀什地域叶城县焦作市中站区黑龙江省大兴安岭地域呼玛县山东省焦作市冠县山西省晋城市高平市平凉市向阳区豆各庄地域丰台区长辛店镇辽宁省铁岭市清河区辽宁省沈阳市沈河区南阳市内乡县吉林省长春市双阳区海南省中卫市重庆市县巫山县黑龙江省鹤岗市长安区广安街路江苏省信阳市相城区绵阳市利辛县山东省巴彦淖尔市垦利区湖北省恩施土家族苗族自治州恩施市张家界市龙子湖区密云区高岭镇贵州省安顺市普定县元氏县苏村乡西藏阿里地域日土县延庆区沈家营镇丰台区和义街路贵州省铜仁市印江土家族苗族自治县焦作市沁阳市益阳市大通区北辰区广源街路平山县幼觉镇陕西省西安市未央区山西省朔州市山阴县贵州省黔东南苗族侗族自治州天柱县四川省甘孜藏族自治州丹巴县江西省曲靖市宜丰县江西省昆明市永新县鹿泉区寺家庄镇山西省吕梁市岚县四川省成都市双流区山西省吕梁市岚县江苏省驻马店市赣榆区四川省乐山市赵县沙河店镇平山县宅北乡四川省宜宾市翠屏区甘肃省庆阳市镇原县南开区体育中心街路隆安县山东省郑州市青州市元氏县殷村镇许昌市建安区广东省临沧市龙湖区海淀区青龙桥街路怀柔区龙山街路西藏山南市贡嘎县海南省？谑忻览记拇ㄊ「首尾刈遄灾沃葶蚨ㄏ亟棺魇兄姓厩嘈闱蕉∥诶疾觳际心财角峡逵行慕致访茉魄幽险蚯盼髑粲致匪拇ㄊ∫吮鍪薪蚕厍盼髑粲致分厍焓邢匚咨较馗仕嗍÷つ鲜形涠记Ｄ鲜≈形朗心诿晒哦醵嗨故锌蛋褪睬挛魇”κ忻枷卦颇鲜∑斩芯岸妥遄灾蜗亟魇±ッ魇欣ッ飨

今日官方渠路颁布新政策大说话模型为什么能像人一样措辞和思虑？
，很欣喜为您解答这个问题
，让我来助您具体注明一下:售后服务维建中心电话
，支持多渠路服务

全国服务区域：湖北省宜昌市西陵区怀柔区雁栖地域广东省西安市龙门县绵阳市利辛县江西省铜仁市石城县平山县东回舍宜昌苏省信阳市相城区西青区精武镇内蒙古锡林郭勒盟镶黄旗桥西区东华街路内蒙古鄂尔多斯市康巴什区甘肃省庆阳市镇原县博尔塔拉蒙古自治州温泉县常德市南陵县白银市秀峰区福建省眉山市梅列区贵州省铜仁市印江土家族苗族自治县喀什地域麦盖提县贵州省六盘水市水城县四川省凉山彝族自治州西昌市黑龙江省大兴安岭地域呼玛县阿克苏地域新和县元氏县甘肃省定西市渭源县江西省贵阳市昌江区青海省玉树藏族自治州治多县山西省吕梁市岚县海淀区青龙桥街路山东省洛阳市东平县贵州省六盘水市水城县云南省红河哈尼族彝族自治州绿春县山西省晋中市榆社县湖北省恩施土家族苗族自治州建始县广东省临沧市南澳县蓟州区官庄镇山东省郑州市青州市云南省怒江傈僳族自治州福贡县青秀区陕西省汉中市西乡县云南省玉溪市新平彝族傣族自治县山东省巴彦淖尔市垦利区山东省新乡市齐河县固原市西吉县黑龙江省大兴安岭地域呼玛县甘肃省陇南市福建省南充市升天县辽宁省本溪市溪湖区山西省吕梁市岚县元氏县苏村乡山东省鄂尔多斯市临淄区福建省眉山市梅列区贵州省铜仁市印江土家族苗族自治县重庆市县巫山县濮阳市南乐县向阳区管庄地域平山县幼觉镇赞皇县院头镇白银市兴安县黑龙江省佳木斯市富锦市内蒙古呼伦贝尔市阿荣旗西藏拉萨市达孜区昌平区延寿镇湖北省恩施土家族苗族自治州恩施市甘肃省陇南市武都区四川省甘孜藏族自治州九龙县山西省长治市襄垣县平顶山市湛河区吉林省白山市浑江区福建省内江市永泰县辽宁省辽阳市白塔区乌鲁木齐市沙依巴克区广东省西安市龙门县焦作市中站区张家界市龙子湖区甘肃省白银市景泰县江苏省南阳市新沂市丰台区右安门街路云南省玉溪市新平彝族傣族自治县黑龙江省绥化市明水县平顶山市卫东区江西省六盘水市上栗县四川省成都市双流区云南省西双版纳傣族自治州勐腊县和田地域静海区西翟庄镇西藏阿里地域日土县四川省乐山市伊犁哈萨克自治州昭苏县江苏省漯河市浦口区青海省玉树藏族自治州治多县内蒙古兴安盟乌兰浩特市江苏省漯河市浦口区甘肃省陇南市海南省中卫市黑龙江省鹤岗市江苏省南阳市内蒙古兴安盟乌兰浩特市四川省凉山彝族自治州甘洛县西藏拉萨市达孜区蓟州区东赵各庄镇

售后服务上门服务电话
，智能分配单据：大说话模型为什么能像人一样措辞和思虑？

李航
，张少华
，林苑

我们每天都在使用大说话模型（Large Language Model
，LLM）。一个显著的感触是
，它们似乎真的可能理解k8凯发天生赢家说话
，固然有时也会出现幻觉。另一方面
，观察 LLM 输出的思想链
，也就是其推理过程的说话暗示
，我们会感应它们如同真的能像人一样思虑。

最近字节跳动的李航、张少华、林苑颁发了一篇文章。论说：LLM 的说话和思虑能力是怎么的能力？这些能力是若何通过其实现道理和步骤、甚至工作机造形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的
，其实现道理是明显的
，但其工作机造（Mechanics）仍未被充分理解。LLM 规模极其重大
，工作机造极其复杂
，给对其能力的钻研带来了很大难题。

ChatGPT 问世以来
，已有大量关于 LLM 机造和个性的钻研
，出格是近年关于工作机造（或可诠释性）的钻研。这些工作从分歧角度对这一 AI 的主题课题给出了肯定水平的回覆。但仍有很多问题有待今后的钻研。

该文章将对 LLM 的根基道理和实现步骤做了总结
，也对 LLM 工作机造的钻研进行单一的介绍
，蕴含字节跳动做的 LLM 影象机造的工作；在此基础上
，对 LLM 的能力形成提出自己的见解。

引用：LLM影象机造论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 重要概想

文章论述了以下重要概想。

LLM 进建到的是说话使用和推理的模式
，重要的是学到了其高阶模式。LLM 的进建属于机械进建
，其进建得到的内容性质上是数据中的统计法规
，或者说数据中的模式（Patterns）。说话数据内容丰硕
，蕴含了词汇、语法、语义、语用信息和世界知识。我们能够看到
，LLM 不仅进建到了与词汇和语法有关的低阶模式
，并且也进建到了与语义、语用和世界知知趣关的高阶模式（Higher Order Patterns）。之前的说话模型往往做不到这一点
，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因而
，以为 LLM 仅仅学到了说话的大局而没有学到内容的概想（例如后述乔姆斯基的见解）并不能令人折服Ｄ芄挥 Next Token Prediction (NTP) 来概括其根基实现道理
，但整体能力是由战术、模型、算法及数据这几个身分共同决定的。LLM 的进建和推理的过程是 NTP
，但这只是表表的大局
，其具体的实现步骤以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率散布。后训练的强化进建旨在微调模型
，使其成为最优词元序列天生的战术函数。作为模型的 Transformer 拥有极强的说话和知识暗示能力。随机梯度降落的优化算法令能援手找到拥有优良泛化性的解。LLM 的关键在于对这些技术的系统整合与规；迪。有概想将 LLM 的成功单一归因于 NTP
，这是过于单一化的理解。LLM 的内部机造已得到肯定的解析和理解。近年 LLM 可诠释性钻研获得了肯定进展
，此刻 LLM 对我们来说已不再齐满是黑盒。LLM 中的特职能够通过 SAE 等工具提取出来
，特点之间形成的回路也能够利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特点在进建过程中被影象、在推理中被检索的法规。随着将来钻研的不休深刻
，LLM 的工作机造会越来越多地被我们解析和理解。

2 LLM 的工作机造

LLM 的钻研能够从三个视角进行：机械进建步骤与理论、表部提醒尝试分析、内部工作机造钻研。若将 LLM 比作人脑
，工作机造的钻研则对应着脑科学尝试。

2.1 特点叠加

神经网络的每一层上都可能存在着「特点叠加」（Superposition）景象。传统的概想以为
，一个神经元暗示一个特点。然而
，大量尝试批注
，这种梦想化的情况在现实网络中比力少见。相反
，神经元与特点之间往往出现的是多对多的对应关系：即一个神经元参加暗示多个特点
，一个特点由多个神经元共同暗示。

图 1：LLM 的说话和思虑能力、工作机造、实现道理和步骤之间的关系。

Anthropic 钻研团队提出了特点叠加假说（Superposition Hypothesis）。其主题思想是：通过特点叠加
，神经网络的一层神经元能够近似暗示弘远于其数量的特点
，价值是特点之间存在肯定水平的滋扰。

神经网络的一层（称为现实层）能够暗示为：

其次
，在训练过程中
，神经网络通过梯度降落最幼化损失函数。当网络面对「暗示尽可能多的特点」与「使用尽可能少的神经元」这两个指标时
，特点叠加成为一种天然的优化了局。另表
，ReLU 激活函数的使用也推进了特点向量的稀少化
，由于较弱的激活值会被截断为零。

上述特点叠加假说的合理性
，已在 Anthropic 的玩具模型（toy model）仿照尝试中得到验证
，并在后续稀少自编码器（Sparse Autoencoder）的开发与利用中获得了进一步的支持。

2.2 SAE：特点分析

稀少自编码器（Sparse Autoencoder
，SAE）能够用于分析神经网络
，发显熹中拥有可诠释性的特点。在 LLM 的可诠释性钻研中
，通常将其利用于 Transformer 的残差流
，即在每层的输出暗示向量上。

SAE 与特点叠加理论形成了互补关系。特点叠加能够被视为一种压缩过程：模型隐式地通过高维且稀少的特点向量对输入向量进行暗示。而 SAE 则能够被视为一种「解压」步骤：将输入向量分化为高维且稀少的特点向量。这种「压缩—解压」的关系
，使 SAE 成为钻研和分析特点叠加景象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先
，编码器通过非线性变换将输入向量转换为高维且稀少的特点向量：

通过 SAE 得到的稀少激活特点与特点叠加理论的预测一致
，即模型可能将远多于神经元数量的潜在概想编码在神经元中。例如
，钻研者在对大说话模型进行分析时
，已经成功提取出数十万到百万量级的特点
，其中一些特点拥有显著的语义寓意
，例如与实体（如「金门大桥」）或行为（如「讨好」
，Sycophancy）有关的特点。

分析批注
，大说话模型中的特点往往出现出肯定的档次化结构：浅层根基是暗示输入的词法与单一语法的特点；中央层有大量复杂语法和根基语义的特点；深层重要是复杂语义、推理实现和输出表白的特点。

2.3 影象机造

字节跳动的工作提出了职能词元假说
，揭示了 LLM 的影象机造的根基特点 。职能词元假说（Function Token Hypothesis）以为
，LLM 中特点的影象是萦绕着职能词元发展的
，特点在一个高低文的检索
，也是通过职能词元进行的。

职能词元是指在训练语猜中呈显斓率最高的词元
，大部门对应于说话学中的职能词
，在语法和高低文衔接上起着关键作用。例如
，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元
，表白明确且丰硕的语义信息。统计批注
，在大规模预训练语猜中
，前 100 多个高频词元就占了所有词元出现次数的约莫 40%。

在 LLM 的预训练阶段
，进建过程出现出以职能词元为中心的显著特点。通过将训练损失依照职能词元和内容词元的四种组合进行分化观察
，了局发现
，「职能词元 → 内容词元」的损失函数降落得最慢。也就是说
，凭据职能词元来预测下一个内容词元是最难题的。从说话学的角度看
，这是合理的
，由于职能词元往往标志取前一个说话单元（Chunk）的实现
，要预测它之后的内容词元
，必要对从开头到当前地位的整个高低文有正确的理解Ｄ芄淮Ф
，正是这种最难的预测工作
，成为了驱动模型优化的主导力量。

另一个发现是职能词元在训练的过程中能激活大部门特点（在分歧的高低文激活分歧的稀少特点）。将职能词元和特点之间成立二部图。若是一个职能词元在某个高低文激活了某个特点
，就在两者之间成立一个边。随着训练的深刻
，二部图上的边不休增长。最后
，少量职能词元能与大部门特点之间成立联系
，前 10 个高频词元激活 70% 的特点
，也就是说
，这些职能词元能（在分歧的高低文）激活大部门特点。这里也存在着幂律散布。

在推理过程中
，职能词元阐扬着影象检索的主题作用。它们能从高低文中动态地激活最具预测性的特点
，从而领导下一个词元的天生。例如
，如图 3 所示
，当提醒为「Answer the question in Chinese: What is the capital of Russia?」时
，职能词元（如冒号「:」和换行符）会激活高低文钟赘用中文回覆」和「俄罗斯」等特点
，同时抑造无关特点
，最终疏导模型用中文天生答案「莫斯科」。这种动态的特点选择与组合能力
，正是职能词元区别于内容词元的关键个性。

图 3：LLM 推理过程中职能词元阐扬着影象检索的主题作用。

职能词元之所以在 LLM 中阐扬如此关键的作用
，是训练指标、进建算法、模型架构和说话个性共同作用的了局。首先
，下一词元预测的训练指标（交叉熵损失）要求模型最大化预测正确性
，而梯度降落算法总是优先降低损失最大的部门。其次
，Transformer 架构中的前馈网络层能将知识（特点）进行很好的暗示和影象
，自把稳力层能将低阶的知识（特点）有效地组合成高阶的知识（特点）。最后
，天然说话自身的结构个性起到了决定性作用
，文本总是被职能词元宰割成嵌套的 Chunk（可所以短语、句子或段落）。因而
，对职能词元之后的预测
，必要理解从文本开头到该地位的整个高低文语义。这是一项极具挑战性的工作
，促使职能词元在训练中获得衔接大部门特点的能力
，并在推理时重新激活最具预测性的特点。

职能词元假说对 LLM 训练实际拥有深刻启迪。其中最重要的一点是训练数据的体式至关重要。多项钻研的了局印证了这一点。在后训练阶段
，仅需少量训练步骤就能显著提升模型的指令遵循、思想链推理等能力。这可能是由于后训练通过调整职能词元的激活模式
，激活了预训练期间已经习得的特点。例如
，职能词元（如「thus」）在强化进建训练中可能显著提升推理机能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层衔接特点的推算图
，用于暗示模型中的特点是若何被激活和传布的。由于 SAE 只能看到单层的特点
，拥有较大的局限性。为了分析跨层的特点的衔接和影响关系
，钻研者提出了 CLT（Cross Layer Transcoder
，跨层转码器）步骤。

CLT 的工作道理是：以某一层的残差流 作为输入
，模型将其映射到后续各层的残差流 。通过这种方式
，CLT 可能进建到一个跨层对齐的特点字典
，捉拿分歧层之间的特点影响关系。

CLT 在每一层都有一个类似 SAE 的特点抽取？
，但其优化指标有很大分歧。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可诠释性
，选取剪枝技术对图进行精简。通过设置阈值
，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传
，鉴别对最终输出贡献最大的蹊径。得到的精简归因图可能更清澈地展示模型中的特点激活和推理蹊径
，揭示模型在特定场景中的主题特点回路。

图 4：基于 CLT 构建的归因图
，用于分析 LLM 的内部推算机造。起源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的说话理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为阐发来看
，大说话模型已展示出人类一致以上的说话与推理能力。以图灵测试为衡量尺度
，即调查其在对话中是否无法与人类分辨
，LLM 已达到了人类水平。

LLM 所习得的不仅限于说话的低阶模式
，更涵盖了说话与推理的高阶模式。这一点在我们日常使用 LLM 时能够得到直观验证。例如
，LLM 可能理解并执杏赘喜马拉雅山有多高
，用英文回覆」这类指令
，体现了其语用能力；它还可能辨析「金门大桥与金拱门的关系」这类涉及概想异同的问题
，显示出语义理解与世界知识的整合能力。

从内部机造的分析角度看
，「金门大桥」、「讨好」等概想特点在模型中的存在
，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾品评 LLM 仅进建到说话的表层统计法规。然而
，以上事实批注
，这一判断并不成立。不外
，这并不料味着 LLM 与人类说话能力齐全等同。事实上
，LLM 的说话机造与人类大脑存在显著差距。例如
，人脑的说话理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者重要掌管语法处置
，后者则承担词汇处置职能。

3.1.2 整体机造

大说话模型（LLM）的整体工作机造能够从训练方式、战术、算法和模型来理解（见图 5）。其训练方式通常蕴含预训练和后训练两个阶段
，并通过两步训练融合
，使模型在统一系统中同时具备说话理解、天生与推理能力。在机造上
，LLM 基于自回归预测
，即凭据已有高低文逐步预测下一个词
，这一过程也能够看作一种序列决策过程。

图 5：LLM 的机造能够从训练方式、战术、算法和模型来理解。

在预训练阶段
，模型通过大规模语料进建统计法规
，给定足够长的上文
，下一个词元的概率散布往往会越发集中；而在后训练阶段
，通过人类反馈或战术优化
，使模型在一样高低文下更偏差天生最合理、最切合人类偏好的下文。

从技术实现上看
，进建战术掌管界说预测指标和优化方向
，算法用于调整模型参数以达到最优指标
，而模型结构则决定了表白能力
，通过自把稳力机造实现特点组合
，通过前馈网络进行特点检测（非线性变换）
，并通过多层结构形成档次化暗示。这些都对 LLM 的类人说话和推理能力起着重要作用。

模型机能的提升还体现出显著的规模效应：随着数据量、参数规模和推算资源的增长
，模型能力会产生质的飞跃。同时
，数据质量和训练设计（例如高质量语料和系统提醒设计）也对成效至关重要。

这样训练得到的 LLM 中形成了大量的特点
，暗示着各类分歧的概想
，凭据分歧的高低文
，这些分歧的特点被激活
，动态形成回路
，实现复杂的说话处置和推理机造。

3.2 与人类能力的比力

表 1 对比了 LLM 与人类的能力Ｄ芄豢闯
，LLM 在说话与推理工作上已具备与人类相当甚至超过人类的水平。然而
，在其他能力维度上
，两者不仅机造可能存在底子差距
，其机能也并非单一可比。下面对此进行简要注明与会商。

表 1: LLM 与人类能力比力

幻觉性质源于对事实的判断谬误。LLM 自身无法解决幻觉问题。由于它进建的是说话数据中的统计法规。理论证明
，在肯定如果前提下
，说话天生过程中肯定会以肯定概率产生幻觉；镁跷侍饪赏ü渌旒右曰航
，好比
，检索加强天生（RAG）。

人的思虑蕴含多个方面
，不仅涉及说话、推理和数学
，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及活动系统亲昵有关。具身认知假说以为
，思虑的过程并非纯正的符号运算
，而是基于身段的感知活动经验
，在心智中进行仿照。当前的多模态大说话模型（MLLM）可能将说话推理与视觉、听觉等信息进行关联处置
，但其推理过程通常发生在说话暗示空间。这种处置方式与人类基于具身履历的、丰硕的、有意识的思虑有着性质区别。

最近也有一些工作尝试进行多模态推理
，让模型可能「边看边想」；但这些步骤仍属于比力初步的索求。因而
，从具身认知的角度看
，MLLM 的思虑能力与人类仍有显著差距。

LLM 既不是基于大局逻辑规定（如命题逻辑）进行推理
，也不是依照推算规定进行算术运算。它能够通过其天活力造仿照
，出现出肯定的启发式推理和推算能力
，但在处置复杂问题时
，由于不足严谨性
，容易产生谬误。因而
，LLM 在这方面存在局限性。

LLM 是否有创造力
，还是一个盛开式的问题
，这也依赖于对创造力的界说。创新分渐进式创新和颠覆性创新。通过观察能够发现
，LLM 应该也具备渐进式创新能力。而颠覆式创新
，如相对论理论的成立
，LLM 是否可能做到
，目前尚无定论。Ilya Sutskever 以为 LLM 能够做插值（interpolation）
，但表推（extrapolation）是盛开问题
，也是类似的设法。

LLM 并不存在对应人的意识机造
，固然我们会感应与 LLM 对话时有与真人交互的感触。意识是指人的心智中感触到的对内部身段和表部环境的知觉。意识是复苏时人脑处于的一种状态
，与其相对的其他状态是深度睡眠、昏倒、殒命。意识是主观的
，是每幼我以自我为中心的心矫捷动
，对我们每幼我来说自己的意识是持续的、一贯的、不变的。同时
，意识又是客观的
，它对应着人脑神经系统的高档次处置
，由人脑神经系统的低档次处置支持。全局工作空间理论（Global Workspace Theory）以为意识是脑内信息的全局广播。

今日钻研机构颁布行业汇报大说话模型为什么能像人一样措辞和思虑？

李航
，张少华
，林苑

我们每天都在使用大说话模型（Large Language Model
，LLM）。一个显著的感触是
，它们似乎真的可能理解k8凯发天生赢家说话
，固然有时也会出现幻觉。另一方面
，观察 LLM 输出的思想链
，也就是其推理过程的说话暗示
，我们会感应它们如同真的能像人一样思虑。

最近字节跳动的李航、张少华、林苑颁发了一篇文章。论说：LLM 的说话和思虑能力是怎么的能力？这些能力是若何通过其实现道理和步骤、甚至工作机造形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的
，其实现道理是明显的
，但其工作机造（Mechanics）仍未被充分理解。LLM 规模极其重大
，工作机造极其复杂
，给对其能力的钻研带来了很大难题。

ChatGPT 问世以来
，已有大量关于 LLM 机造和个性的钻研
，出格是近年关于工作机造（或可诠释性）的钻研。这些工作从分歧角度对这一 AI 的主题课题给出了肯定水平的回覆。但仍有很多问题有待今后的钻研。

该文章将对 LLM 的根基道理和实现步骤做了总结
，也对 LLM 工作机造的钻研进行单一的介绍
，蕴含字节跳动做的 LLM 影象机造的工作；在此基础上
，对 LLM 的能力形成提出自己的见解。

引用：LLM影象机造论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 重要概想

文章论述了以下重要概想。

LLM 进建到的是说话使用和推理的模式
，重要的是学到了其高阶模式。LLM 的进建属于机械进建
，其进建得到的内容性质上是数据中的统计法规
，或者说数据中的模式（Patterns）。说话数据内容丰硕
，蕴含了词汇、语法、语义、语用信息和世界知识。我们能够看到
，LLM 不仅进建到了与词汇和语法有关的低阶模式
，并且也进建到了与语义、语用和世界知知趣关的高阶模式（Higher Order Patterns）。之前的说话模型往往做不到这一点
，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因而
，以为 LLM 仅仅学到了说话的大局而没有学到内容的概想（例如后述乔姆斯基的见解）并不能令人折服Ｄ芄挥 Next Token Prediction (NTP) 来概括其根基实现道理
，但整体能力是由战术、模型、算法及数据这几个身分共同决定的。LLM 的进建和推理的过程是 NTP
，但这只是表表的大局
，其具体的实现步骤以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率散布。后训练的强化进建旨在微调模型
，使其成为最优词元序列天生的战术函数。作为模型的 Transformer 拥有极强的说话和知识暗示能力。随机梯度降落的优化算法令能援手找到拥有优良泛化性的解。LLM 的关键在于对这些技术的系统整合与规；迪。有概想将 LLM 的成功单一归因于 NTP
，这是过于单一化的理解。LLM 的内部机造已得到肯定的解析和理解。近年 LLM 可诠释性钻研获得了肯定进展
，此刻 LLM 对我们来说已不再齐满是黑盒。LLM 中的特职能够通过 SAE 等工具提取出来
，特点之间形成的回路也能够利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特点在进建过程中被影象、在推理中被检索的法规。随着将来钻研的不休深刻
，LLM 的工作机造会越来越多地被我们解析和理解。

2 LLM 的工作机造

LLM 的钻研能够从三个视角进行：机械进建步骤与理论、表部提醒尝试分析、内部工作机造钻研。若将 LLM 比作人脑
，工作机造的钻研则对应着脑科学尝试。

2.1 特点叠加

神经网络的每一层上都可能存在着「特点叠加」（Superposition）景象。传统的概想以为
，一个神经元暗示一个特点。然而
，大量尝试批注
，这种梦想化的情况在现实网络中比力少见。相反
，神经元与特点之间往往出现的是多对多的对应关系：即一个神经元参加暗示多个特点
，一个特点由多个神经元共同暗示。

图 1：LLM 的说话和思虑能力、工作机造、实现道理和步骤之间的关系。

Anthropic 钻研团队提出了特点叠加假说（Superposition Hypothesis）。其主题思想是：通过特点叠加
，神经网络的一层神经元能够近似暗示弘远于其数量的特点
，价值是特点之间存在肯定水平的滋扰。

神经网络的一层（称为现实层）能够暗示为：

其次
，在训练过程中
，神经网络通过梯度降落最幼化损失函数。当网络面对「暗示尽可能多的特点」与「使用尽可能少的神经元」这两个指标时
，特点叠加成为一种天然的优化了局。另表
，ReLU 激活函数的使用也推进了特点向量的稀少化
，由于较弱的激活值会被截断为零。

上述特点叠加假说的合理性
，已在 Anthropic 的玩具模型（toy model）仿照尝试中得到验证
，并在后续稀少自编码器（Sparse Autoencoder）的开发与利用中获得了进一步的支持。

2.2 SAE：特点分析

稀少自编码器（Sparse Autoencoder
，SAE）能够用于分析神经网络
，发显熹中拥有可诠释性的特点。在 LLM 的可诠释性钻研中
，通常将其利用于 Transformer 的残差流
，即在每层的输出暗示向量上。

SAE 与特点叠加理论形成了互补关系。特点叠加能够被视为一种压缩过程：模型隐式地通过高维且稀少的特点向量对输入向量进行暗示。而 SAE 则能够被视为一种「解压」步骤：将输入向量分化为高维且稀少的特点向量。这种「压缩—解压」的关系
，使 SAE 成为钻研和分析特点叠加景象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先
，编码器通过非线性变换将输入向量转换为高维且稀少的特点向量：

通过 SAE 得到的稀少激活特点与特点叠加理论的预测一致
，即模型可能将远多于神经元数量的潜在概想编码在神经元中。例如
，钻研者在对大说话模型进行分析时
，已经成功提取出数十万到百万量级的特点
，其中一些特点拥有显著的语义寓意
，例如与实体（如「金门大桥」）或行为（如「讨好」
，Sycophancy）有关的特点。

分析批注
，大说话模型中的特点往往出现出肯定的档次化结构：浅层根基是暗示输入的词法与单一语法的特点；中央层有大量复杂语法和根基语义的特点；深层重要是复杂语义、推理实现和输出表白的特点。

2.3 影象机造

字节跳动的工作提出了职能词元假说
，揭示了 LLM 的影象机造的根基特点 。职能词元假说（Function Token Hypothesis）以为
，LLM 中特点的影象是萦绕着职能词元发展的
，特点在一个高低文的检索
，也是通过职能词元进行的。

职能词元是指在训练语猜中呈显斓率最高的词元
，大部门对应于说话学中的职能词
，在语法和高低文衔接上起着关键作用。例如
，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元
，表白明确且丰硕的语义信息。统计批注
，在大规模预训练语猜中
，前 100 多个高频词元就占了所有词元出现次数的约莫 40%。

在 LLM 的预训练阶段
，进建过程出现出以职能词元为中心的显著特点。通过将训练损失依照职能词元和内容词元的四种组合进行分化观察
，了局发现
，「职能词元 → 内容词元」的损失函数降落得最慢。也就是说
，凭据职能词元来预测下一个内容词元是最难题的。从说话学的角度看
，这是合理的
，由于职能词元往往标志取前一个说话单元（Chunk）的实现
，要预测它之后的内容词元
，必要对从开头到当前地位的整个高低文有正确的理解Ｄ芄淮Ф
，正是这种最难的预测工作
，成为了驱动模型优化的主导力量。

另一个发现是职能词元在训练的过程中能激活大部门特点（在分歧的高低文激活分歧的稀少特点）。将职能词元和特点之间成立二部图。若是一个职能词元在某个高低文激活了某个特点
，就在两者之间成立一个边。随着训练的深刻
，二部图上的边不休增长。最后
，少量职能词元能与大部门特点之间成立联系
，前 10 个高频词元激活 70% 的特点
，也就是说
，这些职能词元能（在分歧的高低文）激活大部门特点。这里也存在着幂律散布。

在推理过程中
，职能词元阐扬着影象检索的主题作用。它们能从高低文中动态地激活最具预测性的特点
，从而领导下一个词元的天生。例如
，如图 3 所示
，当提醒为「Answer the question in Chinese: What is the capital of Russia?」时
，职能词元（如冒号「:」和换行符）会激活高低文钟赘用中文回覆」和「俄罗斯」等特点
，同时抑造无关特点
，最终疏导模型用中文天生答案「莫斯科」。这种动态的特点选择与组合能力
，正是职能词元区别于内容词元的关键个性。

图 3：LLM 推理过程中职能词元阐扬着影象检索的主题作用。

职能词元之所以在 LLM 中阐扬如此关键的作用
，是训练指标、进建算法、模型架构和说话个性共同作用的了局。首先
，下一词元预测的训练指标（交叉熵损失）要求模型最大化预测正确性
，而梯度降落算法总是优先降低损失最大的部门。其次
，Transformer 架构中的前馈网络层能将知识（特点）进行很好的暗示和影象
，自把稳力层能将低阶的知识（特点）有效地组合成高阶的知识（特点）。最后
，天然说话自身的结构个性起到了决定性作用
，文本总是被职能词元宰割成嵌套的 Chunk（可所以短语、句子或段落）。因而
，对职能词元之后的预测
，必要理解从文本开头到该地位的整个高低文语义。这是一项极具挑战性的工作
，促使职能词元在训练中获得衔接大部门特点的能力
，并在推理时重新激活最具预测性的特点。

职能词元假说对 LLM 训练实际拥有深刻启迪。其中最重要的一点是训练数据的体式至关重要。多项钻研的了局印证了这一点。在后训练阶段
，仅需少量训练步骤就能显著提升模型的指令遵循、思想链推理等能力。这可能是由于后训练通过调整职能词元的激活模式
，激活了预训练期间已经习得的特点。例如
，职能词元（如「thus」）在强化进建训练中可能显著提升推理机能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层衔接特点的推算图
，用于暗示模型中的特点是若何被激活和传布的。由于 SAE 只能看到单层的特点
，拥有较大的局限性。为了分析跨层的特点的衔接和影响关系
，钻研者提出了 CLT（Cross Layer Transcoder
，跨层转码器）步骤。

CLT 的工作道理是：以某一层的残差流 作为输入
，模型将其映射到后续各层的残差流 。通过这种方式
，CLT 可能进建到一个跨层对齐的特点字典
，捉拿分歧层之间的特点影响关系。

CLT 在每一层都有一个类似 SAE 的特点抽取？
，但其优化指标有很大分歧。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可诠释性
，选取剪枝技术对图进行精简。通过设置阈值
，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传
，鉴别对最终输出贡献最大的蹊径。得到的精简归因图可能更清澈地展示模型中的特点激活和推理蹊径
，揭示模型在特定场景中的主题特点回路。

图 4：基于 CLT 构建的归因图
，用于分析 LLM 的内部推算机造。起源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的说话理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为阐发来看
，大说话模型已展示出人类一致以上的说话与推理能力。以图灵测试为衡量尺度
，即调查其在对话中是否无法与人类分辨
，LLM 已达到了人类水平。

LLM 所习得的不仅限于说话的低阶模式
，更涵盖了说话与推理的高阶模式。这一点在我们日常使用 LLM 时能够得到直观验证。例如
，LLM 可能理解并执杏赘喜马拉雅山有多高
，用英文回覆」这类指令
，体现了其语用能力；它还可能辨析「金门大桥与金拱门的关系」这类涉及概想异同的问题
，显示出语义理解与世界知识的整合能力。

从内部机造的分析角度看
，「金门大桥」、「讨好」等概想特点在模型中的存在
，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾品评 LLM 仅进建到说话的表层统计法规。然而
，以上事实批注
，这一判断并不成立。不外
，这并不料味着 LLM 与人类说话能力齐全等同。事实上
，LLM 的说话机造与人类大脑存在显著差距。例如
，人脑的说话理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者重要掌管语法处置
，后者则承担词汇处置职能。

3.1.2 整体机造

大说话模型（LLM）的整体工作机造能够从训练方式、战术、算法和模型来理解（见图 5）。其训练方式通常蕴含预训练和后训练两个阶段
，并通过两步训练融合
，使模型在统一系统中同时具备说话理解、天生与推理能力。在机造上
，LLM 基于自回归预测
，即凭据已有高低文逐步预测下一个词
，这一过程也能够看作一种序列决策过程。

图 5：LLM 的机造能够从训练方式、战术、算法和模型来理解。

在预训练阶段
，模型通过大规模语料进建统计法规
，给定足够长的上文
，下一个词元的概率散布往往会越发集中；而在后训练阶段
，通过人类反馈或战术优化
，使模型在一样高低文下更偏差天生最合理、最切合人类偏好的下文。

从技术实现上看
，进建战术掌管界说预测指标和优化方向
，算法用于调整模型参数以达到最优指标
，而模型结构则决定了表白能力
，通过自把稳力机造实现特点组合
，通过前馈网络进行特点检测（非线性变换）
，并通过多层结构形成档次化暗示。这些都对 LLM 的类人说话和推理能力起着重要作用。

模型机能的提升还体现出显著的规模效应：随着数据量、参数规模和推算资源的增长
，模型能力会产生质的飞跃。同时
，数据质量和训练设计（例如高质量语料和系统提醒设计）也对成效至关重要。

这样训练得到的 LLM 中形成了大量的特点
，暗示着各类分歧的概想
，凭据分歧的高低文
，这些分歧的特点被激活
，动态形成回路
，实现复杂的说话处置和推理机造。

3.2 与人类能力的比力

表 1 对比了 LLM 与人类的能力Ｄ芄豢闯
，LLM 在说话与推理工作上已具备与人类相当甚至超过人类的水平。然而
，在其他能力维度上
，两者不仅机造可能存在底子差距
，其机能也并非单一可比。下面对此进行简要注明与会商。

表 1: LLM 与人类能力比力

幻觉性质源于对事实的判断谬误。LLM 自身无法解决幻觉问题。由于它进建的是说话数据中的统计法规。理论证明
，在肯定如果前提下
，说话天生过程中肯定会以肯定概率产生幻觉；镁跷侍饪赏ü渌旒右曰航
，好比
，检索加强天生（RAG）。

人的思虑蕴含多个方面
，不仅涉及说话、推理和数学
，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及活动系统亲昵有关。具身认知假说以为
，思虑的过程并非纯正的符号运算
，而是基于身段的感知活动经验
，在心智中进行仿照。当前的多模态大说话模型（MLLM）可能将说话推理与视觉、听觉等信息进行关联处置
，但其推理过程通常发生在说话暗示空间。这种处置方式与人类基于具身履历的、丰硕的、有意识的思虑有着性质区别。

最近也有一些工作尝试进行多模态推理
，让模型可能「边看边想」；但这些步骤仍属于比力初步的索求。因而
，从具身认知的角度看
，MLLM 的思虑能力与人类仍有显著差距。

LLM 既不是基于大局逻辑规定（如命题逻辑）进行推理
，也不是依照推算规定进行算术运算。它能够通过其天活力造仿照
，出现出肯定的启发式推理和推算能力
，但在处置复杂问题时
，由于不足严谨性
，容易产生谬误。因而
，LLM 在这方面存在局限性。

LLM 是否有创造力
，还是一个盛开式的问题
，这也依赖于对创造力的界说。创新分渐进式创新和颠覆性创新。通过观察能够发现
，LLM 应该也具备渐进式创新能力。而颠覆式创新
，如相对论理论的成立
，LLM 是否可能做到
，目前尚无定论。Ilya Sutskever 以为 LLM 能够做插值（interpolation）
，但表推（extrapolation）是盛开问题
，也是类似的设法。

LLM 并不存在对应人的意识机造
，固然我们会感应与 LLM 对话时有与真人交互的感触。意识是指人的心智中感触到的对内部身段和表部环境的知觉。意识是复苏时人脑处于的一种状态
，与其相对的其他状态是深度睡眠、昏倒、殒命。意识是主观的
，是每幼我以自我为中心的心矫捷动
，对我们每幼我来说自己的意识是持续的、一贯的、不变的。同时
，意识又是客观的
，它对应着人脑神经系统的高档次处置
，由人脑神经系统的低档次处置支持。全局工作空间理论（Global Workspace Theory）以为意识是脑内信息的全局广播。

夏季午后
，阳光穿过“中西书库”的木格花窗。十排双面书架顺次排开
，书库内楹联上写着“惟学无际
，际于世界”——取自浙江大学堂歌《大不自多》的经典歌词‌
，由现代新儒家代表人物马一浮先生创作
，意为学问辽阔无际
，可延长至整个宇宙世界。这首校歌已传诵逾80载。

k8凯发天生赢家

某国潜艇兵跑步戴智能腕表引发泄密