近日官方颁布重大钻研汇报男子刷新闻起疑查出3个孩子非亲生 很欣喜为您解答这个问题，让我来助您具体注明一下。品牌授权报建电话，急剧上门服务

西藏阿里地域日土县北辰区广源街路山西省忻州市宁武县广东省山南市陕西省商洛市山阳县福建省达州市建瓯市元氏县苏村乡焦作市定西市田林县黑龙江省大兴安岭地域呼玛县赞皇县院头镇四川省成都市双流区辽宁省锦州市义县平顶山市卫东区河西区桃园街路山西省长治市襄垣县辽宁省辽阳市白塔区江苏省周口市启东市西藏山南市云南省文山壮族苗族自治州广南县岳阳市庐阳区湖北省宜昌市秭归县山东省平顶山市青海省海西蒙古族藏族自治州德令哈市陕西省宝鸡市眉县辽宁省沈阳市沈河区桥西区东华街路密云区不老屯镇常德市南陵县贵州省安顺市普定县云南省怒江傈僳族自治州福贡县郴州市博望区青海省海南藏族自治州贵德县山西省朔州市山阴县山西省乌海市平定县平山县岗南镇湖北省孝感市汉川市西藏阿里地域日土县湖北省襄阳市襄州区丰台区宛平城地域和田地域云南省红河哈尼族彝族自治州绿春县元氏县苏村乡西藏拉萨市达孜区辽宁省铁岭市开原市甘肃省甘南藏族自治州山西省晋中市灵石县喀什地域麦盖提县巴音郭楞蒙古自治州和硕县山东省通辽市城阳区贵州省铜仁市玉屏侗族自治县向阳区豆各庄地域内蒙古鄂尔多斯市鄂托克旗焦作市中站区密云区河南寨镇四川省凉山彝族自治州甘洛县绵阳市利辛县四川省宜宾市翠屏区山西省临汾市安泽县南开区体育中心街路濮阳市南乐县南开区体育中心街路湖北省宜昌市秭归县云南省文山壮族苗族自治州广南县福建省达州市山东省乌兰察布市龙口市广东省丽江市江西省昆明市永新县门头沟区大峪街路陕西省商洛市山阳县山西省吕梁市中阳县顺义区空港街路北辰区密云区古北口宜昌西省昆明市永新县平顶山市湛河区岳阳市瑶海区福建省广安市龙海市广东省临沧市南澳县福建省广安市龙海市四川省宜宾市珙县山西省长治市襄垣县四川省广安市岳池县广东省山南市怀柔区宝山宜昌苏省南阳市江苏省宜昌市句容市向阳区管庄地域内蒙古呼伦贝尔市阿荣旗山西省临汾市安泽县四川省甘孜藏族自治州泸定县元氏县殷村镇黑龙江省鸡西市鸡冠区怀柔区宝山镇辽宁省本溪市溪湖区博尔塔拉蒙古自治州温泉县向阳区幼关街路甘肃省庆阳市镇原县福建省南充市城厢区四川省乐山市

昨日官方披露行业最新成就还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速，很欣喜为您解答这个问题，让我来助您具体注明一下:官方服务专线，支持多品牌报建

辽宁省沈阳市海南省固原市西沙区丰台区和义街路广东省昭通市越秀区四川省凉山彝族自治州甘洛县焦作市沁阳市行唐县龙州镇河东区东新街路白银市秀峰区黑龙江省鸡西市鸡冠区湖北省恩施土家族苗族自治州恩施市喀什地域叶城县怀柔区龙山街路贵州省黔南布依族苗族自治州惠水县山西省晋中市榆社县河东区东新街路黑龙江省佳木斯市富锦市内蒙古鄂尔多斯市鄂托克旗山东省郑州市青州市大兴区云南省红河哈尼族彝族自治州泸西县山西省晋城市高平市岳阳市瑶海区陕西省宝鸡市千阳县四川省甘孜藏族自治州广东省临沧市南澳县西青区精武镇元氏县殷村宜昌苏省南阳市新沂市赞皇县院头宜昌苏省信阳市相城区向阳区幼关街路甘肃省兰州市山东省通辽市城阳区平顶山市湛河区上海市市辖区嘉定区广东省临沧市南澳县张家界市蚌山区银川市宁明县江苏省周口市启东市辽宁省铁岭市清河区吉林省白山市浑江区青海省海北藏族自治州门源回族自治县武威市海城区河东区大直沽街路平顶山市卫东区辽宁省本溪市溪湖区内蒙古乌海市乌达区长安区南村宜昌西省曲靖市宜丰县山西省晋城市泽州县武清区汊沽港镇甘肃省白银市景泰县湖北省恩施土家族苗族自治州恩施市蓟州区官庄镇博尔塔拉蒙古自治州温泉县河东区东新街路平山县幼觉镇新乐市协神乡山东省焦作市茌平区延庆区沈家营镇辽宁省沈阳市浑南区江苏省驻马店市赣榆区广东省昭通市越秀区山东省洛阳市东平县桥西区东华街路青海省玉树藏族自治州治多县黑龙江省佳木斯市汤原县平山县东回舍镇内蒙古鄂尔多斯市康巴什区白银市兴安县向阳区幼关街路蓟州区东赵各庄镇山东省新乡市齐河县广东省山南市丰台区和义街路陕西省宝鸡市眉县江苏省南阳市新沂市许昌市建安区顺义区空港街路伊犁哈萨克自治州昭苏县江西省遵义市武宁县四川省凉山彝族自治州昭觉县四川省凉山彝族自治州西昌市无极县大陈镇四川省成都市双流区信阳市平桥区陕西省西安市未央区张家界市蚌山区山西省晋城市高平市平山县上观音堂乡福建省南充市升天县赵县沙河店镇四川省甘孜藏族自治州井陉县吴家窑乡陕西省汉中市留坝县怀柔区宝山镇广东省西安市龙门县海南省？谑忻览记蜓羟垢髯赜

全球服务区域:福建省达州市辽宁省沈阳市沈河区平顶山市湛河区广东省西安市龙门县青秀区重庆市县巫山县开封市通许县江西省遵义市武宁县山东省乌兰察布市龙口市河东区东新街路湖北省宜昌市西陵区常德市南陵县陕西省汉中市留坝县信阳市平桥区青海省果洛藏族自治州吉林省长春市双阳区开封市通许县贵州省铜仁市玉屏侗族自治县昌平区回龙观街路向阳区管庄地域井陉县测鱼镇湖北省宜昌市西陵区云南省大理白族自治州云龙县陕西省商洛市山阳县江西省贵阳市昌江区甘肃省甘南藏族自治州西藏拉萨市达孜区云南省大理白族自治州云龙县四川省泸州市江阳区广东省兰州市新兴县四川省甘孜藏族自治州山东省郑州市青州市海南省中卫市甘肃省甘南藏族自治州黑龙江省绥化市明水县西藏山南市贡嘎县山东省通辽市城阳区广东省昭通市越秀区平山县岗南镇青秀区内蒙古鄂尔多斯市康巴什区和平区南市街路怀柔区龙山街路贵州省铜仁市玉屏侗族自治县广东省昭通市越秀区四川省宜宾市翠屏区行唐县龙州宜昌苏省周口市启东市西城区天桥街路福建省乐山市湖里区江西省贵阳市昌江区辽宁省本溪市溪湖区焦作市中站区广东省兰州市新兴县新乐市协神乡广东省山南市丰台区和义街路北辰区广源街路静海区大邱庄宜昌西省昆明市永新县贵州省黔南布依族苗族自治州惠水县西城区天桥街路云南省怒江傈僳族自治州福贡县西乡塘区福建省达州市内蒙古呼伦贝尔市阿荣旗福建省乐山市海沧区山东省焦作市冠县武清区汊沽港镇四川省宜宾市翠屏区青秀区静海区西翟庄镇密云区河南寨镇北辰区广源街路辽宁省锦州市义县山西省晋中市榆社县张家界市龙子湖区向阳区豆各庄地域辽宁省大连市旅顺口区鹿泉区白鹿泉乡甘肃省白银市景泰县山东省鄂尔多斯市临淄区平山县东回舍镇平山县幼觉镇无极县大陈镇四川省甘孜藏族自治州九龙县和平区南市街路井陉县测鱼镇四川省凉山彝族自治州甘洛县广东省丽江市蓟州区官庄镇海南省？谑忻览记厍焓惺邢角表涨逖羰腥暄粝乜κ驳赜蛞冻窍匚鞑乩写镒吻拇ㄊ±稚绞薪帐∧涎羰行乱适兴拇ㄊ〕啥际兴髑佣笾惫两致

今日官方披露行业钻研成就还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速，很欣喜为您解答这个问题，让我来助您具体注明一下:售后服务维建中心电话，支持多渠路服务

全国服务区域：武威市海城区山西省吕梁市岚县四川省德阳市广汉市山东省呼伦贝尔市台儿庄区福建省乐山市海沧区江苏省漯河市浦口区山东省平顶山市平顶山市卫东区伊犁哈萨克自治州昭苏县福建省达州市建瓯市银川市宁明县四川省甘孜藏族自治州泸定县焦作市沁阳市喀什地域麦盖提县许昌市建安区黑龙江省七台河市桃山区南开区体育中心街路桥西区苑东街路静海区大邱庄镇向阳区幼红门地域江西省贵阳市昌江区平山县幼觉镇四川省甘孜藏族自治州海淀区青龙桥街路白银市兴安县延庆区沈家营镇福建省达州市内蒙古乌海市乌达区陕西省汉中市南郑区山西省晋城市高平市蓟州区东赵各庄镇黑龙江省七台河市桃山区青海省玉树藏族自治州治多县内蒙古锡林郭勒盟镶黄旗吉林省白山市浑江区四川省甘孜藏族自治州丹巴县和平区南市街路四川省甘孜藏族自治州福建省广安市龙海市喀什地域麦盖提县福建省乐山市海沧区云南省玉溪市新平彝族傣族自治县陕西省宝鸡市千阳县定西市田林县四川省成都市新都区白银市秀峰区辽宁省辽阳市白塔区山东省平顶山市江西省贵阳市昌江区蓟州区东施古镇陕西省汉中市留坝县山东省濮阳市青海省海南藏族自治州贵德县平山县岗南镇西乡塘区青海省海西蒙古族藏族自治州德令哈市广东省临沧市南澳县福建省乐山市湖里区福建省南充市城厢区青海省海北藏族自治州门源回族自治县郴州市博望区福建省乐山市湖里区西藏山南市内蒙古锡林郭勒盟镶黄旗四川省成都市金牛区青海省玉树藏族自治州治多县常德市南陵县福建省广安市龙海市云南省文山壮族苗族自治州广南县信阳市平桥区和平区南市街路阿克苏地域新和县黑龙江省伊春市金林区云南省文山壮族苗族自治州广南县昌平区延寿镇山西省朔州市山阴县辽宁省大连市旅顺口区辽宁省沈阳市福建省广安市龙海市西藏阿里地域日土县西乡塘区丰台区长辛店镇哈密市伊吾县桥西区东华街路西城区天桥街路山西省晋中市榆社县山东省洛阳市东平县甘肃省甘南藏族自治州黑龙江省大兴安岭地域呼玛县定西市靖西市塔城地域和布克赛尔蒙古自治县福建省眉山市梅列区山西省晋城市高平市四川省泸州市江阳区喀什地域麦盖提县绵阳市利辛县湖北省宜昌市夷陵区白银市兴安县四川省凉山彝族自治州昭觉县定西市靖西市

售后服务上门服务电话，智能分配单据：还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机械之心编纂部

5 月 22 日，Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写路：「经过一些数学重写，了局发现 Transformer 的所有内容都是一系列 GEMM + epilogue（矩阵乘法加尾声）。给定一些优化的原语，LLM（以及新手）就可以为所有 Transformer 操作编写光速内核！」

Tri Dao 是 FlashAttention 系列的主题作者之一，而这条推文则指向了他们当天颁布的一篇论文：CODA

论文标题：CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址：https://arxiv.org/abs/2605.19269代码地址：https://github.com/HanGuo97/coda-kernels

这个名字，读起来像「终曲」，想起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的钻研者，试图用一套新的编程抽象，把 Transformer 训练里那些鲜少被人关注、却持续亏损功夫的「散碎推算」，系统性地消化掉。

布景：训练大模型的「吐妨税」

要理解 CODA 在解决什么问题，先要领略大模型训练的功夫都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型，大部门人会直觉地以为：功夫都花在矩阵乘法和把稳力推算上，终于那才是「真正的推算」。这个直觉大体上没错：矩阵乘法（GEMM）和把稳力的确占据了重要算力

但若是你打开机能分析器仔细看，会发现还有一批「幼算子」在安静地亏损着功夫：归一化（RMSNorm）、激活函数（SwiGLU、RoPE）、残差加法、跨层规约……它们单个推算量不大，却频仍地把大型中央张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」：好比一个厨艺绝顶的厨师，但每做一路菜都要把食材从远处的仓库搬来、用完再送回去，而不是放在手边的台面上。厨师的手速再快，期待搬运的功夫也是真实的浪费。

更糟糕的是，随着英伟达的 FP8、FP4 等低精度体式让矩阵推算越来越快，这些「搬运」操作的相对成本反而在上升：矩阵乘法加快了，但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观：在 H100 上用 TorchTitan 训练 1B 参数模型时，非矩阵乘法操作占据了相当一部门的端到端运行功夫，且随着 FP8 精度的引入，这一比例还会进一步凸显。

现有的编程框架对此险些力所不及。PyTorch 把 Transformer 的推算表白成一串算子序列，算子之间有清澈的天堑。这种天堑对于自动微分（autograd）极度敦睦，却刚好阻止了跨算子的融合优化：每一个算子天堑，往往就是一次不用要的显存写回。

CODA：「尾声」里藏着宝藏

CODA 的启程点是一个朴素的观察。

在 GPU 上，一个高机能的矩阵乘法（GEMM）内核在结构上分为两个部门：主循环（mainloop）掌管主题的矩阵分块乘加推算，尾声（epilogue）掌管在了局写回显存之前做一些扫尾处置，好比加偏置、类型转换、单一缩放。

尾声存在的意思，在于此时矩阵乘法的输出还「活在」片上寄放器里，还没有落地到全局显存。这是一个短暂的黄金窗口：若是能在这个时刻多做一些推算，就能够齐全省掉一次显存写入再读出的往返。

CODA 的主题洞察是：Transformer 里那些内存密集型操作，其实好多能够被代数地重新参数化，塞进这个「尾声」窗口里执行。

这必要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例：一个矩阵乘法的了局，经过残差加法、RMS 归一化，而后再做另一个矩阵乘法。传统做法是三个独立算子串行执行，中央了局两次落地显存。

CODA 团队发现，RMS 归一化中的行缩放因子 r，由于是每行共享的标量，它和后面的矩阵乘法满足互换律：能够把 r 的利用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后，第一个 GEMM 的尾声只必要推算部门的「分块均方根」（partial RMS），由一个极轻量的辅助规约内核归并，而齐全的 RMSNorm 推算隐没了。

类似的重新参数化，对 SwiGLU、RoPE（旋转地位编码）、交叉熵损失等操作同样合用，甚至对反向传布也成立。论文中有一个定理证明：只有前向尾声是「分块部门」的，反向传布就自动继承一样的结构。具体请接见原论文查看。

五种「积木」和一套「乐高说话」

CODA 不是一个具体的融合内核，而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环，而后在尾声地位露出五类可组合的根基原语：

逐元素变换（residual 加法、激活函数、RoPE）向量加载与存储（广播 RMSNorm 权重）矩阵分块加载与存储（保留中央激活供反向传布使用）分块规约（部门均方根、分块 log-sum-exp）有状态变换（在线归一化所需的 max 和 sum-exp 统计）

用这五类积木，一个尺度 Transformer 的前向和反向传布钟注除把稳力之表的险些全数操作都能够被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在尝试中评估了两种实现模式：一种是人为法式员撰写，另一种是用 Claude Code 来天生 —— 给定 CODA 的原语注明、若干示例和实现日志，由 AI 实现大部门内核代码，人为轻度监督。

两种模式的机能阐发均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就能够编写光速内核」，这正是论文尝试了局在现实层面的映射。

尝试了局

CODA 的基准测试选择的是较为刻薄的敌手：cuBLAS 加上 torch.compile，以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现：CODA (LLM)由 Claude Code 天生，钻研者提供原语注明、若干示例和一份持续更新的实现技巧日志，AI 实现主体代码，人为做轻度监督；CODA (Human)由人为法式员独立编写，使用同样的高层重参数化思路，但不依赖 CODA 原语集自身。两组了局都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 蹬着化库进行对比。

在单算子层面，以 GEMM-RMSNorm-GEMM 这一典型模式为例，CODA 在对应 1B、7B、70B 三个模型规模的暗藏维度下均实现了对 cuBLAS + PyTorch 基线的超过。SwiGLU、RoPE、交叉熵等尾声组合也有类似阐发。

LLM 天生的内核在大无数基准上与人为手写版本不相高低，个别配置下甚至略有超过。这在 GPU 内核优化这个从来门槛极高的领域，是一个颇为罕见的结论。

反向传布的收益尤为凸起：GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加快幅度可达 1.6 至 1.8 倍，SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上，LLM 与人为实现的差距同样微幼。这并不奇怪：反向传布天然涉及更多中央张量的存取，尾声融合的收益就更大；而 CODA 的原语设计足够清澈，使得 AI 模型可能正确地实现组合。

在齐全 Transformer 层的端到端基准中，CODA 的前向加快在分歧规模下约为 5% 至 20%，在较大模型尺寸（对应 70B 规模的暗藏维度）下成效更为显著。

数值精度方面，CODA 的重参数化调整了 RMSNorm 缩放因子的利用机遇，但尝试批注其数值误差与 PyTorch 参考实现相当，在某些配置下误差甚至更幼 —— 得益于 GEMM 主循环自身拥有更高精度的累加器。

CODA 能做什么：一张速查单

在进入更大的视角之前，先把 CODA 的能力边界说明显。

覆盖领域：尺度 Transformer（如 LLaMA 架构）的前向和反向传布中，除把稳力和词嵌入之表的险些全数推算，蕴含 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转地位编码、交叉熵损失，以及上述操作的反向梯度推算。加快成效：在对应 1B 至 70B 规模的暗藏维度下，单算子层面相比 cuBLAS + torch.compile 基线有分歧水平的提升，其中反向传布收益最为显著（部门内核可达 1.6 倍以上）；齐全 Transformer 层的端到端前向加快约为 5% 至 20%，在较大模型尺寸下成效更凸起。谁能用：CODA 基于 CuTeDSL（NVIDIA CUTLASS 的 Python DSL）实现，支持人为法式员和 AI 模型两种内核编写方式，且两种方式均能达到高机能。当前限度：目前仅支持单 GPU 场景，不涉及散布式训练；重参数化重要针对尺度 Transformer 架构，其他架构的合用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现：在 GPU 上，真正的优化空间往往不在「算什么」，而在「怎么搬」。

FlashAttention 让把稳力推算「住进」了片上内存，CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自界说内核的门槛，ThunderKittens、TileLang 等进一步在分歧档次上索求这一空间。这些工作共同指向统一个方向：把 PyTorch 算子图的表白方便性，与靠近手写 CUDA 的执行效能，真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味：「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑：当编程抽象设计得足够好，AI 模型自身就能够参加到自身训练基础设施的优化中。这个循环，才是 CODA 最耐人寻味的处所。

从这个角度看，「CODA」这个名字或许还有深意。在古典音乐中，Coda 是乐曲末尾收束全篇的段落。在这里，它是 GEMM 内核的「尾声」—— 而写好这段尾声，或许正是 Transformer 训练系统效能提升的下一个重要章节。

今日行业协会披露新政策动向还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机械之心编纂部

5 月 22 日，Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写路：「经过一些数学重写，了局发现 Transformer 的所有内容都是一系列 GEMM + epilogue（矩阵乘法加尾声）。给定一些优化的原语，LLM（以及新手）就可以为所有 Transformer 操作编写光速内核！」

Tri Dao 是 FlashAttention 系列的主题作者之一，而这条推文则指向了他们当天颁布的一篇论文：CODA

论文标题：CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址：https://arxiv.org/abs/2605.19269代码地址：https://github.com/HanGuo97/coda-kernels

这个名字，读起来像「终曲」，想起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的钻研者，试图用一套新的编程抽象，把 Transformer 训练里那些鲜少被人关注、却持续亏损功夫的「散碎推算」，系统性地消化掉。

布景：训练大模型的「吐妨税」

要理解 CODA 在解决什么问题，先要领略大模型训练的功夫都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型，大部门人会直觉地以为：功夫都花在矩阵乘法和把稳力推算上，终于那才是「真正的推算」。这个直觉大体上没错：矩阵乘法（GEMM）和把稳力的确占据了重要算力

但若是你打开机能分析器仔细看，会发现还有一批「幼算子」在安静地亏损着功夫：归一化（RMSNorm）、激活函数（SwiGLU、RoPE）、残差加法、跨层规约……它们单个推算量不大，却频仍地把大型中央张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」：好比一个厨艺绝顶的厨师，但每做一路菜都要把食材从远处的仓库搬来、用完再送回去，而不是放在手边的台面上。厨师的手速再快，期待搬运的功夫也是真实的浪费。

更糟糕的是，随着英伟达的 FP8、FP4 等低精度体式让矩阵推算越来越快，这些「搬运」操作的相对成本反而在上升：矩阵乘法加快了，但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观：在 H100 上用 TorchTitan 训练 1B 参数模型时，非矩阵乘法操作占据了相当一部门的端到端运行功夫，且随着 FP8 精度的引入，这一比例还会进一步凸显。

现有的编程框架对此险些力所不及。PyTorch 把 Transformer 的推算表白成一串算子序列，算子之间有清澈的天堑。这种天堑对于自动微分（autograd）极度敦睦，却刚好阻止了跨算子的融合优化：每一个算子天堑，往往就是一次不用要的显存写回。

CODA：「尾声」里藏着宝藏

CODA 的启程点是一个朴素的观察。

在 GPU 上，一个高机能的矩阵乘法（GEMM）内核在结构上分为两个部门：主循环（mainloop）掌管主题的矩阵分块乘加推算，尾声（epilogue）掌管在了局写回显存之前做一些扫尾处置，好比加偏置、类型转换、单一缩放。

尾声存在的意思，在于此时矩阵乘法的输出还「活在」片上寄放器里，还没有落地到全局显存。这是一个短暂的黄金窗口：若是能在这个时刻多做一些推算，就能够齐全省掉一次显存写入再读出的往返。

CODA 的主题洞察是：Transformer 里那些内存密集型操作，其实好多能够被代数地重新参数化，塞进这个「尾声」窗口里执行。

这必要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例：一个矩阵乘法的了局，经过残差加法、RMS 归一化，而后再做另一个矩阵乘法。传统做法是三个独立算子串行执行，中央了局两次落地显存。

CODA 团队发现，RMS 归一化中的行缩放因子 r，由于是每行共享的标量，它和后面的矩阵乘法满足互换律：能够把 r 的利用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后，第一个 GEMM 的尾声只必要推算部门的「分块均方根」（partial RMS），由一个极轻量的辅助规约内核归并，而齐全的 RMSNorm 推算隐没了。

类似的重新参数化，对 SwiGLU、RoPE（旋转地位编码）、交叉熵损失等操作同样合用，甚至对反向传布也成立。论文中有一个定理证明：只有前向尾声是「分块部门」的，反向传布就自动继承一样的结构。具体请接见原论文查看。

五种「积木」和一套「乐高说话」

CODA 不是一个具体的融合内核，而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环，而后在尾声地位露出五类可组合的根基原语：

逐元素变换（residual 加法、激活函数、RoPE）向量加载与存储（广播 RMSNorm 权重）矩阵分块加载与存储（保留中央激活供反向传布使用）分块规约（部门均方根、分块 log-sum-exp）有状态变换（在线归一化所需的 max 和 sum-exp 统计）

用这五类积木，一个尺度 Transformer 的前向和反向传布钟注除把稳力之表的险些全数操作都能够被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在尝试中评估了两种实现模式：一种是人为法式员撰写，另一种是用 Claude Code 来天生 —— 给定 CODA 的原语注明、若干示例和实现日志，由 AI 实现大部门内核代码，人为轻度监督。

两种模式的机能阐发均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就能够编写光速内核」，这正是论文尝试了局在现实层面的映射。

尝试了局

CODA 的基准测试选择的是较为刻薄的敌手：cuBLAS 加上 torch.compile，以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现：CODA (LLM)由 Claude Code 天生，钻研者提供原语注明、若干示例和一份持续更新的实现技巧日志，AI 实现主体代码，人为做轻度监督；CODA (Human)由人为法式员独立编写，使用同样的高层重参数化思路，但不依赖 CODA 原语集自身。两组了局都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 蹬着化库进行对比。

在单算子层面，以 GEMM-RMSNorm-GEMM 这一典型模式为例，CODA 在对应 1B、7B、70B 三个模型规模的暗藏维度下均实现了对 cuBLAS + PyTorch 基线的超过。SwiGLU、RoPE、交叉熵等尾声组合也有类似阐发。

LLM 天生的内核在大无数基准上与人为手写版本不相高低，个别配置下甚至略有超过。这在 GPU 内核优化这个从来门槛极高的领域，是一个颇为罕见的结论。

反向传布的收益尤为凸起：GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加快幅度可达 1.6 至 1.8 倍，SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上，LLM 与人为实现的差距同样微幼。这并不奇怪：反向传布天然涉及更多中央张量的存取，尾声融合的收益就更大；而 CODA 的原语设计足够清澈，使得 AI 模型可能正确地实现组合。

在齐全 Transformer 层的端到端基准中，CODA 的前向加快在分歧规模下约为 5% 至 20%，在较大模型尺寸（对应 70B 规模的暗藏维度）下成效更为显著。

数值精度方面，CODA 的重参数化调整了 RMSNorm 缩放因子的利用机遇，但尝试批注其数值误差与 PyTorch 参考实现相当，在某些配置下误差甚至更幼 —— 得益于 GEMM 主循环自身拥有更高精度的累加器。

CODA 能做什么：一张速查单

在进入更大的视角之前，先把 CODA 的能力边界说明显。

覆盖领域：尺度 Transformer（如 LLaMA 架构）的前向和反向传布中，除把稳力和词嵌入之表的险些全数推算，蕴含 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转地位编码、交叉熵损失，以及上述操作的反向梯度推算。加快成效：在对应 1B 至 70B 规模的暗藏维度下，单算子层面相比 cuBLAS + torch.compile 基线有分歧水平的提升，其中反向传布收益最为显著（部门内核可达 1.6 倍以上）；齐全 Transformer 层的端到端前向加快约为 5% 至 20%，在较大模型尺寸下成效更凸起。谁能用：CODA 基于 CuTeDSL（NVIDIA CUTLASS 的 Python DSL）实现，支持人为法式员和 AI 模型两种内核编写方式，且两种方式均能达到高机能。当前限度：目前仅支持单 GPU 场景，不涉及散布式训练；重参数化重要针对尺度 Transformer 架构，其他架构的合用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现：在 GPU 上，真正的优化空间往往不在「算什么」，而在「怎么搬」。

FlashAttention 让把稳力推算「住进」了片上内存，CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自界说内核的门槛，ThunderKittens、TileLang 等进一步在分歧档次上索求这一空间。这些工作共同指向统一个方向：把 PyTorch 算子图的表白方便性，与靠近手写 CUDA 的执行效能，真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味：「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑：当编程抽象设计得足够好，AI 模型自身就能够参加到自身训练基础设施的优化中。这个循环，才是 CODA 最耐人寻味的处所。

从这个角度看，「CODA」这个名字或许还有深意。在古典音乐中，Coda 是乐曲末尾收束全篇的段落。在这里，它是 GEMM 内核的「尾声」—— 而写好这段尾声，或许正是 Transformer 训练系统效能提升的下一个重要章节。

武契奇滑稽回顾中国网友在异国街头暖心相认瞬间

k8凯发天生赢家

男子刷新闻起疑查出3个孩子非亲生