机械之心编纂部

DeepSeek 钻研员陈德里（Deli Chen）和 AI 合作的第二篇论文来了！

论文地址：https://victorchen96.github.io/continual_learning_survey.pdf

这篇论文聚焦continual learning（持续进建） 与 self-iteration（自我迭代）。在陈德里看来，这是 AI 迈向 AGI 过程中极为关键的一步

由于 arXiv 不允许将 AI 列为作者，陈德里这次只能把现实承担了论文 99% 工作量的 DeepSeek-V4-Pro （掌管文字）和 GPT-Image-2（掌管图像），从作者栏移至脚注注明。

在这篇论文里，陈德里的判断是，将来的 AI 系统不会持久停顿在一组冻结参数的状态，而会逐步演变为可能持续进建、自我更新、自我迭代的系统

这背后的逻辑也很直接：高低文治理和文档化影象，的确能够在肯定水平上援手模型维持把稳力、保留工作经验。但把稳力窗口终于会被填满，到了那个时辰，就必要把知识和经验参数化，以降低认知职守。

值妥贴心的是，这不只是一次论文主题上的延长，也是陈德里搭建的自主科研智能体框架 DeliAutoResearch SKILL自身的一次迭代尝试。

起源：https://x.com/victor207755822/status/2060315686329778432

据陈德里介绍，这一轮仿照同业评审分数达到了 8 分，相比上一篇论文的 6 分有显著提升。更重要的是，在这篇论文的天生过程中，模型初次尝试挪用更高级的说话模型，自主设计并运行尝试，这也是此前版本尚不具备的能力。

更能体现系统变动的，是论文中披露的出产数据对比。陈德里在第二张图中对比了两篇论文的天生过程：从第一篇到第二篇：随着 SKILL 自身不休迭代，交互轮数大幅降落，而总 token 亏损显著上升，这反而是一个极度好的信号！它注明SKILL 在向更高自主性转变

换句话说，人为染指变少了，系统自己想和做的部门变多了。对一个自动科研工作流来说，这刚好是走向更高自主性的信号。

陈德里暗示十吩熠待在不久的将来，DeliAutoResearch SKILL 可能真正产出大家级的学术写作。

不外，他也坦言，在阅读论文的一些关键部门后，仍能看到不少提升空间。

若是齐全由自己亲自撰写，论文质量或许会更高，但产出速度也会大幅降落。由于当前的主题指标并不是打磨单篇论文，而是持续迭代 DeliAutoResearch SKILL 自身，因而他选择保留这篇论文中略显粗糙的部门，将其作为系统持续进化的反馈样本。

下面，我们来看一看，这篇论文讲了什么。

为什么要统一持续进建和自我改进？

论文提到，在传统的钻研中，持续进建和自我改进往往被当作两个分歧钻研方向，但它们面对的是统一个底层问题：模型若何在接管新信息或新指标之后更新自己，同时不粉碎已经把握的能力？

持续进建关注的是模型若何挨次适应新的工作或数据；自我改进关注的是模型若何自主加强能力。但两者的技术难点高度类似：都要在散布变动下不变优化，都要保留已有表征，都要处置索求与利用之间的衡量，也都要在没有固定测试集的情况下评估进取。

因而，作者以为，下一代 LLM 训练管线必然会把表部数据流和模型自天生训练信号结合起来，形成缜密耦合的反馈循环。也就意味着，统一钻研这两个方向不是方便之举，而是必要之举。

主题贡献一：提出了一个三轴统一分类框架

这篇论文最重要的贡献之一是提出了首个同时覆盖大说话模型持续进建与自我改进的分类框架，并将其组织在三个相互正交的维度上：

更新什么：即被更新的是知识、技术、对齐能力还是推理能力；若何更新：即选取哪一类步骤；何时更新：即更新发生在离线阶段、周期性阶段、在线阶段，还是由特定事务触发。

这个三轴框架如下图所示，可能对任何部署后的进建系统进行精确刻画，并揭示分歧步骤之间此前未被充分意识到的联系。

主题贡献二：对五大步骤类别进行了系统分析

论文系统分析了 100 多篇论文，并将其综合为五类步骤：基于正则化的持续进建、回放与经验治理、参数高效与？榛街琛⒆晕腋慕胱圆┺，以及在线自适应步骤。对于每一类步骤，都大局化描述其主题思造，分析其理论性质，并比力代表性步骤。

主题贡献三：大局化刻画了自我改进的收敛前提

论文对迭代式自我改进在什么前提下可能保障收敛而不是发散进行了大局化分析，并将来自自博弈、迭代蒸馏和 Constitutional AI 等钻研方向中分散的理论了局，统一到统一个框架之下。

论文以为，自我改进代表了一种范式转变：模型能力提升在从依赖人类监督，转向由模型自主驱动。所提及的步骤覆盖了一个很宽的领域：从训练阶段的自博弈，通过多轮迭代批改模型权重；到推理阶段的推理加强，提升每一次单独预测的质量；再到理论分析，划定自我改进到底可能达到什么天堑……

这些步骤的共同点在于，它们都必要某种 grounding signal，即靠得住的锚定信号。这个信号可所以验证器、一套宪法准则、人类偏好数据，也可所以问题自身的结构。没有这样的锚定信号，自我改进的循环最终必然会退化。

如下图所示，自我改进的轨迹并不取决于天活力造有多复杂，而取决于评估信号的质量，以及它相对于模型自身的独立性。

主题贡献四：提出六个盛开挑战

在最后，论文指出了天生式模型持续进建走向成熟过程中，亟待解决的六个关键问题，并基于系统分析所揭示的钻研空缺，为每个问题提出了将来钻研方向。

大模型规模能否解决苦难性忘却：更大的模型的确可能更不容易忘却，但规模不是根治规划。随着工作持续增长，即便大模型也会遇到容量、滋扰和对齐漂移问题。将来必要钻研的是，大模型规模若何影响不变性 — 可塑性衡量，以及是否存在可预测的 Scaling Law。

自我改进的理论极限：模型能否无限自我提升？什么时辰会收敛？什么时辰会坍塌？论文以为这是主题理论问题。尤其是在短缺表部验证器的说话工作中，模型很容易陷入自我确认：它会不休强化自己已经相信的模式，而不愿定更靠近真实指标。

多模态持续进建：将来模型不只处置文本，还会处置图像、音频、视频和行动数据。多模态模型持续进建时，一个模态的更新可能影响另一个模态。例如更新视觉天生能力，可能影响说话理解；更新说话对齐，也可能影响图像天生行为。若何跨模态保留能力，是将来钻研中必要解决的难题。

安全的持续对齐：模型持续进建时，安全天堑也必须持续维持，可问题在于，任何更新都可能减弱原有对齐能力。因而，论文以为，将来必要「可证明安全」的持续对齐机造：模型变得更强的同时，安全约束不能被忘却或绕过。

部署时「实时进建」：实时服务要求低延长和高不变性，而在线进建必要推算梯度、更新参数、验证质量、预防回归等，这两者「天然矛盾」。因而，真实部署中必要设计分层更新机造：哪些变动即时处置？哪些变动延长批处置？哪些变动必须经过安全审查后能力进入参数？

与 Agent 框架结合：智能体味在持久工作中堆集经验，好比工具挪用了局、失败教训、用户偏好、环境反馈等。问题是：什么时辰把短期经验写入持久影象？什么时辰应该更新参数？哪些经验只是无意事务，哪些经验代表不变法规？

论文以为，将来必要层级影象架构，让 Agent 同时占有短期情节影象和持久参数知识，也必要多智能体持续进建机造，让多个 Agent 共享并整合经验。

最后，论文的主题判断是：持续进建和自我改进在走向融合。真正有远景的方向，是构建这样一种模型：它既能吸收表部世界的新知识，也能利用自我反思、自我验证和自我搜索来改进进建战术；既能变得更强，又能维持不变与安全。

简言之就是，不只是训练得更大，而是能不能在不忘却、不失控的前提下，持续进建、持续对齐、持续自我进化……

那么你呢，若何对待这篇「AI 写的论文」，迎接在评论区留言、互换！

https://x.com/victor207755822/status/2060315686329778432

https://victorchen96.github.io/continual_learning_survey.pdf