ComposeCL

自动研究时间：2026-09-17 09:02（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Sep 16，列表最顶部为 Continual Learning Mechanisms Compose for Long-Horizon Memorization。¹
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv 摘要页 -> arXiv v1 完整 PDF 与附录 -> 官方项目页与代码仓库。

执行摘要

如果要把模型参数当作长期记忆，难点不只是“今天把新事实写进去”，而是“再经历九十九轮更新后还能不能读出来”。这篇论文把问题定义为 long-horizon memorization：Qwen3-4B-Base 连续学习 100 个问答任务，训练新任务时不能保留旧任务原始样本，推理时也没有 task ID；每学完一个任务，都回测此前所有任务。朴素顺序微调在第 100 个任务后只保留平均 1.2% 的关联，说明参数更新几乎把早期记忆全部覆盖。²³

作者没有再发明一个孤立的“抗遗忘算法”，而是把现有机制整理成两个维度。第一维是更新时要守住什么：数据锚点用上一版模型生成伪样本，函数锚点要求新模型在当前输入上贴近旧模型输出，权重锚点用 Synaptic Intelligence（SI）限制重要参数变化。第二维是更新写到哪里：shared LoRA 让所有任务共用一个 adapter，merged LoRA 则在每个任务后把低秩更新并入基座，再初始化新的 LoRA 工作区。论文的核心命题是：不同机制针对的遗忘来源互补，组合后可能产生超加性收益。³

证据支持这个命题，但结论需要精确表述。三种锚点加 merged LoRA 的全组合在 Symbol-QA、LLM-QA、Real-QA 上最终保持率分别为 18.5%、41.8% 和 44.3%，平均 34.9%，是唯一在三个数据集都进入前三的组合；它并不是每个数据集的单项冠军。真正稳定的共同核心是生成式回放 + merged LoRA：析因实验显示二者拥有最大的主效应，并在三个数据集都呈显著正交互。最强数据集特定组合把记忆半衰期从朴素微调的 1、1、2 个任务，延长到 19、32、44 个任务。³

但 34.9% 仍意味着约三分之二训练关联在 100 个任务后无法准确召回。实验测的是训练问题原样重现时的记忆，不是改写问题后的泛化；模型在新关联上记得更多，也不代表保住了原有能力。基座模型在 GSM8K、MATH、MGSM、MMLU-Redux 上平均 69.4%，而训练后的最佳对照即使使用 O-LoRA，在两个自然语言数据集后也只剩 26.8% 和 28.8%。因此，这项工作的合理定位是：它用系统化搜索和因子分析证明了持续学习机制的组合价值，却同时表明参数内长期记忆仍远未解决，而且可能以严重的通用能力损失为代价。

1. 论文基本信息

核心链接：

• Hugging Face 详情页：https://huggingface.co/papers/2609.06986
• arXiv 摘要页：https://arxiv.org/abs/2609.06986
• arXiv 完整 HTML：https://arxiv.org/html/2609.06986v1
• arXiv PDF：https://arxiv.org/pdf/2609.06986
• 官方项目页：https://compose-cl.github.io/
• 官方代码与数据：https://github.com/cozheyuanzhangde/compose-cl

2. 背景与动机：参数为什么不像可靠硬盘

2.1 参数化记忆与外部记忆解决的是不同问题

Prompt、长上下文和 RAG 可以在推理时提供新信息，但信息留在模型外部，每次使用都要重新注入。持续微调追求另一件事：让知识进入参数，之后仅靠模型本身就能召回。这对长期运行的 agent、持续更新的领域模型、个性化助手和设备侧模型很有吸引力，因为它可能减少上下文长度、检索依赖和在线数据访问。

困难在于梯度更新不是按地址写入。学习任务 $t$ 时，能提高当前任务似然的参数移动可能破坏任务 $1\ldots t-1$ 所依赖的表征，形成 catastrophic forgetting。模型越能迅速适应新数据，旧记忆越可能被覆盖；过强地冻结旧参数，又会损害学习新任务的 plasticity。

2.2 为什么已有 benchmark 不足以回答“能记多久”

持续语言学习 benchmark 常把不同下游任务、时间切片或语料域串在一起，重点测迁移和整体任务性能；顺序模型编辑则通常逐条写入局部事实，关注 edit success、相关输入泛化和旁路损害。本论文关心的是更窄也更可控的问题：普通 SFT 写入一批问答关联后，经过大量后续 SFT 边界，这些关联还能留下多少。

因此作者构造 100 个任务的长序列，并采用 domain-incremental 设定：所有任务使用同一问答接口和词表，评测时不给任务编号。模型不能靠 task router 选择专用子网络，也不能重读旧原始样本。这个设置刻意隔离“关联保持”，但也舍弃了真实系统中的检索、缓冲区、用户重复输入和数据分布变化。

2.3 单一机制为何可能不够

现有方法从不同位置抑制遗忘：replay 重建旧数据分布，distillation 守住旧函数，EWC/SI 限制关键权重，parameter isolation 把任务放入不同子空间。每一种都只覆盖部分失效路径。例如，限制权重变化不保证旧输入分布仍被看到；生成旧样本也不保证多轮 LoRA 更新不会持续挤占同一低秩空间。

论文因此不问“哪个单一机制最好”，而问两个更工程化的问题：哪些机制互补，以及它们的组合收益是否超过各自收益之和。

3. 核心贡献

3.1 定义长时程持续记忆

论文把 100 个顺序问答任务、无旧原始样本、无推理 task ID 的场景独立定义为 long-horizon memorization，并用完整时间准确率矩阵追踪每条记忆从写入到衰减的全过程。这比只比较训练结束时总分更能区分“没学会”和“后来忘了”。

3.2 用“锚点 × 低秩分配”统一组合空间

作者把方法空间抽象为：

• 数据锚点：保留过去输入—输出分布的代理；
• 函数锚点：保留旧模型在输入上的预测分布；
• 权重锚点：保留对旧行为重要的参数坐标；
• 低秩分配：决定每个任务的 LoRA 更新共用、合并还是分离。

这一抽象的重要性在于，它允许在同一训练配方下做完整 $2^4$ 析因实验，既测单个机制的平均贡献，也测二阶到四阶交互，而不是只挑几个手工组合比较。

3.3 构造三个由抽象到真实的 100 任务数据集

Symbol-QA、LLM-QA 与 Real-QA 逐步增加自然语言结构和真实知识，让研究者观察组合收益究竟来自纯粹的随机关联保持，还是可以利用语义先验。三者训练集与测试集相同，目标明确是 memorization retention，而非 held-out generalization。³⁴

3.4 用 task-level successive halving 控制组合搜索成本

90 个候选若都跑满 100 个任务，单个数据集、单个种子需要 9,000 个“方法—任务”训练单元。Task-Level Successive Halving（TSH）在 10、20、50、100 个任务处依次保留 45、23、10 个候选，把成本降到 2,540 个单元，即减少 71.8%。这不是缩短每个任务的训练，而是只让前景较好的组合继续走更长任务地平线。

3.5 用实验而非直觉识别组合协同

论文最有价值的发现不只是“全组合得分高”，而是 replay 与 merged LoRA 在三个数据集上的交互均显著为正。这说明生成旧分布与刷新低秩工作区不是简单相加：前者提供过去信号，后者减少连续任务争用同一个低秩坐标，两者共同改变了遗忘曲线。

4. 方法：三种锚点如何共同约束一次更新

4.1 基础目标

任务 $t$ 到达时，模型只可访问当前数据 $D_t$ 和上一任务保留下来的状态 $S_{t-1}$。当前任务的因果语言模型损失为：

组合方法在此基础上加入三个保持项：

三个 $R$ 分别对应数据、函数与权重锚点。它们不是三套独立模型，而是在同一次当前任务训练中共同产生约束。

4.2 数据锚点：无条件生成式回放

每个新任务开始前，冻结上一版模型，从单个 task-agnostic replay token 无条件生成 300 条完整伪序列，去掉空输出。训练时，每个当前任务 minibatch 配一个 replay minibatch；旧模型还为 replay token 提供 soft next-token target。

这满足“不保留旧原始样本”的约束，但不是零成本记忆：系统仍要永久保留可生成旧分布的模型状态，并在每个任务边界生成 300 条序列。伪样本质量也会随模型历史变化，附录显示 replay 组合的随机种子标准差明显更大；低生成温度会把伪数据集中到少数模式，放大 winner’s curse。

4.3 函数锚点：当前数据上的自蒸馏

函数锚点沿用 Learning without Forgetting 思路，用前一版模型作为 teacher，在当前任务输入上约束新旧输出分布。论文采用完整词表的 forward KL，温度 5、权重 1。

它与 replay 的 soft target 看似相似，作用位置却不同：replay 蒸馏发生在生成的旧式序列上，函数锚点发生在当前数据上。前者重建过去分布，后者防止模型面对新输入时函数突变。

4.4 权重锚点：Synaptic Intelligence

主实验使用 SI 沿优化轨迹估计每个可训练坐标对既往任务的重要性，再用对角二次惩罚限制重要坐标偏移。搜索阶段也考察 online EWC。SI 不保存原始样本，持久状态规模固定，但它依赖“坐标语义稳定”这一隐含前提。

这一点与 merged LoRA 存在结构张力：旧 LoRA 合并后，新 adapter 被重新初始化，SI 的重要性和参考值却被带到新的坐标；相同位置已不一定承担相同函数。Symbol-QA 上 SI × merged LoRA 的显著负交互，以及部分种子当前任务学习直接崩溃，正是这种坐标错配的实证提醒。

5. 低秩分配：shared 与 merged LoRA 的关键区别

对预训练权重 $W_0$，LoRA 更新写为 $\rho BA$。两种固定状态规模的策略是：

shared LoRA 在 100 个任务中持续优化同一对 $A,B$；merged LoRA 每学完一个任务，就把 $\rho B_t^\star A_t^\star$ 折入 dense weight，随后为下一任务建立新的 rank-32 adapter 和 optimizer。两者都只保留一个 dense model 和一组活动 LoRA，状态不会随任务数增长。

merged LoRA 的优势可以直观理解为“定期提交并清空工作区”：旧更新进入高秩累计的 dense 权重，新任务不必在同一低秩子空间继续拥挤。但它并没有保护合并后的 dense 权重免受后续写入，也不能自动保住通用能力。

论文另测 O-LoRA 与 sequential OSRM。二者状态随任务数线性增长，却没有带来一致的保持率提升：相对匹配的 merged LoRA 组合，O-LoRA 在三个数据集变化为 -3.3、+1.0、+1.6 个百分点，OSRM 为 -0.8、-11.5、-11.6。更多持久状态不等于更强长期记忆。

6. 数据集与评测设计

6.1 三层记忆难度

Real-QA 的来源包括 TriviaQA、NQ-Open、PopQA、SQuAD、WebQuestions、OpenBookQA、SciQ、ARC-Easy、ARC-Challenge 与 MedMCQA，各保留 500 条。选择题去掉选项，只留下正确选项文本，要求自由生成答案。过滤只能说明基座在五次指定采样下未答出，不能证明事实从未出现在预训练中。

6.2 时间准确率矩阵与指标

模型学完任务 $i$ 后，会评测所有 $j\le i$ 的任务，得到下三角矩阵 $M_{i,j}$。论文报告：

• Final：学完第 100 个任务后，对全部 100 个任务的平均准确率；
• Diag：每个任务刚学完时的平均准确率，用来判断 acquisition；
• Forget：各任务历史最佳准确率到最终准确率的平均下降；
• W(k)：最终 checkpoint 对最近 $k$ 个任务的平均准确率；
• 记忆半衰期：记忆年龄增加后，准确率首次低于初始值一半所经过的任务数。

这种指标组合能识别两种完全不同的失败：如果 Diag 低，是新任务都没学会；如果 Diag 接近 100% 而 Final 低，才是典型的后来遗忘。

6.3 训练与搜索设置

TSH 在开发 task order 上搜索，最终实验换用默认 task order 重新从基座训练。10 任务时的组合排名与最终 100 任务排名仍有 0.90–0.95 的 Spearman 相关性，说明早期筛选具有信息量；但 Symbol-QA 的搜索冠军在最终 task order 上并非冠军，也揭示了从 90 个噪声候选中取 argmax 的选择偏差。

7. 实验结果

7.1 单一机制在 100 任务地平线上全部不足

最强单机制的 Final 在 Symbol-QA、LLM-QA、Real-QA 上分别只有 4.2%、7.5%、12.5%。TSH 中没有任何单机制进入 50 任务阶段；所有走到 100 任务的候选都包含 replay 与 merged LoRA。模型对当前任务的 Diag 普遍接近 100%，所以低 Final 主要是遗忘，不是任务本身学不会。

7.2 全组合最稳定，但数据集冠军不同

Symbol-QA 最佳是 SD + replay + merged LoRA；LLM-QA 最佳是全组合；Real-QA 最佳是 SI + replay + merged LoRA。全组合的价值是 robustness：三个数据集排名 2、1、3，是唯一最差名次仍不低于第三的方案。若把它描述成“所有数据集都最好”，会夸大论文结果。

7.3 记忆半衰期显著延长，但仍持续衰减

这里的单位是“后续任务数”。组合把遗忘的时间尺度从 1–2 个任务推到数十个任务，但所有曲线仍随记忆年龄下降。更准确的说法是“延缓遗忘”，而不是“消除遗忘”。

7.4 Replay 与 merged LoRA 产生超加性协同

单位均为 Final 百分点，三组 replay × merge 交互都达到统计显著。仅看不含 SI/SD 的配置，replay 与 merge 各自增益之和只有 3.9、7.7、13.9 点，但两者合用相对朴素微调提升 15.6、31.0、46.9 点。这是全文最有说服力的机制证据。

SI 和 SD 的收益更依赖数据：SD 与 replay 在 LLM-QA、Real-QA 上出现负交互；SI 在自然语言数据上有正主效应，在 Symbol-QA 上没有显著主效应，且与 merge 负交互。组合设计不能简化成“模块越多越好”。

7.5 训练种子方差不可忽略

包含 replay 的组合常有 2–6 个百分点标准差；部分 Real-QA 组合更大，例如 SI + replay + merged LoRA 为 $54.8\pm10.4$。作者用生成温度对照表明，低熵 replay 的均值未显著改变，种子离散度却约放大四倍。三种子优于单次运行，但对十余个百分点的方差仍只能提供有限稳定性保证。

7.6 保住新记忆没有保住通用能力

基座模型在 GSM8K、MATH、MGSM、MMLU-Redux 上分别为 83.6%、57.6%、67.5%、68.7%，平均 69.4%。100 个任务后：

O-LoRA 在自然语言数据后保留更多通用能力，可能因为原始基座权重不变、任务 adapter 可拆卸；但启用学习结果时仍比基座低 40 个百分点以上。Symbol-QA 更严重，三种低秩分配的四项平均都低于 8%。论文因此揭示了两个并不等价的目标：旧训练关联之间少互相覆盖，以及预训练通用能力不被持续微调破坏。

8. 为什么组合有效：一种机制层解释

生成式 replay 让优化器重新看到过去任务的近似分布，相当于为“该保留什么输出”提供训练信号；merged LoRA 则改变梯度写入结构，让每个新任务从新的低秩工作区起步，再把完成的更新提交到 dense 权重。前者补信息，后者补容量组织，所以协同很自然。

相比之下，SI 与 merged LoRA 的接口没有完全对齐。SI 认为坐标 $i$ 的重要度可以跨任务继续解释，merged LoRA 却在任务边界重置低秩坐标。只要状态接口的语义发生变化，单独正确的两个算法也可能组合失败。这给模块化持续学习一个实用原则：组合前必须定义每个模块跨任务保留的状态及其坐标语义，不能只把损失项机械相加。

论文也说明“更自然的数据反而更容易保持”并不矛盾。Symbol-QA 的随机 key-value 完全没有可复用结构；LLM-QA 和 Real-QA 可以借助语言、实体类型和预训练表征形成更平滑的编码。因此 Real-QA 的高保持率不代表真实事实天然不会忘，而可能反映了结构先验和任务内关联压缩的帮助。

9. 相关工作与论文位置

9.1 经典持续学习

EWC、online EWC、SI、MAS 属于权重正则化；Learning without Forgetting 属于函数正则化；iCaRL、experience replay、Deep Generative Replay 与 LAMOL 属于真实或生成式回放；Progressive Networks、PackNet 等属于参数隔离。ComposeCL 的新意不在重新命名这些机制，而在统一组合、长地平线评测和交互效应分析。

9.2 已有组合方法

Dark Experience Replay 会同时保存样本和旧 logits；Momentum Knowledge Distillation 把缓慢更新的 teacher 与在线持续学习结合。这些工作已经说明信号可以互补，但没有在本文的 100 任务语言记忆设置中，对数据、函数、权重锚点与低秩分配做完整析因比较。

9.3 LoRA 持续学习

ReLoRA 在预训练中反复 merge 和 reinitialize，积累高秩更新；O-LoRA 为新任务增加子空间并约束其与旧子空间重叠；InfLoRA、CoLoR 与 OSRM 也从路由或子空间角度减少干扰。本文的贡献是把 low-rank allocation 从“保留目标”中拆开，使 shared、merged、O-LoRA 和 sequential OSRM 可以与相同锚点公平组合。

9.4 顺序模型编辑与 agent 记忆

GRACE 等模型编辑方法将编辑显式放入 key-value codebook，避免直接覆盖全部基座；AgentOdyssey 则研究 agent 在环境交互中的持续知识获取与 episodic memory。ComposeCL 更接近普通 SFT：每个任务是一组关联，不靠输入路由到专用编辑存储。它证明参数内记忆可以改进，却也间接支持混合记忆架构的必要性——稳定事实、用户事件和通用推理能力未必都应写进同一组可变参数。

10. 局限与证据边界

10.1 这是原样召回，不是泛化

训练与评测使用同一批问题。模型可能记住精确字符串，却无法回答语义相同的改写问题；论文没有测试 paraphrase、组合推理、跨语言迁移或答案更新。因此 Final 衡量的是关联存活，不是知识真正内化的完整程度。

10.2 Real-QA 过滤不能证明无预训练污染

五次采样未答出，只能说明在指定解码下基座没有生成正确答案，不能证明它内部完全没有相关知识。LLM-QA 也只通过 prompt 要求虚构，没有与外部知识库逐项核验。

10.3 单一基座限制外推

所有主结论来自 Qwen3-4B-Base。参数规模、instruction tuning、优化器状态、模型架构和 tokenizer 都可能改变遗忘动力学。对更大模型、MoE、encoder-decoder、多模态模型或闭源 API 的外推尚无证据。

10.4 只有三种训练种子

析因表的效应很清晰，但 replay 组合存在明显种子方差，Real-QA 的若干标准差达到 8–13 点。三种子足以暴露问题，却不足以精确估计尾部风险和小方法差异。

10.5 没有完整资源与墙钟成本结论

TSH 报告了相对训练单元节省，但论文没有把整套搜索和最终实验统一换算成 GPU-hours、能耗或总生成 token 成本。每个任务生成 300 条 replay、保存 teacher、逐任务回测所有已见任务，随地平线增加仍有显著运行成本。

10.6 长地平线仍只有 100 个任务

“long-horizon”相对于常见短序列成立，但线上系统可能经历数千到数百万次更新。曲线仍持续下降，不能据 100 任务结果推断其会在更长地平线上稳定。

10.7 通用能力退化是部署阻断项

如果模型记住新增事实，却丢失数学、知识和输出格式能力，它不能直接替代可靠外部记忆。论文测得的能力损失不是次要副作用，而是任何生产方案都必须同时优化的第二目标。

11. 应用影响

11.1 持续更新的领域模型

医疗、法律、企业知识和产品目录会不断新增内容。Replay + merged LoRA 提供了一条不保存旧原始样本、状态规模固定的更新基线，尤其适合原数据受隐私或许可限制、不能永久留存的场景。但生成式 replay 仍可能复现敏感信息，不能自动满足“删除权”或机器遗忘要求。

11.2 个性化助手与端侧模型

用户偏好、常用实体和工作习惯可以逐步写入本地模型；固定状态规模比“每个事件一个 adapter”更适合设备部署。实际产品仍应保留可审计外部记忆，因为参数化写入难以精确删除、验证来源或解释冲突。

11.3 长期 agent

Agent 可以把重复出现的操作模式蒸馏进参数，减少每次检索所有历史轨迹的成本。更可行的路线是分层记忆：原始事件进入可检索存储，经重复验证和价值评估后再做周期性参数更新，同时用 held-out capability suite 阻止通用能力跌破阈值。

11.4 持续训练系统设计

TSH 和完整时间矩阵对工程实践同样有价值。团队可以在较短任务地平线预筛方法，但必须保留不同 task order 的最终复训；评测既要看 Final，也要把 Diag、旧能力集、方差和回滚能力作为上线门槛。

12. 复现与实践建议

官方仓库给出了数据、训练、TSH、汇总与通用能力评测流程。若要复现或迁移到业务数据，建议按以下顺序审计：

1. 先运行朴素顺序 SFT，确认 Diag 高而 Final 低，问题确实是遗忘；
2. 单独加入 replay 和 merged LoRA，再验证二者交互是否在新数据上重现；
3. 将 task order 视为实验变量，至少使用多个顺序与多个训练种子；
4. 同时评测原样召回、paraphrase 泛化、冲突更新、隐私删除和通用能力；
5. 对每个跨任务状态记录坐标语义，避免 SI 与 adapter 重置一类接口错配；
6. 记录 replay 生成成本、teacher 显存、checkpoint 体积和墙钟时间；
7. 设置 capability regression gate，不能只因新增记忆 Final 上升就接受模型。

13. 总结

ComposeCL 给出的不是一个已经解决终身学习的万能配方，而是一种更可信的研究方式：把“保留什么”和“更新写在哪里”拆成正交设计维度，用渐进式搜索找到候选，再用完整析因实验分离主效应和交互。

结果表明，生成式 replay 与 merged LoRA 是跨数据集最稳定的组合核心；三锚点全组合则提供了最好的跨数据集稳健排名。它把 100 任务后的平均 Final 从 1.2% 提高到 34.9%，并将记忆半衰期延长一个数量级左右，但既没有阻止记忆继续衰减，也没有保住大部分通用能力。

对研究者而言，下一步不应只继续堆叠抗遗忘损失，而应同时解决四件事：可泛化的记忆表示、跨模块状态语义一致性、通用能力保护，以及可删除、可追踪的外部—参数混合记忆。对工程团队而言，论文最直接的启示是：持续学习不是单算法选型，而是一套写入、回放、容量分配、评测和回滚共同组成的系统。

参考资料