Repo-To-Skill

自动研究时间：2026-09-04 09:02（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Sep 3，列表最顶部为 Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills。
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv 摘要页 -> 48 页 PDF 与完整 TeX 源稿（含实验附录和仓库覆盖清单）-> 官方代码与技能库。

执行摘要

当一个研究 Agent 知道“什么是梯度提升”却不知道某个库怎样组织数据、哪组参数会使训练失效、应该先跑哪项低成本检查时，问题未必出在模型推理能力，也未必要靠更复杂的 harness 解决。Repo-To-Skill 把这一缺口定义为操作知识（operational knowledge）：将方法、代码、API 与任务绑定起来的适用条件、执行程序、验证标准和失败恢复策略。

论文提出 DisCo，一个兼具技能生产与技能使用能力的研究 Agent。Creator 模式把仓库、论文或具体任务经过“能力定界、证据落地、技能图构造、验证修复”四个阶段，转化为由 SKILL.md、references/ 和 scripts/ 组成的技能图；Researcher 模式通过分层路由与渐进披露，只加载当前任务需要的图分支。规模化运行后，作者得到 AREX-Skill Library：公开快照覆盖 1,000 个机器学习仓库、5,353 个技能、20 个领域和 178 个能力族。

论文最强的证据不是与不同系统排行榜横比，而是固定 GPT-5.5、Codex harness 和下游执行预算，只改变是否提供蒸馏技能。在 MLE-bench、PaperBench、FrontierCS 和 PassNet 上，相对提升分别为 134.3%、34.4%、9.2% 和 14.0%。其中 MLE-bench 的 Any-Medal 从 31.11% 升至 72.89%，PassNet 的失败样本从 14 个降至 5 个。

但“固定下游预算”不等于“固定总成本”。MLE-bench 每题在正式运行前另有最多 24 GPU-hours 的技能探索预算，正式运行再给最多 24 GPU-hours；1,000 个仓库的技能构建平均约 40 美元/仓库。论文证明的是：预先支付并可复用的操作知识，能显著改善后续运行，而不是免费增加一段上下文就获得同样收益。此外，主实验只使用 GPT-5.5/Codex，PaperBench 有 2/20 任务因技能可能不匹配而退步，跨模型、跨 harness、长期版本维护和技能构建投资回报仍待验证。

1. 论文基本信息

核心链接：

• Hugging Face 详情页：https://huggingface.co/papers/2609.02749
• arXiv 摘要页：https://arxiv.org/abs/2609.02749
• arXiv HTML 全文：https://arxiv.org/html/2609.02749v1
• arXiv PDF：https://arxiv.org/pdf/2609.02749
• 官方代码与技能库：https://github.com/VectorSpaceLab/AREX-Skill

2. 背景与动机：模型和 harness 之间还缺什么

2.1 两层 Agent 架构没有显式承载领域实践

论文先把研究任务写成：

其中 $q$ 是问题，$\mathcal{D}$ 是材料与数据，$\mathcal{E}$ 是工具和预算受限的环境，$g$ 是目标；输出 $y$ 可以包括代码、模型、实验结果和报告。传统 Agent 系统被表示为：

$M_\theta$ 提供理解、推理、规划和执行，harness $H$ 提供编排、记忆、验证与迭代。但机器学习研究还要求回答更具体的问题：哪一类方法适用、哪个包真正实现它、数据应该怎样排列、参数如何配置、什么迹象说明实验已被错误设置。这些知识散落在仓库源码、文档、测试、论文与工程经验中，既不稳定地存在于模型参数，也不属于通用控制循环。

作者因此引入第三项：

其中 $\mathcal{K}$ 是显式提供给 Agent 的操作知识。这个分层的关键不是多一个名词，而是把职责拆开：模型负责通用认知，harness 决定“怎样研究”，操作知识决定“研究开始时知道要考虑什么”。

2.2 声明性知识还不能直接驱动可靠行动

论文和文档通常告诉读者“什么成立”：某方法提高了准确率、某 API 接受哪些参数、某个技巧为何有效。Agent 真正需要的则是“现在该怎样做”：什么条件下选择该方法、先执行哪一步、如何判断结果有效、失败后退回哪里。

从声明性知识到操作知识至少需要两次转换：

1. 知识到能力：把方法、代码、模型和 API 包装成可被 Agent 调用的单元；
2. 能力到使用策略：为每个单元补上适用条件、选择理由、操作步骤、验证与恢复规则。

只有能力而没有策略，Agent 会拿到一堆工具却不知道何时使用；只有策略而没有能力，则只得到建议，没有稳定执行接口。

2.3 为什么不能在每次任务中临时搜索

临时搜索可以找回事实，却会让每个任务重复支付理解库结构、试错 API 和发现陷阱的成本。更严重的是，错误配置可能在长训练结束后才暴露，消耗与正式实验相同的稀缺预算。Repo-To-Skill 的出发点是把这部分成本前移：先把知识压缩、验证并版本化，之后跨任务复用。

3. 核心贡献

3.1 把“操作知识”确立为独立系统层

论文的概念贡献是把 Agent 能力从“更强模型 + 更好 harness”扩展为“模型 + harness + 显式操作知识”。这使系统改进有了第三条路径：不改参数、不重写控制循环，也可以通过外部可审查产物改善行为。

这种产物与普通长提示不同。它有来源边界、分层结构、路由关系、验证记录与未解决缺口，可以更新、迁移或撤销。换言之，知识不再只是一次会话中的文字，而是有生命周期的工程资产。

3.2 提出统一的四阶段技能蒸馏过程

DisCo 将技能生产形式化为：

• $z$：触发蒸馏的锚点，可以是仓库或论文，也可以是一项具体任务；
• $\mathcal{Q}$：决定覆盖的能力集合；
• $\mathcal{X}$：从允许来源中收集的支持证据；
• $\widetilde{\mathcal{G}}$：候选技能图；
• $\mathcal{G}$：通过验证后被接纳的技能图；
• $R$：保留来源、检查、修复过程和剩余缺口的构建记录。

四阶段分别回答：哪些能力值得暴露、什么证据支持它们、怎样包装为 Agent 可用的技能、这些技能是否真的成立。作者强调，验证是蒸馏与摘要的分界线：来源看起来可靠并不足以让技能入库。

3.3 同时支持“源驱动”和“任务驱动”蒸馏

前者适合提前处理 sentence-transformers、AlphaFold、vLLM 等仓库；后者适合 Kaggle 竞赛、开放算法优化或编译器 pass 生成。两者共享同一四阶段骨架，但来源边界和验证证据不同。

3.4 构建可路由的大规模 AREX-Skill Library

公开仓库快照包含：

论文还为 PaperBench 的 20 个目标论文，从 153 篇相关来源论文蒸馏了 636 个论文模块技能。任务导向部分则为 MLE-bench 的 75 个竞赛逐题构建图，为 FrontierCS 和 PassNet 各构建一张共享图。

4. 方法详解

4.1 一个 Skill 不是单文件，而是三层接口

论文将单个技能定义为：

SKILL.md 是唯一需要先读的入口；更深材料按需加载。这样，库可以容纳数千技能，而单次任务只承担少数相关文件的上下文成本。

4.2 为什么需要技能图

一个仓库常包含数据准备、训练、推理、评估、服务、诊断和维护等多个工作流，强塞进一个文件会失去边界。作者将同一来源的技能组织为有向图：

$\mathcal{S}$ 是技能节点，$\mathcal{L}$ 表示路由、依赖或组合关系。入口技能只描述范围并指向组件技能；Agent 可以从设置跳到评估，再在异常时打开诊断分支，而无须读取不相关部分。

4.3 仓库到技能的实际构建流程

附录给出的仓库流程比“让 LLM 总结 README”严格得多：

1. 先划证据边界：分析源码根目录、文档、示例、测试、脚本和配置；排除生成文件、构建产物、vendor 依赖、缓存、大型制品与无关开发内部文件；
2. 再做受控实查：在私有 Python 检查环境中确认 import 名、版本、公开函数签名、CLI 入口、可选后端和小型运行行为；
3. 按未来任务切分：组件边界由用户可能执行的工作流决定，而不是照抄源码目录；
4. 保留公开 provenance：记录源 commit 或等价标识、包版本、dirty state 和相对证据路径；
5. 分层验证：执行断言支持的可用性用例，以及安全的原生示例、测试、CLI 检查、tiny fixture 或 smoke script；
6. 局部修复：将结果区分为 pass、skill_gap、native_fail、skip_unsafe 和 skip_not_selected，只有技能自身缺口才触发局部修订和重跑；
7. 静态门禁：检查元数据、链接完整性、自包含性、provenance、本机路径泄漏和运行文件/构建记录分离。

这一流程的工程意义在于把“上游本来就坏了”“测试不安全”和“技能写错了”分开，否则自动修复很容易为了让测试变绿而篡改正确知识。

4.4 分类树和路由器怎样生成

作者先为 1,000 个仓库冻结简短描述，排除 stars、URL 与原有标签，再由 LLM 生成两层领域树。仓库被稳定拆成 100 批、每批 10 个；locator 为每项给出暂定路径，独立 judge 检查缺失能力、家族重叠、混合分类轴、过载节点和兜底类别。聚合器结合 100 批审查与确定性负载统计提出修订，至少迭代两轮并满足收敛门禁，之后才冻结 taxonomy。

最终分配与技能生成分离。每个仓库到能力族的映射都要求理由、原仓库证据和置信度；仅关键词相似、仅依赖、仅可选集成或仅示例提及都不能成立。找不到精确位置时允许保持未分类，而不是强行塞入最近节点。

4.5 Creator 和 Researcher 的成本不对称

DisCo Creator 为每个来源支付一次构建与验证成本，Researcher 在每个任务中只支付路由和加载相关分支的成本。理论上，只要同一技能被足够多的后续任务复用，前置成本就能摊薄。

这也是论文实验解释的关键：研究者模式收益来自一项已经生产完成的资产。评估下游执行效率时可以不重复计算构建成本，但评估部署 ROI 时必须把构建、更新、验证、路由和淘汰成本重新加回来。

5. 实验设计

5.1 共同控制变量

四套主实验固定 GPT-5.5、Codex harness 与 xhigh reasoning effort。技能在正式执行前构建完成并冻结；有技能与无技能条件使用相同下游运行预算。这个设计比与公开排行榜直接横比更能隔离 $\mathcal{K}$ 的贡献。

不过，各基准中的“技能”不是完全同一种处理：MLE-bench 每题单独构建任务技能，PaperBench 从目标论文相关工作中选择来源论文技能，FrontierCS 使用全套任务共享的恢复图，PassNet 使用一个共享编译优化图。因此四项结果共同支持“操作知识层有效”，但不能直接比较哪一种蒸馏方式最好。

5.2 MLE-bench：逐竞赛构建任务技能

• 覆盖完整 75 项竞赛：Low 22、Medium 38、High 15；
• 指标为官方 held-out grader 的 Any-Medal；
• 搜索任务相关知识时屏蔽原竞赛网页和竞赛特定内容；
• 每题探索阶段最多 24 GPU-hours，用于快速诊断、修订技能；
• 最终技能只保留描述性操作指导，不包含可重放的训练或推理脚本；
• 正式运行阶段另给每题最多 24 GPU-hours，有/无技能条件保持一致。

这套两阶段设计降低了直接答案泄漏风险，却也意味着有技能系统在正式比赛前得到了一笔额外的任务定制研究预算。

5.3 PaperBench：从相关论文而不是目标答案取知识

• 使用完整 20 篇论文复现任务与官方 grader；
• 每个目标从其 related work 中选择最多 10 篇代表性论文，并在可用时收集对应仓库；
• 明确排除目标论文自身及其发布代码和制品；
• 每个来源论文拆成 3–5 个功能模块技能；
• 每个模块先做断言或 smoke check，再尝试在不读取原实现仓库的条件下恢复一个有界结果或机制；
• 最终为目标论文组装经验证的来源技能池，由 Agent 自主选择。

这个协议检验“相邻研究经验能否迁移”，而不是让 Agent 通过目标仓库复述答案。

5.4 FrontierCS：共享的失败恢复技能图

• 覆盖 Agent Track 全部 188 题；
• 每题 5 小时，容器限 2 CPU、4 GiB RAM；
• 单题 judge 限制继承原题，时间 0.25–100 秒、内存 128 MiB–2 GiB；
• 共享图不包含任何单题文本、题解、实现、ID 或调优常量；
• 图由 1 个恢复入口、8 个模块和 42 条不同有向链接构成；
• 区分 guaranteed-valid fallback、已验证 champion 和实验 challenger，未验证候选不得替换当前最好方案；
• 通过与无技能基线及前一版技能的配对试验，只保留能复现的局部修订。

5.5 PassNet：从编译器轨迹中迭代技能

PassNet 要求 Agent 为 FX 图生成 pattern matcher 与 rewriter，在保持语义正确的同时提升执行性能。作者先用 50 个训练样本做有/无候选程序的配对轨迹，再扫描 4,000 多个训练实例，通过 CPU 预筛和 sub-agent 分发寻找更多优化与失败模式。第二版技能将 50 题样本上的几何均值从 0.5352 提高到 0.6941、匹配失败从 10/50 降到 1/50，平均求解时间从 40 分钟降到 22 分钟。

附录也记录了一个重要修复：早期技能把“不要重写厂商高度优化的重算子”写得过于绝对，导致 Agent 放弃一个 stride == kernel_size 的 conv3d 特例。作者根据未复现的异常值和轨迹证据，把禁令改为可被图结构与评测证据推翻的默认先验。这说明高质量技能不仅要写正向步骤，还必须允许证据充分的例外。

6. 核心实验结果

6.1 四项主结果

四组结果方向一致，覆盖机器学习竞赛、论文复现、开放算法题和图编译优化，说明收益并不局限于某一种任务表面形式。

6.2 MLE-bench：困难任务的增益最大

High 难度相对提升达到 366.8%，有技能得分也比表中最强公开基线 Famou-Agent 2.0 的 64.44% 总分高 8.45 点。作者将其解释为：问题越复杂，库、实现和优化选择空间越大，操作知识越能减少低价值试错。

这个解释合理，但应注意公开系统比较没有控制模型、harness、预算和运行时间；最可信的因果比较仍是同一 GPT-5.5/Codex 的 31.11% 对 72.89%。

6.3 PaperBench：大多数任务改善，也出现负迁移

技能在 20 项任务中的 18 项提高分数，平均从 29.45 升至 39.59。低基线任务受益尤其明显：

• ftrl：1.50 -> 17.17，约 11.4 倍；
• rice：7.94 -> 48.51，约 6.1 倍；
• what-will-my-model-forget：9.35 -> 30.45，约 3.3 倍。

但两项任务退步：

• sample-specific-masks：57.11 -> 52.04，下降 5.07 点；
• stay-on-topic：32.31 -> 27.79，下降 4.52 点。

论文推测这是检索 precision 与 recall 的权衡：当目标依赖狭窄、特殊、未被来源技能准确覆盖的实现选择时，表面相关的技能会把 Agent 从本来能自行发现的路径上拉开。这一结果很重要，因为它反驳了“技能只会帮助、至多没用”的安全假设。

6.4 FrontierCS：得分增加，但运行资源也显著上升

有技能条件从 70.63 升至 77.14。188 题中 74 题改善、66 题近似不变；改善题平均增加 22.23 点，退步题平均减少 8.76 点。全任务配对 bootstrap 给出的平均增益 95% 置信区间为 $[3.41,9.83]$，是论文中最清晰的统计不确定性报告。

低于 50 分的 47 题平均从 19.43 提高到 45.99，其中 30 题跨过 50 分。收益集中在原本卡住的任务，与“技能帮助恢复而非单纯锦上添花”的设计一致。

资源对比则更复杂：

技能条件多用了约 81.7% token、58.7% 步骤和 62.3% 工具调用。作者进一步发现，每题得分变化与额外 token、步骤、调用的 Spearman 相关系数分别只有 0.006、0.014 和 0.015，因此“多用资源”不能解释题间增益差异；但这不代表额外资源在因果上完全无贡献。更严格的效率结论仍需要 token 或工具调用也严格配额相同的对照。

6.5 PassNet：正确性与失败恢复比单纯速度更突出

技能把失败样本减少 64.3%，正确性提高 9.41 个百分点，AS Score 超过 TorchInductor。Fast_1 却从 28.48% 略降至 26.72%，说明聚合得分提升主要来自更高正确性、更少无效产物和正确样本上的速度分布，而不是所有速度指标都单调改善。

7. 结果为何可能成立

7.1 技能把搜索空间变成带约束的候选空间

无技能 Agent 往往从宽泛模型先验开始，先试一个看似合理的库或方法，失败后再定位原因。技能将适用条件、拒绝标准和预期观察提前，因此不是替 Agent 完成推理，而是减少需要探索的无效分支。MLE-bench 越难收益越大、FrontierCS 低分题恢复最明显，都与这一机制相符。

7.2 验证把“看起来正确”转成“至少通过某类证据”

普通文档摘要可能流畅却含错误 API、过期参数或不可执行步骤。DisCo 要求将主张绑定到版本化来源，再用静态门禁、原生检查、tiny fixture、任务试验或 grader 反馈验证。即使验证不可能穷尽，失败可以被定位到某个节点、链接、脚本或来源边界，而不是笼统归因于模型。

7.3 渐进披露缓解大库的上下文冲突

AREX-Skill 没有把 5,353 个技能直接塞进上下文，而是先从领域到能力族，再进入仓库图和组件技能。分层路由既控制上下文长度，也让依赖和组合关系显式可见。其优势不是“检索一段最相似文本”，而是沿任务结构逐步展开可操作证据。

7.4 技能图把经验变成可修订对象

PassNet 的 conv3d 案例说明，操作知识可能过度概括。图结构允许只修改“何时保留 vendor kernel”的规则，并通过配对轨迹复验，而无需重训模型或重写整个 harness。可定位、可回滚、可审计，是外部知识层相对隐式参数记忆的核心工程价值。

8. 局限与批判性分析

8.1 技能构建预算被排除在主对照之外

论文严格匹配的是下游运行预算。MLE-bench 每题的技能探索最多另花 24 GPU-hours，仓库技能平均构建分配约 40 美元/仓库；PaperBench 还要为 153 篇来源论文构建并验证 636 个技能。对“技能在运行时是否有用”的问题，这种隔离合理；对“系统是否更便宜或更高效”的问题，则不能忽略前置投入。

实际部署需要报告：

只有技能复用次数、避免失败的价值和节省的专家时间超过前四项，资产化才有正回报。

8.2 MLE-bench 的任务定制构建使“唯一变量”需要精确定义

正式运行时，唯一变量确实是是否能读取冻结技能。但有技能条件在运行前经历了围绕该任务的搜索与诊断试验，无技能条件没有得到等价的“先研究、再把结果以另一种形式带入”的前置阶段。因此实验隔离的是带外构建出的操作知识访问权，不是单纯比较标准 SKILL.md 格式与等量普通上下文。

更严格的消融可以增加：等成本的自由文本研究摘要、未验证技能、只有 references、只有 scripts、打乱路由，以及把同一探索预算转为更多无技能正式尝试。

8.3 主实验只覆盖一个 backbone-harness 组合

作者固定 GPT-5.5 与 Codex，有利于内部效度，却限制外部效度。论文认为技能无需改变模型和 harness，因此理论上可迁移到兼容 Agent；但没有主实验展示同一批技能在不同模型家族、不同上下文窗口、不同工具协议和不同规划循环中的收益。

强模型可能更会判断技能适用性，弱模型也可能从明确程序中获得更大边际收益；两者方向都合理，不能从当前数据确定。

8.4 验证不是形式证明，质量仍依赖覆盖面

仓库图使用断言用例、原生测试和 smoke check，任务图使用诊断运行与 grader 反馈。这些验证能排除许多错误，但没有证明技能对所有输入、版本和环境都正确。PassNet 的过度保守规则直到未覆盖特例出现才被发现，恰好展示有限测试的边界。

构建记录 $R$ 中的“未解决缺口”因此不能只是内部日志。生产系统应把适用版本、已测平台、未覆盖后端、跳过的不安全检查和已知反例暴露给路由与执行 Agent。

8.5 路由错误会主动伤害本来可成功的任务

PaperBench 的 2 项退步说明，错误操作知识比缺少知识更危险。当前论文没有给出仓库级 router 的离线 precision/recall，也没有系统比较 top-k、拒答阈值或显式“回退到无技能推理”。当库继续扩张，语义相近却环境、版本或目标不同的技能会增多，路由精度可能成为规模瓶颈。

可行改进包括：

• 在路由前匹配版本、依赖、输入输出契约和硬件约束；
• 为技能声明正向适用条件与明确反例；
• 让 Agent 在低置信度时不加载技能；
• 运行小型 applicability probe 后再采用完整流程；
• 同时保留无技能候选，与技能引导候选做验证后选择。

8.6 统计报告强度不均衡

MLE-bench 报告三次重复的 mean±SEM，FrontierCS 给出 188 题配对 bootstrap 置信区间；PaperBench 主要报告 20 个单次任务分数，PassNet 主表也没有主结果置信区间。所有均值都改善，并不等于四项证据的不确定性同样清楚。

尤其 PaperBench 只有 20 个目标，且来源池按目标相关工作定制。未来应报告多次 Agent 随机运行、配对任务效应分布、技能构建随机性，以及把“生成技能的方差”和“使用技能的方差”分开。

8.7 公开库的代表性与维护压力尚未量化

1,000 个仓库以开源可见度、实际使用和 GitHub stars 等信号筛选，是有价值的工程快照，却不是机器学习生态的随机样本。高 stars 项目通常文档、测试和社区支持更好，可能比长尾、私有或内部仓库更容易蒸馏。

论文把版本信息写入 provenance，并提供 refresh 工作流，但没有测量：上游一次 breaking change 会使多少技能失效、自动刷新能修复多少、需要多少人工审查、过期技能被错误路由后的损失多大。静态规模不能替代持续有效覆盖率。

8.8 安全与供应链风险需要独立评估

将仓库脚本封装为 Agent 可执行接口，会放大恶意源码、提示注入、不安全安装步骤、许可证冲突和数据外传风险。论文的证据边界与 skip_unsafe 分类是良好起点，但四项实验主要测任务性能，没有给出对抗性来源、恶意 README、依赖投毒或权限隔离测试。

生产部署不应因为技能“已验证”就授予更高权限。执行脚本仍需沙箱、最小权限、网络策略、来源签名、依赖锁定和可重放审计。

9. 应用影响与工程启示

9.1 Agent 架构应把知识治理从 prompt 工程中独立出来

操作知识层适合拥有自己的生产流水线：来源采集、版本冻结、能力切分、验证、发布、路由、使用遥测、刷新和废弃。这样，模型升级与知识更新可以解耦；同一套经过验证的技能也有机会在多个 Agent 中复用。

9.2 高价值技能首先应覆盖高成本失败

MLE-bench 和 FrontierCS 的结果暗示，技能对宽搜索空间、反馈慢、错误晚暴露的问题最有价值。团队不必先把所有内部文档转成技能，可以优先选择：

• 环境配置错误会浪费数小时的训练任务；
• API 版本差异容易导致静默错误的工作流；
• 有稳定验证器、可做 tiny fixture 的流程；
• 跨项目高频重复的部署、评估和故障恢复程序；
• 专家经常重复解释、且规则相对稳定的能力。

9.3 “验证契约”比长篇教程更重要

一个可用技能应明确：输入是什么、成功输出是什么、必须先检查什么、哪些失败属于环境、哪些失败说明技能有缺口、何时停止、怎样回退。只有教程而没有验证契约，会把文档的不确定性转移给 Agent；只有脚本而没有适用策略，又会扩大误用范围。

9.4 运行时应记录技能的实际因果链

仅记录“加载了哪个技能”和最终分数，不足以判断价值。更好的遥测应包含：路由候选、选择置信度、实际打开的节点、采用或拒绝的步骤、触发的验证、回退原因、技能前后候选差异、资源使用和最终外部证据。这样才能区分检索成功、指导被忽略、指导误用和执行能力不足。

9.5 技能应允许被证据推翻

PassNet 的经验表明，绝对化规则容易封死高价值例外。技能可以将知识分成硬约束、默认先验和探索建议：

• 硬约束：接口契约、安全边界、必须满足的正确性条件；
• 默认先验：通常有效，但可被局部测量推翻；
• 探索建议：在预算允许时比较，不应覆盖当前已验证 champion。

这比把所有内容写成同一语气的命令，更利于 Agent 在新环境中保持判断力。

10. 与相关工作的关系

10.1 自主机器学习研究 Agent

AI Scientist、AI Scientist-v2、Agent Laboratory 等系统把选题、实现、实验与写作连成长流程；AIDE、R&D-Agent、Data Interpreter、SELA 等工作通过执行循环、多 Agent、任务图或树搜索改善 ML 工程。Repo-To-Skill 不再设计一个新的总控制循环，而是给现有循环增加可复用的外部知识层。

• The AI Scientist：https://arxiv.org/abs/2408.06292
• AI Scientist-v2：https://arxiv.org/abs/2504.08066
• Agent Laboratory：https://arxiv.org/abs/2501.04227
• MLE-bench：https://arxiv.org/abs/2410.07095
• PaperBench：https://arxiv.org/abs/2504.01848

10.2 从经验记忆到显式 Agent Skills

Voyager 从环境交互中积累可执行技能，Agent Workflow Memory 从成功轨迹抽取工作流，ExpeL 从任务经历中提炼自然语言经验。这些路线主要从交互轨迹学习。Repo-To-Skill 的区别是把版本化仓库与论文作为主要声明性来源，要求技能带 provenance、验证记录和可归因的局部结构。

• Voyager：https://arxiv.org/abs/2305.16291
• Agent Workflow Memory：https://arxiv.org/abs/2409.07429
• ExpeL：https://arxiv.org/abs/2308.10144

10.3 与 Agent Skills 规范的关系

论文直接采用以 SKILL.md 为入口、脚本与参考材料按需加载的 Agent Skills 结构，并指出 Claude Code 与 Codex 已支持这种外部产物。其增量不在提出文件格式，而在于给出大规模自动生产、证据绑定、图结构路由与任务性能验证的完整链路。

• Agent Skills 规范：https://agentskills.io/
• Anthropic Agent Skills：https://github.com/anthropics/skills

10.4 与技能质量研究互补

既有 SKILL.md 大规模分析指出人工技能存在结构与质量不一致。Repo-To-Skill 试图用固定四阶段、静态门禁与执行验证提高一致性。但 PaperBench 的负迁移和 PassNet 的规则修订也说明：自动化流程能降低低级错误，不会消除抽象边界与适用性判断这一更深层问题。

11. 结论

Repo-To-Skill 最重要的贡献，是把“Agent 会不会使用某个领域的工具”从模型参数或临时提示中的模糊能力，变成一个可以被生产、验证、路由、复用和维护的系统层。DisCo 的四阶段流程、三层技能结构和技能图，让操作知识具备了工程接口；AREX-Skill Library 则证明这种接口可以扩展到千级仓库和五千级技能。

实验结果有足够一致性支持核心命题：在固定 GPT-5.5/Codex 和匹配下游预算下，显式操作知识能明显改善自主 ML 研究，尤其能帮助原本低分、复杂或容易因配置和验证问题失败的任务。MLE-bench 的 41.78 个百分点提升、FrontierCS 的正向配对置信区间，以及 PassNet 失败样本减少 64.3%，都比“技能让回答看起来更专业”强得多。

更准确的落地结论不是“给 Agent 多装技能就会持续变强”，而是：经过版本化证据、执行验证、适用性路由和失败修订的操作知识，值得作为模型与 harness 之外的第三类资产。 它的实际价值取决于能否摊薄构建成本、避免错误检索、持续追踪上游变化，并在运行时允许 Agent 用新证据拒绝或修正旧规则。

下一阶段真正困难的工作也因此很清楚：跨模型与跨 harness 复验；把技能构建总成本纳入效率比较；为大库建立精确的拒答和冲突处理；量化上游漂移后的刷新成本；以及在恶意或不可信来源下验证供应链安全。解决这些问题后，技能库才可能从一批高质量文档，成长为自主研究 Agent 的长期操作记忆。

参考资料

1. Hugging Face Daily Papers：https://huggingface.co/papers
2. Hugging Face 论文详情：https://huggingface.co/papers/2609.02749
3. arXiv 摘要页：https://arxiv.org/abs/2609.02749
4. arXiv HTML 全文：https://arxiv.org/html/2609.02749v1
5. arXiv PDF：https://arxiv.org/pdf/2609.02749
6. AREX-Skill 官方仓库：https://github.com/VectorSpaceLab/AREX-Skill
7. MLE-bench 官方仓库：https://github.com/openai/mle-bench
8. FrontierCS：https://frontier-cs.org/
9. Agent Skills 规范：https://agentskills.io/
10. Anthropic Agent Skills：https://github.com/anthropics/skills