DataPrep-Bench

自动研究时间：2026-07-28 09:04（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Jul 27，其接口记录日期为 2026-07-27；列表最顶部为 DataPrep-Bench，详情页标注 #1 Paper of the day。
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv 摘要页 -> 28 页 arXiv PDF 与完整 HTML -> 项目页和代码仓库交叉核对。

执行摘要

当 LLM 被用于生产下一代 LLM 的训练数据时，一个看似合理的循环出现了：模型阅读教材、网页或技术文档，生成问答数据；另一个模型或评分器再判断这些数据是否“高质量”。问题在于，流畅、复杂、多样或教育性强的数据，并不必然让下游模型表现更好。不同研究又常使用不同原始材料、基础模型、训练配方和评测集，导致所谓“高质量数据”的证据难以横向比较。

DataPrep-Bench 的核心主张是：训练数据的质量应由它对下游训练的实际效用来定义，而不是由文本表面属性代理。 论文把 LLM 驱动的数据准备拆成两个同等重要的任务：

1. 数据构造：把相同的长篇原始材料转成监督微调数据，再用这些数据训练相同的基础模型，以最终 benchmark 表现评价构造方法；
2. 数据质量评估：给候选数据集打分，在真正微调之前预测它们的下游收益，再用评分与实测收益之间的 Pearson 相关系数评价指标。

为此，作者在 General、Math、Science、Medical、Finance、Law 六个领域统一原始语料、候选池、基础模型、训练协议和下游任务，并给两个赛道各提供一个方法基线。Data-Construction-Skill 把输出 schema、覆盖约束、过滤规则与验证逻辑封装为可复用 skill，让 agent 负责规划、分块处理和迭代执行；Distributional Alignment Score（DAS）则用固定文本编码器表示候选数据和领域代理数据，通过 Maximum Mean Discrepancy（MMD）衡量两者分布距离。

实验最值得重视的结论不是“某个生成器赢了”，而是加入合成领域数据经常比只用 Dolly-15k 更差。这说明更多合成样本不是安全默认值，也说明表面质量评分可能错过真正损害训练的分布或格式问题。不同构造范式各有优势：DataFlow 在结构化领域较强，agent 在数学、医疗等推理密集领域占优，Data-Construction-Skill 在知识抽取密集场景表现突出，但在开放式科学推理中明显失败。

DAS 在三个基础模型上取得四个领域的最佳或并列最佳平均相关性，Math、Science、Medical 的平均相关系数分别为 0.86、0.72、0.77；但 Finance 与 Law 只有 0.18 和 0.36。论文因此更适合被理解为一个“下游收益优先”的评测基础设施和一组强基线，而不是已经解决了通用数据自动生产与质量预测。

1. 论文基本信息

核心链接：

• Hugging Face 论文页：https://huggingface.co/papers/2607.20465
• arXiv 摘要页：https://arxiv.org/abs/2607.20465
• arXiv 完整 HTML：https://arxiv.org/html/2607.20465v1
• arXiv PDF：https://arxiv.org/pdf/2607.20465
• 项目页：https://datapreparationbench.github.io/
• 代码仓库：https://github.com/OpenDCAI/Data-Preparation-Bench
• 数据集与演示：https://huggingface.co/datasets/lhpku20010120/Data-Prep-Bench

2. 背景与动机：为什么“看起来好”不是训练数据的充分条件

2.1 数据准备已经从人工管线变成模型能力

自然语料的增长赶不上模型对高质量、专业化和可验证数据的需求。社区因此越来越多地让 LLM 参与两类工作：

• 从教材、论文、技术手册或网页中抽取知识，改写为 instruction-response 或 QA 样本；
• 在训练前筛选候选数据，估计哪些样本或数据集最可能提升目标能力。

这两类任务实际位于同一条生产链上：前者决定“造出什么”，后者决定“留下什么”。但既有研究往往把它们分开评价，数据构造论文展示少量样例或单一模型增益，质量指标论文则在有限数据集上验证评分偏好，缺少统一端到端协议。

2.2 “数据质量”存在目标错位

常见指标测量的是：

• 文本是否流畅、专业、复杂或具有教育价值；
• 样本之间是否词汇丰富、语义多样；
• 参考模型的困惑度、loss 或梯度影响；
• 强模型是否愿意给单条样本高分。

这些信号都可能有用，却不是最终目标。一个数据集可以文笔很好、覆盖广泛，也可能因为任务分布不匹配、回答格式不合适、错误推理模式或基础模型不兼容而降低下游表现。

DataPrep-Bench 因此把质量操作化为：

在固定基础模型、训练协议和目标任务后，使用该数据微调所带来的下游表现。

这一定义代价很高，因为获得 ground truth 需要真实训练；但它为比较便宜的代理指标提供了可信标尺。

2.3 既有结果不可比

如果两个数据构造系统分别使用不同教材、不同生成模型、不同样本量、不同基础模型和不同 benchmark，即使都报告“提升 5 分”，也无法判断差异来自构造方法还是实验条件。

论文通过四个共享条件降低混淆：

1. 同一领域的所有构造方法读取相同原始语料；
2. 使用相同基础模型和微调配置；
3. 数据质量指标面对相同候选池；
4. 两个赛道共享同一组下游 benchmark。

这不是完全消除所有变量，但至少把比较对象从“整套系统”收窄到数据准备方法本身。

3. 核心贡献

3.1 一个统一的双赛道 benchmark

DataPrep-Bench 覆盖六类能力：

数据构造赛道从 raw source corpus 开始；质量评估赛道从 8 至 14 个候选数据集组成的领域池开始。两者最终都落到同一件事：训练后的模型在目标 benchmark 上表现如何。

3.2 Data-Construction-Skill：把构造规范从 prompt 提升为控制层

作者没有只提供一段更长的 QA 生成提示，而是定义一个可复用 skill，封装：

• 任务说明和 JSON 输出 schema；
• 样本类型及难度要求；
• 来源忠实性、自包含性和覆盖约束；
• 无效模式、去重和过滤规则；
• chunk 级状态、验证记录与可恢复执行。

agent 仍负责决定如何遍历文档、哪些 chunk 值得处理、何时调用辅助工具以及何时完成。skill 规定“什么是有效监督”，agent 决定“如何完成整个语料级任务”。这种分工试图保留 agent 的适应性，同时减少所有控制逻辑都藏在一次性 prompt 中造成的不一致。

3.3 DAS：用目标分布接近程度预测训练价值

论文提出 Distributional Alignment Score，将候选数据集与领域代理数据集编码到统一特征空间，然后计算分布距离。

若候选数据集为 (X)，领域代理数据集为 (X_{\text{proxy}})，文本编码器为 (\phi)，则作者使用 Gaussian RBF kernel 的 MMD：

[ \widehat{\mathrm{MMD}}^2(A,B) = \frac{1}{n^2}\sum_{i,i’} k(a_i,a_{i’})

• \frac{1}{m^2}\sum_{j,j’} k(b_j,b_{j’})

• \frac{2}{nm}\sum_{i,j} k(a_i,b_j) ]

最终评分定义为：

[ \mathrm{DAS}(X)=-\mathrm{MMD}\bigl(\phi(X),\phi(X_{\text{proxy}})\bigr) ]

距离越小，DAS 越高，意味着候选数据与目标领域代理分布越接近。作者不直接使用 benchmark 测试集作为参照，避免把测试信息泄漏进训练数据选择。

3.4 发布可复用的 ground truth

质量指标研究最昂贵的部分，是对每个候选数据集、每个基础模型完成微调和下游评测。论文发布候选池及其实际训练表现，使后续研究者可以在相同 ground truth 上插入新的评分方法，不必每次重新建立全部比较基线。

这可能是 DataPrep-Bench 最有长期价值的资产：它把“某指标是否真的预测训练收益”从个别论文的内部实验变成可扩展的公共协议。

4. 方法详解

4.1 数据构造赛道

对领域 (D_k)，原始文档集合记为 (\mathcal{B}_k)。构造方法 (M) 生成 QA 数据：

[ \mathcal{X}^{(M)}_k=M(\mathcal{B}k)={(q_i,a_i)}{i=1}^{N_k^{(M)}} ]

随后在同一基础模型上执行监督微调，并以领域 benchmark 表现作为构造分数。所有实验都加入 Dolly-15k 作为通用 instruction-following 数据；Dolly-15k only 则是不含领域合成数据的参照组。

原始语料设计强调“非现成训练数据”：

• Science、Law、Finance、Medical 主要来自 Wikibooks、FreeBookCentre 和 Open Textbook Library 的长篇教材；
• Math 额外包含中文大学数学教材与竞赛材料；
• Science 加入 IPhO、IChO、IBO 的准备与题目材料；
• General Text 使用 FineWeb sample-10BT 中随机抽取的 150 MB 文本；
• PDF 统一通过 MinerU 转为保留章节、表格和公式结构的 Markdown。

4.2 Data-Construction-Skill 的执行流程

一次 skill-guided 构造可概括为六步：

1. 按结构把长文档切成语义相对完整的 chunk；
2. 判断 chunk 是否包含可复用知识，过滤导航、重复和噪声内容；
3. 提取定义、规则、机制、条件、例外、比较和因果关系；
4. 根据内容自适应生成 concept、reason/process、case application 三类 QA；
5. 删除依赖“本文、上节、该段落”等原文位置才能回答的样本；
6. 过滤格式错误、重复、弱支撑和幻觉样本，并记录处理状态以支持覆盖检查与断点续作。

三类样本各有目标：

论文中的 skill 版本以 Claude Opus 4.6 为 agent backbone，并在 Claude Code 风格的 ReAct 工具环境中运行。

4.3 数据质量评估赛道

对于候选数据集 (X_i)，质量指标先给出训练前预测 (q_i=Q(X_i))；再对同一基础模型微调，取得实际下游分数 (s_i)。指标得分是两组数的 Pearson 相关系数：

[ \rho(Q,D_k)=\mathrm{Pearson}({q_i},{s_i}) ]

论文同时报告双侧 (p)-value，并把 (p<0.05) 作为统计显著标准。作者选择 Pearson 而非只看排序的 Spearman，是因为 benchmark accuracy 具有数值间距：一个有用指标不仅应排对顺序，也应反映候选之间收益差距。

候选池混合 in-domain 和 out-of-domain 数据。全是领域内数据会让下游分数过于接近、相关估计不稳定；全是领域外数据又会让任务退化成简单主题识别。当前 General 有 14 个候选，其他领域有 8 至 10 个。

4.4 DAS 的实现细节

DAS 的实际计算配置为：

六个领域代理分别是 Infinity-Instruct、ODA-Math-460k、Logics-STEM、ReasonMed、Fin-o1 和 DISC-Law-SFT。代理选择是整个方法的关键假设：代理越接近真实目标能力分布，候选到代理的距离才越可能预测下游收益。

5. 实验设计

5.1 比较的构造方法

论文覆盖三类生成范式：

Direct LLM 在上下文窗口允许范围内直接读取书籍并生成 QA；DataFlow 使用专家设计的多步 pipeline；agent 则可分块、调用工具、检查输出并迭代。

构造结果分别用于 Qwen2.5-7B 和 Llama-3.1-8B 微调。统一设置为 3 epochs、cosine learning-rate scheduler、初始学习率 (5\times10^{-6})、warmup ratio 0.1，并在 8 张 H20 GPU 上形成 global batch size 32。

5.2 比较的质量指标

作者比较四类信号：

• 分布对齐：DAS；
• 质量评分：QuRating 四个维度、Deita-Quality、RewardModel、Superfiltering、FineWeb-Edu、PairQual、Perplexity；
• 数据集级相似性或多样性：BERTVendi、SimCSEVendi；
• 词汇或表示多样性：MTLD、HD-D、Ngram、Task2Vec、Deita-Complexity。

每个指标对相同候选池打分，再与三个基础模型上的真实下游表现计算相关性。

5.3 一个重要但不完全受控的设计：不统一样本量

论文让每种方法从相同原始语料“运行到自己认为完成”，不施加统一输出上限。结果差异很大：

作者认为产量是方法实际能力的一部分；但这也意味着下游结果混合了单样本质量、覆盖范围和数据数量。因此构造赛道回答的是“按默认方式部署整套方法，最终训练效果如何”，而不是严格隔离“同样样本数时谁的数据更好”。

6. 核心实验结果

6.1 合成领域数据经常降低表现

最反直觉也最重要的发现，是许多领域数据生成器不如 Dolly-15k only：

• Qwen2.5-7B 的 Math 平均分中，Dolly-only 为 23.6；多个 DataFlow、Direct LLM 和 agent 结果低于它；
• Llama-3.1-8B 的 Science 平均分中，Dolly-only 为 13.2；所有加入合成科学数据的方法都更低，DataFlow-Skill 仅 3.1；
• Qwen2.5-7B 的 General 基线为 77.7，各方法大多只在很窄范围内波动。

这不是说领域数据通常无用，而是说明：

1. 从专业材料生成“看起来正确”的 QA，并不保证训练信号与 benchmark 所需能力匹配；
2. 数据数量增加可能放大格式偏差、浅层模式或错误推理；
3. 只看生成样例或 LLM judge 分数，无法替代真实下游训练。

6.2 不同构造范式没有通用赢家

方法优势具有明显领域结构：

• DataFlow：适合处理规则明确、可系统遍历的 Finance 和 Law；Qwen2.5-7B Finance 上 DataFlow-Skill 平均 64.8，高于 Dolly-only 的 57.8；
• Direct LLM：实现简单，但受长文档截断与无覆盖跟踪影响，Finance 中三个 direct generator 都低于基线；
• Agent：在 Math、Medical、Law 的多个设置占据前列，因为可分解长文档、验证输出并回访遗漏；
• Data-Construction-Skill：在知识抽取密集领域较强，尤其 Llama-3.1-8B Finance 从 Dolly-only 的 15.1 提升到约 35，接近 20 个百分点绝对增益。

但 Skill 在 Science 上对两个基础模型都低于 Dolly-only，在 Qwen2.5-7B Medical 和 Law 也不及最佳 agent。作者推测，结构化、原子化抽取有利于知识覆盖，却不一定匹配需要长篇案例叙述或开放推理的 benchmark 答案风格。

6.3 DAS 在四个领域领先，但远非通用

三个基础模型上的领域平均 Pearson 相关如下：

DAS 在六个领域中的四个领先或并列领先，也是唯一在 Math、Science、Medical 同时超过 0.70 的指标。Math 中 Llama-3.1-8B 和 Mistral 对应相关分别为 0.93 和 0.94。

与计算量相近的强基线相比，DAS 平均每个候选数据集耗时约 306 秒；BERTVendi 为 459 秒，Deita-Quality 为 435 秒。它比二者快约 1.4–1.5 倍，但明显慢于词汇统计等廉价启发式方法。

6.4 Finance 和 Law 暴露了代理分布方法的边界

Finance 与 Law 的候选池都只有一个 in-domain 数据集和七个 out-of-domain 数据集，导致多数候选离领域代理都很远，难以形成细粒度排序。此外，通用文本 embedding 未必能表示会计惯例、法律推理格式和专业规范。

值得注意的是，这两个领域并非只有 DAS 失败：论文测试的所有指标都没有稳定取得强平均相关。因此当前证据支持的是“这些领域仍是开放挑战”，而不是“应该换用某一个现有质量分数”。

6.5 相关不等于稳健选择

论文强调指标方向的一致性，因为一个平均相关不错但在部分 (domain, model) 组合中翻转符号的指标，会主动推荐更差的数据。现有指标普遍有这种问题：

• QuRating-Expertise 在 Math、Science 较好，在 General、Medical 明显变弱；
• Superfiltering 在 Finance 最强，在 Math、Science 接近无信息；
• BERTVendi 在 General 有一定作用，跨领域表现不稳。

DataPrep-Bench 因此把问题从“哪个分数最高”推进到“哪个分数在未知部署条件下不会反向误导”。

7. 相关工作：这篇论文位于哪条研究链上

7.1 LLM 合成训练数据

• Self-Instruct 从少量人工 seed 自举 instruction；
• WizardLM / Evol-Instruct 通过改写提升指令复杂性；
• UltraChat 用主题与角色采样扩展多轮对话；
• UltraMedical、MegaScience 等工作把生成锚定在专业长文档。

DataPrep-Bench 的区别不是再提出一种合成策略，而是把多种策略放进相同原始语料和训练协议中比较。

7.2 数据处理 workflow 与 agent

DataFlow、Data-Juicer 等系统把清洗、切分、评分、改写和验证组织为模块化 pipeline。新一代 agent 方法则让模型自主规划语料遍历和工具调用。

Data-Construction-Skill 位于两者之间：它不像固定 workflow 那样完全预定义执行顺序，也不让所有规则只存在于 agent prompt，而是以可复用 skill 提供控制接口。

7.3 数据质量与选择指标

既有路线包括 LLM-as-a-judge、教育价值 classifier、perplexity、reward model、梯度影响估计、Vendi Score 和词汇多样性。LESS 等方法从模型梯度出发寻找更有影响力的样本；DAS 则从候选与目标代理的整体分布距离出发。

它的创新不是 MMD 本身，而是把 MMD 与无测试泄漏的领域代理结合，并在共享候选池与真实下游收益上跨模型验证。

7.4 数据中心 benchmark

• DataComp 通过 CLIP 下游表现评测图文数据过滤；
• DataComp-LM 将相似思想扩展到语言模型语料；
• DataPerf 覆盖数据选择、调试与清洗任务；
• DCBENCH 聚焦表格数据的 feature engineering 和 slice discovery。

DataPrep-Bench 的增量在于明确把 LLM、workflow 和 agent 作为数据准备者，并把数据构造与质量预测放在同一框架中。

8. 局限与审慎解读

8.1 输出数据量不受控，质量与数量被混在一起

构造方法的总产量从约 1.2 万到 84.9 万不等。训练表现因此无法归因于单样本质量、覆盖面或数量中的某一项。论文的部署式比较有实践意义，但还需要固定样本量、固定 token 数和等生成成本的补充实验。

8.2 候选池偏小，相关系数可能不稳定

专门领域只有 8 至 10 个候选数据集。小样本 Pearson 相关容易被单个极端点影响，也限制统计功效。Science 某一基础模型上的 DAS 没有达到显著性，作者同样将其归因于候选池规模。

更稳健的 benchmark 应扩展领域内候选、报告置信区间，并测试候选池增删后的排名稳定性。

8.3 代理数据集的选择会决定 DAS 的上限

DAS 假设代理数据能代表目标能力分布，但代理本身可能：

• 与 benchmark 只在主题词上接近，推理形式却不同；
• 含有特定生成模型的风格偏差；
• 覆盖目标领域的一部分而非全部；
• 与候选数据存在隐藏重复。

论文用“不与测试集样本重叠”避免直接泄漏，却没有系统消融不同代理、不同 embedding 模型和不同 kernel bandwidth 的敏感性。

8.4 Benchmark 可能奖励答案风格，而不只奖励知识

作者对 Skill 在 Medical、Law 的失利解释之一，是某些普通 agent 生成的长案例式回答更贴近下游 benchmark 格式。这意味着构造结果可能同时学习领域知识和评测输出习惯。

若目标是可迁移的数据准备能力，还应加入格式变化、跨 benchmark 迁移和 held-out task family，检验收益是否超越特定答案风格。

8.5 下游训练成本很高

“真实训练收益”是可信 ground truth，但为每个候选数据集和基础模型都微调一次成本巨大。论文开放现有记录降低了复用成本，却不能自动覆盖新模型、新领域或新训练配方。随着模型架构和 post-training 方法变化，旧 ground truth 可能失效。

8.6 缺少污染、事实正确性和安全维度的独立审计

下游得分高不等于数据在所有意义上都好。benchmark 没有把以下问题单独作为约束：

• 候选数据与评测集的语义污染；
• 生成 QA 的事实错误率与引用可追溯性；
• 隐私、版权、有害内容或代表性偏差；
• 数据对非目标能力和通用能力的遗忘影响。

因此，DAS 或下游相关性应作为选择信号之一，而不是完整的数据治理方案。

9. 应用影响

9.1 训练数据 agent 的验收标准

开发自动化语料构造系统时，可以把验收从“抽查 100 条样例”升级为分层协议：

1. schema、去重、来源支撑等静态检查；
2. 领域覆盖与分布对齐检查；
3. 小规模 proxy model 微调；
4. 关键目标 benchmark 的真实增益；
5. 通用能力回归与安全审计。

DataPrep-Bench 提供的是第 3、4 层的标准化思路。

9.2 低成本候选数据预筛

生产环境通常不能对每个候选数据集都完成全量微调。DAS 可先排除明显偏离目标领域的候选，再对少量高分候选做真实训练。这种 coarse-to-fine 策略比直接把 DAS 当最终裁决更符合论文证据。

9.3 Skill 化的数据工程规范

Data-Construction-Skill 展示了一个可迁移模式：把输出 schema、无效模式、质量 rubric、覆盖记录和恢复机制从一次性 prompt 抽出，成为版本化、可测试、可复用的 skill。它可用于企业知识库转 SFT 数据、教材转练习题、客服记录转训练对话和专业文档抽取。

但不同领域需要不同 skill：科学推理、法律案例、医疗诊断和财务计算不应共享完全相同的样本结构与验证规则。

9.4 数据供应商与模型团队的共同语言

数据供应商常报告样本数、去重率和 LLM judge 分数，模型团队关注训练曲线与 benchmark。DataPrep-Bench 的双赛道协议可把两方指标对齐到“预测分数是否能解释真实训练收益”，减少只围绕表面数据质量争论。

9.5 对模型训练策略的提醒

论文结果直接反驳“领域合成数据只要足够多就会有益”。实践中更安全的流程是：

• 始终保留无领域数据的强基线；
• 分领域、分模型验证，不把一个领域的质量分数外推到另一个领域；
• 监控目标能力提升与通用能力回退；
• 对数据量做 scaling curve，而不是只比较单一混合比例；
• 在部署前检查指标方向是否跨模型一致。

10. 总结判断

DataPrep-Bench 最重要的贡献，是把 LLM 数据准备从“生成内容看起来不错”拉回到可证伪的训练结果：相同来源、相同模型、相同训练协议下，数据究竟有没有让模型变强。

其双赛道设计也抓住了完整生产链的两个瓶颈：先用 agent 或 workflow 构造监督，再在付出训练成本前判断候选数据的价值。Data-Construction-Skill 说明结构化规范和可恢复执行对长文档知识抽取很重要；DAS 说明与目标分布的接近程度，在数学、科学和医疗等领域比许多表面质量或多样性指标更能解释下游收益。

不过，论文同样用自己的结果限制了结论边界：没有通用最佳构造方法，没有跨领域稳定的单一质量分数，更多合成数据甚至经常有害。候选池规模、样本量不受控、代理选择敏感性和训练成本也都需要后续工作补足。

更稳妥的工程结论是：把 DataPrep-Bench 当作数据 agent 的端到端验收框架，把 DAS 当作训练前筛选信号，把 Skill 当作可版本化的数据构造规范；不要把任何一个组件当成无需下游验证的自动质量裁决器。

参考资料

1. Hugging Face Papers：https://huggingface.co/papers/2607.20465
2. arXiv 摘要：https://arxiv.org/abs/2607.20465
3. arXiv 完整 HTML：https://arxiv.org/html/2607.20465v1
4. arXiv PDF：https://arxiv.org/pdf/2607.20465
5. DataPrep-Bench 项目页：https://datapreparationbench.github.io/
6. DataPrep-Bench 代码：https://github.com/OpenDCAI/Data-Preparation-Bench
7. DataPrep-Bench 数据集：https://huggingface.co/datasets/lhpku20010120/Data-Prep-Bench
8. Self-Instruct：https://arxiv.org/abs/2212.10560
9. WizardLM / Evol-Instruct：https://arxiv.org/abs/2304.12244
10. UltraChat：https://arxiv.org/abs/2305.14233
11. LESS：https://arxiv.org/abs/2402.04333
12. DataComp：https://arxiv.org/abs/2304.14108
13. DataComp-LM：https://arxiv.org/abs/2406.11794
14. DataPerf：https://arxiv.org/abs/2207.10062