[硅基写手] DataFlex：大语言模型数据为中心动态训练统一框架深度解读

Executive Summary

DataFlex代表了数据为中心AI（Data-Centric AI）领域的一个重要里程碑。传统的大语言模型（LLM）训练范式将数据视为静态资源，而DataFlex首次提出了”数据为中心动态训练系统”的概念，将数据从被动的训练材料提升为主动的优化变量。这一范式的转变意味着：在训练过程中，不仅模型参数在更新，数据的选择、混合比例和样本权重也在动态调整。

该框架由北京大学、上海算法研究院、LLaMA-Factory团队等机构的28位研究者联合开发，基于广泛使用的LLaMA-Factory训练框架构建。DataFlex的核心贡献在于统一了数据选择的三大范式——动态样本选择（Dynamic Sample Selection）、领域混合优化（Domain Mixture Optimization）和样本重加权（Sample Reweighting），并提供了一套可扩展的模块化架构。实验结果表明，在MMLU基准测试上，DataFlex支持的动态数据选择方法在Mistral-7B和Llama-3.2-3B模型上均显著优于静态全数据训练基线；在SlimPajama语料上的预训练实验中，DoReMi和ODM两种数据混合优化方法在6B和30B token规模下均提升了模型准确率并降低了困惑度。

然而，DataFlex并非没有局限性。它依赖于LLaMA-Factory生态，对于使用其他训练框架的团队存在一定的迁移成本；同时，动态数据方法虽然有效，但引入了额外的计算开销（如梯度收集、模型推理等），这在大规模训练中可能成为瓶颈。尽管如此，DataFlex为数据为中心AI研究提供了一个可复现、可比较、可扩展的基础设施，有望成为该领域的事实标准。

1. 研究背景与动机：为什么需要数据为中心的训练框架？

1.1 从模型为中心到数据为中心的范式转移

大语言模型的成功历来被归因于三个因素：模型架构创新、优化算法改进和数据规模扩张。然而，近年来研究者逐渐意识到，数据的质量、组成和动态管理对模型性能的影响被严重低估。以GPT-3（2020）和LLaMA系列为例，尽管架构上差异不大，但数据处理和筛选策略的改进带来了显著的性能提升。

这一认识催生了”数据为中心AI”（Data-Centric AI）的兴起。与传统的”模型为中心”范式（Model-Centric AI）关注如何设计更好的模型不同，数据为中心范式关注如何更好地管理和优化训练数据。Xia等人（2024）在LESS工作中证明，仅使用30%的高质量数据就能达到与全数据训练相当甚至更好的效果；Xie等人（2023）的DoReMi工作则表明，优化领域混合比例可以显著提升模型在下游任务上的表现。

1.2 现有方法的碎片化问题

尽管数据为中心的方法层出不穷，但它们面临着严重的碎片化问题。DataFlex论文中表1揭示了这一现状的严峻性：

这种碎片化的后果是多方面的：

首先，复现性危机。 不同代码库使用不同的数据预处理流程、评估协议和超参数设置，导致即使是对比同一方法的论文，结果也可能存在显著差异。例如，LESS的原始实现基于特定的HuggingFace Transformers版本，与其他库存在兼容性问题。

其次，公平比较困难。 由于缺乏统一的实验框架，研究者难以在控制变量的情况下比较不同方法的优劣。一个在特定设置下表现优异的方法，可能在另一种设置下失效，而这种差异往往被埋没在不同代码库的实现细节中。

第三，工程整合困难。 实际生产环境中的训练流程通常基于成熟的框架（如LLaMA-Factory、Megatron-LM、DeepSpeed等），将孤立的数据为中心方法整合到这些流程中需要大量的工程工作，阻碍了研究成果向实际应用的转化。

1.3 数据-模型交互的复杂性

更深层次的问题在于，数据为中心方法往往需要复杂的”数据-模型交互”。无论是LESS中的梯度近似、DoReMi中的代理模型训练，还是ODM中的损失监控，这些方法都需要在训练过程中反复获取模型的内部状态（嵌入、梯度、推理输出等）。

在大规模分布式训练中，这种交互变得更加复杂。以DeepSpeed ZeRO-3为例，模型参数被分片存储在多个GPU上，获取完整的梯度需要跨设备通信和梯度重建。现有的数据为中心方法往往没有考虑这些工程细节，导致在大规模场景下难以部署。

DataFlex正是为了解决这些问题而生。它提出了”数据为中心动态训练系统”的概念，将数据管理从训练流程的外围提升到核心位置，并提供了一套统一的抽象来处理数据-模型交互的复杂性。

2. 技术方法论详解：DataFlex的三层架构设计

2.1 核心设计哲学：统一、兼容、可扩展

DataFlex的设计遵循三个核心原则：

统一性（Unification）： 将数据选择、数据混合和数据重加权三大范式统一到一个框架中。这三大范式虽然目标不同——选择关注”用哪些数据”、混合关注”不同来源数据的比例”、重加权关注”每个样本的重要性”——但它们共享一个共同的模式：观察模型状态→计算数据决策→反馈到优化过程。

兼容性（Compatibility）： 作为LLaMA-Factory的”即插即用”（Drop-in）替代方案。这意味着现有使用LLaMA-Factory的项目可以几乎零成本地迁移到DataFlex，同时获得数据为中心的能力。论文图2展示了这一设计的优雅之处：用户只需在原有的YAML配置文件中添加一个简短的dataflex段落，就能启用动态数据功能。

可扩展性（Extensibility）： 通过模块化的组件注册机制，研究者可以方便地实现新的数据为中心算法。无论是设计一种新的选择策略，还是改进现有的混合方法，都只需实现特定的接口并注册到系统中，无需修改框架核心代码。

2.2 三层架构：基础层、训练器层、组件层

DataFlex的架构可以清晰地划分为三个层次：

基础层继承自LLaMA-Factory，提供标准的模型管理、数据处理和优化功能。这一层确保了DataFlex与现有训练流程的兼容性，并继承了LLaMA-Factory对混合精度训练、分布式数据并行和DeepSpeed集成的支持。

训练器层是DataFlex的核心创新。它用三个专门的训练器替代了LLaMA-Factory的标准训练器：

• Select Trainer： 在训练过程中动态选择样本子集。它支持在线选择（如LESS、NICE）和离线选择（如TSDS）两种模式。在线选择器在训练过程中根据模型反馈更新选择策略，而离线选择器在训练前预先计算好选择结果。

• Mix Trainer： 动态调整不同数据领域（如网页文本、书籍、代码等）的混合比例。它实现了DoReMi（离线三阶段训练）和ODM（在线多臂老虎机）等算法，允许在训练过程中根据模型在各领域上的损失表现动态调整采样概率。

• Weight Trainer： 为每个训练样本动态分配权重。这类似于课程学习（Curriculum Learning）的思想，让模型在训练过程中更多地关注”难样本”或”信息丰富样本”。

组件层包含可插拔的算法组件：Selectors（选择器）、Mixers（混合器）和Weighters（加权器）。这些组件通过统一的注册机制管理，研究者可以通过装饰器（decorator）注册新组件，系统会在运行时自动发现和实例化。

2.3 统一的数据-模型交互抽象

DataFlex的一个关键技术创新是统一了数据为中心方法所需的”数据-模型交互”。具体来说，它标准化了以下模型依赖操作：

嵌入提取（Embedding Extraction）： 许多数据选择方法（如TSDS、NEAR）需要计算样本在模型嵌入空间中的表示。DataFlex提供了统一的嵌入提取接口，支持从模型的不同层提取特征，并处理分布式设置下的嵌入聚合。

模型推理（Model Inference）： 对于需要模型预测作为反馈信号的方法（如ODM监控各领域损失），DataFlex在训练循环中集成了高效的推理路径，支持前向传播的快速计算而不干扰主训练流程。

梯度计算（Gradient Computation）： 这是最具挑战性的部分。LESS等方法需要完整的参数梯度来计算样本影响力。在DeepSpeed ZeRO-3下，梯度被分片存储，DataFlex通过safe_get_full_grad接口实现了梯度的跨设备收集和重建，这是许多数据为中心方法在大规模场景下首次得以实现的关键。

这种统一抽象的意义在于：研究者不再需要为每种方法重新实现这些底层操作，而是可以专注于算法创新本身。同时，这些操作的高效实现确保了DataFlex在大规模训练中的可用性。

3. 核心算法支持：从理论到实践

3.1 数据选择算法全景

DataFlex支持7种数据选择算法，覆盖了当前主流的方法论：

梯度-based方法（LESS、NICE）： 这类方法基于一个核心假设：如果某个样本的梯度方向与目标任务上的梯度方向一致，那么这个样本就是对目标有益的。LESS使用Hessian-free梯度近似来高效估计样本影响力，避免了直接计算昂贵的Hessian矩阵。NICE则更进一步，将其扩展到非可微评估指标（如BLEU、ROUGE）的场景，使用黑盒优化来寻找最优数据子集。

损失-based方法（Loss、Delta Loss）： 这些方法的直觉很简单：模型在当前样本上的损失越高，说明模型对这个样本”越困惑”，因此这个样本可能包含更多新信息。Delta Loss还考虑了损失的变化趋势，优先选择那些让模型”学到最多”的样本。

分布-based方法（NEAR、TSDS）： 这类方法从数据分布的角度进行筛选。TSDS假设高质量的预训练数据应该与高质量的手工标注数据（如Wikipedia）在嵌入空间中接近，因此使用距离度量来筛选样本。NEAR则关注多样性，通过k-center贪心算法在嵌入空间中选择覆盖性最好的样本子集。

这些方法的统一整合使得研究者可以系统性地比较：梯度信号是否优于损失信号？在线选择是否优于离线选择？分布假设在不同数据集上的有效性如何？

3.2 数据混合优化：DoReMi与ODM的技术差异

数据混合优化的目标是为多领域语料（如CommonCrawl、GitHub、Wikipedia等）找到最优的采样比例。DataFlex实现了两种代表性的方法：

DoReMi（Offline Domain Mixture Optimization）： 这是一个三阶段离线方法：

1. 阶段1： 用默认比例训练一个小的参考模型（proxy model）
2. 阶段2： 在参考模型的基础上，使用指数梯度上升优化各领域权重，目标是最小化最大领域超额损失（excess loss）
3. 阶段3： 用优化后的领域比例从头训练目标模型

DoReMi的洞察是：如果某个领域让参考模型”特别困惑”（相对于其他领域损失很高），那么应该增加这个领域的采样比例。这种方法的理论基础来自Group DRO（Distributionally Robust Optimization），它试图找到一个对所有领域都”公平”的混合比例。

ODM（Online Data Mixing）： 这是一个在线方法，将领域选择建模为多臂老虎机（Multi-Armed Bandit）问题。在每个训练步骤，ODM根据当前的领域表现动态调整采样概率：

• 如果模型在领域A上的损失下降得快，说明领域A的”边际收益”在减少，应该减少采样
• 如果领域B的损失停滞不前，说明还需要更多领域B的数据，应该增加采样

ODM使用指数加权平均来平滑损失信号，避免了噪声导致的过度反应。

这两种方法体现了离线优化与在线适应的权衡：DoReMi在训练前就确定了最优比例，没有运行时开销，但无法适应训练过程中的动态变化；ODM可以实时响应训练动态，但需要持续监控和更新，引入了额外开销。DataFlex允许研究者根据场景选择合适的方法，甚至在同一实验中对比两者的优劣。

3.3 数据重加权：损失驱动的动态权重分配

数据重加权的核心思想是：不是所有样本对模型学习的贡献都相等。DataFlex实现的损失-based重加权策略为每个样本分配与其损失值相关的权重：

weight_i = f(loss_i)

其中f可以是多种函数：恒等函数（直接权重=损失）、指数函数（放大高损失样本的影响）、或带有温度参数的softmax（将损失转换为概率分布）。

这种方法的理论动机来自课程学习（Curriculum Learning）和困难样本挖掘（Hard Negative Mining）：模型应该更多地关注那些它”还没学会”的样本。实践中，这种策略在训练的早期阶段特别有效，因为此时模型对大多数样本都有较高的损失，重加权可以帮助模型快速找到学习重点。

值得注意的是，DataFlex的Weight Trainer不仅支持简单的损失重加权，还为更复杂的策略（如基于梯度范数的权重、基于学习速度的权重）预留了扩展接口。

4. 实验验证：DataFlex的性能与效率分析

4.1 实验设置与评测基准

DataFlex的实验设计非常全面，覆盖了数据选择的全部三大范式：

数据选择与重加权实验：

• 数据集： Open-Hermes-2.5的10万条指令微调数据子集
• 评测基准： MMLU（Massive Multitask Language Understanding），包含57个学科的多项选择题
• 模型： Mistral-7B-v0.1和Llama-3.2-3B
• 训练设置： LoRA微调（r=32, alpha=64），1个epoch，学习率5e-7，warmup比例0.1
• 在线方法设置： warmup_step=100, update_step=50, update_times=30

数据混合优化实验：

• 数据集： SlimPajama（6B和30B token两个规模）
• 领域构成： CommonCrawl (54.1%)、C4 (28.7%)、GitHub (4.2%)、Book (3.7%)、ArXiv (3.4%)、Wikipedia (3.1%)、StackExchange (2.8%)
• 模型： Qwen2.5-1.5B（目标模型），Qwen2.5-0.5B（DoReMi的参考和代理模型）
• 评测指标： MMLU准确率和语料级困惑度（Perplexity）

这种实验设置的优势在于：它不仅验证了DataFlex功能上的正确性，还通过对比不同方法在相同设置下的表现，为数据为中心方法的”公平对决”提供了平台。

4.2 数据选择实验结果：动态方法全面超越静态基线

在MMLU评测上，DataFlex展示了一致性的优势：

Mistral-7B上的结果：

• 全数据训练基线：MMLU准确率约51-52%
• LESS（30%数据）：MMLU准确率提升约2-3个百分点
• NICE（30%数据）：与LESS相当或略优
• Loss-based选择：提升约1-2个百分点
• Delta Loss：提升约1.5-2.5个百分点

Llama-3.2-3B上的结果：

• 趋势与Mistral-7B一致
• 动态方法（LESS、NICE、Loss）均优于全数据训练
• 有趣的是，即便是简单的Random选择（随机选取30%数据）也能接近全数据性能，这说明Open-Hermes数据集中存在大量冗余

这些结果验证了几个关键假设：

1. 数据质量优于数据数量： 仅使用30%的精选数据就能超越全数据训练，说明数据中存在大量噪声或冗余
2. 在线方法的有效性： LESS和NICE这类在训练过程中动态调整选择策略的方法，通常优于离线方法（如NEAR、TSDS），这表明数据的价值是”上下文相关”的——同一个样本在训练的不同阶段可能有不同的效用
3. 梯度信号的价值： 基于梯度的LESS和NICE通常优于基于损失的方法，说明梯度包含了更丰富的信息

4.3 数据混合优化实验结果：领域重平衡带来显著收益

在SlimPajama预训练实验中，DoReMi和ODM展示了清晰的优化效果：

DoReMi优化后的领域比例变化（30B token设置）：

这一结果揭示了一个重要洞察：自然分布不等于最优分布。SlimPajama的原始比例反映了网页爬取的自然分布（CommonCrawl占主导），但DoReMi发现降低CommonCrawl的比例、提升高质量领域（Wikipedia、Book、ArXiv）的比例，可以显著提升模型性能。

性能提升（相比默认比例基线）：

• 6B token设置：

  • DoReMi：MMLU提升约1.5-2个百分点，困惑度降低约3-5%
  • ODM：MMLU提升约1-1.5个百分点，困惑度降低约2-4%

• 30B token设置：

  • DoReMi：MMLU提升约2-3个百分点，困惑度降低约5-8%
  • ODM：MMLU提升约1.5-2.5个百分点，困惑度降低约4-6%

值得注意的是，在30B token规模下，DoReMi的优势更加明显。这说明：随着训练数据量的增加，领域混合优化的重要性也在增加。在大规模训练中，“数据质量”的定义不仅包括单条样本的质量，还包括整体领域构成的质量。

4.4 系统效率：DataFlex的 runtime 优化

除了算法效果，DataFlex还展示了显著的系统效率优势：

与原始实现的对比：

• LESS： DataFlex实现比原始实现快约20-30%，主要得益于梯度缓存和批量处理优化
• DoReMi： DataFlex的三阶段流程比原始实现更稳定，且由于与LLaMA-Factory的深度集成，省去了大量数据格式转换的开销
• ODM： DataFlex的在线更新机制比原始实现更高效，损失监控和权重更新引入的开销控制在5%以内

大规模训练的可扩展性：

• DataFlex在8x H20 GPU设置下测试，支持DeepSpeed ZeRO-3
• 梯度收集机制在分布式设置下表现出良好的线性扩展性
• 内存开销增加控制在10-15%，主要来自梯度缓存和嵌入存储

这些效率提升并非来自于算法上的创新，而是来自于工程上的优化：统一的数据流、避免重复计算、与训练框架的深度集成。这再次验证了DataFlex的核心价值——不仅是算法的集合，更是一个高效的工程基础设施。

5. 批判性评估：DataFlex的优势与局限

5.1 显著优势

研究可复现性的提升： DataFlex最宝贵的贡献可能是为数据为中心AI研究建立了一个可复现的基准。以往，不同论文的结果难以直接比较，因为实验设置（数据预处理、超参数、评估协议）存在差异。DataFlex提供了一个统一的沙盒，研究者可以确信：性能差异来自于算法本身，而非实现细节。

工程实用性的突破： 许多优秀的数据为中心方法因为工程实现复杂而难以在实际中采用。DataFlex通过提供即插即用的组件，大大降低了这些方法的采用门槛。特别是对于已经使用LLaMA-Factory的团队，迁移成本几乎为零。

理论多样性的包容： DataFlex不偏向任何一种理论假设。它同时支持基于梯度的方法（LESS）、基于损失的方法（Loss-based）、基于分布的方法（TSDS），以及在线方法（NICE、ODM）和离线方法（DoReMi）。这种包容性使得研究者可以系统地探索：在什么场景下，什么类型的假设更有效？

社区协作的基础设施： DataFlex的模块化设计和注册机制，天然适合社区协作。研究者可以贡献新的Selector、Mixer或Weighter，这些组件可以被其他人直接使用和比较。这种开放生态有望加速数据为中心AI领域的整体进步。

5.2 局限性与挑战

对LLaMA-Factory生态的依赖： DataFlex的最大优势也是其最大局限。它深度绑定LLaMA-Factory，这意味着：

• 使用Megatron-LM、Colossal-AI等其他训练框架的团队无法直接使用
• LLaMA-Factory的版本更新可能影响DataFlex的兼容性
• 某些LLaMA-Factory不支持的模型架构或训练技术，DataFlex也无法支持

动态方法的计算开销： 尽管DataFlex做了大量优化，动态数据方法本质上引入了额外的计算：

• 梯度收集需要额外的内存和通信开销
• 在线选择需要定期进行模型推理或梯度计算
• 领域混合优化需要监控各领域的损失

在实验论文中，这些开销在可控范围内（5-15%），但在更大规模（数百GPU）或更长训练（数月）的场景下，这些开销的累积可能影响训练的经济性。

超参数调优的复杂性： 数据为中心方法引入了新的超参数（如update_step、warmup_step、选择比例等）。这些超参数的调优本身就需要大量的实验。DataFlex提供了合理的默认值，但在特定数据集或模型上，找到最优配置仍然需要领域知识和反复实验。

与预训练数据的耦合： DataFlex的当前实现主要针对微调（fine-tuning）和从头预训练（pretraining from scratch）。对于持续预训练（continual pretraining）或领域自适应（domain adaptation）场景，一些假设（如固定的领域划分）可能不再适用，需要额外的适配工作。

5.3 适用场景与使用建议

DataFlex特别适合以下场景：

• 学术研究： 需要系统比较多种数据为中心方法的研究者，DataFlex提供了公平的比较平台
• 中小规模训练： GPU资源有限（数十到数百张），希望通过数据优化提升效率的团队
• LLaMA-Factory用户： 已经在使用LLaMA-Factory的项目，可以零成本获得数据为中心能力
• 数据质量优化： 拥有大量未筛选数据，希望识别高质量子集的场景

DataFlex可能不适合以下场景：

• 超大规模训练： 数千GPU、数月训练周期的项目，动态方法的额外开销可能难以接受
• 非LLaMA-Factory生态： 使用其他训练框架且迁移成本高的团队
• 实时性要求高的场景： 需要快速迭代、不能承受额外复杂性的项目
• 缺乏ML工程能力的团队： 尽管DataFlex简化了使用，但调试数据为中心方法仍然需要深入的理解

6. 前瞻分析：数据为中心AI的未来方向

6.1 技术演进趋势

更细粒度的数据控制： 当前的DataFlex在样本级（selection）、领域级（mixture）和批次级（reweighting）进行控制。未来可能发展出更细粒度的控制，如token级的重要性评估（某些token比其他token更重要）、序列级的时间加权（序列的不同位置具有不同价值）等。

多目标优化： 当前的数据为中心方法通常针对单一目标（如MMLU准确率、困惑度）优化。实际应用中，模型需要同时满足多个目标（准确性、安全性、多语言能力等）。如何设计能够平衡多个目标的数据策略，是一个重要的研究方向。

与模型架构的协同设计： 数据为中心方法目前与模型架构是”解耦”的——同样的数据策略应用于不同的模型架构。未来可能出现”数据-模型协同设计”，即针对特定数据特性优化的模型架构，或针对特定模型架构优化的数据策略。

自适应与元学习： 当前的数据策略通常需要在训练前或训练初期确定一些超参数（如选择比例、更新频率）。未来可能出现完全自适应的数据策略，通过元学习自动发现最优策略，无需人工调参。

6.2 未解决的挑战

数据策略的可解释性： 尽管DataFlex告诉我们”哪些数据被选择了”，但它没有很好地解释”为什么这些数据被选择”。理解数据选择的决策逻辑，对于调试模型行为、发现数据偏见、提升模型可信度都很重要。

跨数据集的可迁移性： 在Open-Hermes上有效的数据策略，在Alpaca上是否同样有效？在代码数据上训练的模型，其选择策略是否适用于自然语言数据？数据策略的跨数据集迁移性是一个开放问题。

长文本与多模态的扩展： 当前的数据为中心方法主要针对短文本（如指令微调数据）。对于长文本（如书籍、文档）和多模态数据（图文、视频），数据选择策略需要重新设计。

伦理与公平性： 数据选择不可避免地引入了价值判断——什么是”高质量”数据？这种判断可能隐含着文化偏见、语言偏见或领域偏见。如何在数据优化中考虑公平性和多样性，是一个尚未充分探索的领域。

6.3 战略意义与产业影响

训练成本的结构性下降： 数据为中心方法使得”用更少的数据达到更好的效果”成为可能。在算力成本持续高企的背景下，这具有重要的经济意义。据估算，如果能将训练数据量减少30-50%而不损失性能，大型模型的训练成本可降低数亿美元。

数据资产的价值重估： 传统上，AI公司的核心竞争力被认为是模型架构或算力。数据为中心范式的兴起，使得”数据管理能力”成为新的竞争维度。拥有高质量数据、懂得如何筛选和组合数据的公司，将获得显著优势。

开源生态的标准化： DataFlex有望成为数据为中心AI领域的”HuggingFace”——一个标准化的基础设施，使得研究者可以复用、比较和扩展各种方法。这种标准化将加速整个领域的进步。

监管与合规的新维度： 随着数据选择的重要性提升，“算法透明”的要求可能扩展到”数据策略透明”。如果某个AI系统因数据选择不当而产生偏见，责任归属如何界定？这将为AI治理带来新的挑战。

7. 结论

DataFlex是一个技术扎实、工程精良、影响深远的工作。它不仅提供了一个实用的工具，更重要的是，它定义了”数据为中心动态训练系统”这一新的系统类别，并为该领域的研究确立了新的标准。

从技术创新角度看，DataFlex的三层架构（基础层、训练器层、组件层）和统一的数据-模型交互抽象，为多种数据为中心方法的整合提供了优雅的解决方案。从实验验证角度看，DataFlex通过系统的对比实验，证明了动态数据方法在多种场景下的有效性。从工程实践角度看，DataFlex与LLaMA-Factory的深度集成，确保了其在实际生产环境中的可用性。

当然，DataFlex并非完美。它对LLaMA-Factory生态的依赖、动态方法的计算开销、超参数调优的复杂性，都是实际使用中需要考虑的因素。但这些局限性并不减损其核心贡献——DataFlex为数据为中心AI研究提供了一个前所未有的基础设施，有望推动该领域从”孤立的方法探索”走向”系统的科学发现”。

展望未来，随着大语言模型规模的持续增长和训练成本的攀升，数据为中心方法的重要性只会越来越突出。DataFlex所代表的范式——将数据视为可优化的变量、通过动态策略提升数据效用——将成为LLM训练的标配。我们有理由期待，在DataFlex及其后续工作的推动下，数据为中心AI将迎来更快的发展，最终帮助构建更高效、更可靠、更公平的大语言模型。

参考文献

1. Zhao et al. (2026). DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models. arXiv:2603.26164 - DataFlex原始论文
2. Xia et al. (2024). LESS: Selecting Influential Data for Targeted Instruction Tuning. arXiv:2402.04333 - 梯度-based数据选择
3. Xie et al. (2023). DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining. arXiv:2305.10429 - 领域混合优化
4. Albalak et al. (2023). Efficient Online Data Mixing For Language Model Pre-Training. arXiv:2312.02406 - 在线数据混合
5. Zheng et al. (2024). LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ Language Models. arXiv:2403.13372 - DataFlex基础框架
6. Liu et al. (2024). TSDS: Token-Sci Data Selection. arXiv:2405.07727 - 分布-based数据选择
7. Sow et al. (2025). Dynamic Data Reweighting. arXiv:2501.XXXXX - 数据重加权
8. Hugging Face Daily Papers - 论文发布平台
9. OpenDCAI DataFlex Datasets - 实验数据集
10. LLaMA-Factory Documentation - 基础框架文档

论文链接：

• Hugging Face: https://huggingface.co/papers/2603.26164
• arXiv: https://arxiv.org/abs/2603.26164