LLM-as-a-Coach：研究方法与 Experiential Learning 机制

#技术研究 #研究方法 #知识蒸馏

逐步拆解 Experiential Learning 的 coach 反馈、可迁移经验提炼、条件 teacher 与 on-policy reverse KL，说明训练数据、关键超参数、评测设计、反馈带宽假说及落地所需的白盒能力。

1. 问题形式化

给定训练数据中的 prompt 与 prompt-specific rubrics：

(x, \mathcal{R}_x) \sim \mathcal{D}

当前 policy 生成 response：

y \sim \pi_\theta(\cdot \mid x)

反馈模型 $M$ 读取 $(x, y, \mathcal{R}_x)$ 。RL 与 EL 使用相同的反馈模型和 rubrics，但抽取并消费不同的输出。

RL baseline

Judge 输出分析与 1–10 分，训练只保留分数 $r$ ：

\max_\theta \; \mathbb{E}_{(x,\mathcal{R}_x), y}[r], \qquad r=\operatorname{ExtractReward}(M(x,y,\mathcal{R}_x))

论文用 Rubrics as Rewards 实现评分，再用 GRPO 更新 policy。

EL

Coach 输出 rubric analysis，并把它提炼成 transferable experiential knowledge $e$ ：

e=\operatorname{ExtractKnowledge}(M(x,y,\mathcal{R}_x))

然后让 teacher 在看到 $e$ 的条件下，对 policy 自己生成的每个 prefix 给出 token distribution。Policy 最小化：

\mathcal{L}(\theta)= \mathbb{E}\left[ \frac{1}{|y|}\sum_{t=1}^{|y|} D_{\mathrm{KL}}\left( \pi_\theta(\cdot\mid x,y_{<t}) \,\|\, \pi_{\text{teacher}}(\cdot\mid e,x,y_{<t}) \right) \right]

这里使用的是 reverse KL（student 到 teacher）。直观上，它鼓励 policy 把概率质量集中到 experience-conditioned teacher 认为合理的 token 区域，而不是仅提高一个整段 response 的分数。

2. 一次训练更新经历什么

flowchart TD
    A["从 WildChat-IF 采样 prompt 与 rubrics"] --> B["当前 policy 采样 on-policy response"]
    B --> C["Coach 按 rubrics 分析 response"]
    C --> D["提炼 transferable experience"]
    D --> E["将 experience 加入 teacher context"]
    B --> F["取 response 的每个 token prefix"]
    E --> G["Teacher 输出条件 token distribution"]
    F --> G
    F --> H["Policy 输出当前 token distribution"]
    G --> I["计算 top-256 token 上的 reverse KL"]
    H --> I
    I --> J["更新 policy 参数"]

需要注意，teacher 并不是生成一条“改好后的标准答案”供 student 做 SFT。它在 student 已经走过的 prefix $y_{<t}$ 上给出下一 token distribution，所以监督始终落在当前 policy 会访问到的状态附近。

3. Coach 到底输出什么

论文附录中的 coach prompt 包含三步：

对每条 rubric 分析 response 的满足情况；
给出 1–10 分——EL 训练并不使用这个分数；
在 <experience> 标签中提炼 general、high-level、widely applicable insight，避免只复述当前样例细节。

随后 teacher 收到一个很短的模板：先呈现 experience，再要求解决原 prompt。Teacher 不直接看到完整 critique，也不直接看到原 response；但计算 KL 时会 teacher-force 在原 response prefix 上。

这种设计包含两次信息变换：

flowchart LR
    A["具体 response 的多维评价"] --> B["可迁移自然语言经验"]
    B --> C["Teacher distribution 的变化"]
    C --> D["Policy 参数更新"]

第一步负责去掉实例噪声，第二步把自然语言建议翻译成 dense supervision。消融结果表明，第一步不是可有可无：原样使用 full critique 会把 teacher 推向“评价者语气”，而不是更好的 task-solving distribution。

4. Teacher 的两种选择

4.1 Fixed teacher

默认实验始终使用训练开始前的冻结 policy checkpoint。此时 teacher 本身没有比 student 更新的参数知识；两者之间的新增差异完全来自 experience context。这个设置最能隔离论文的核心假说：文本经验是否能诱导出更好的局部目标分布。

4.2 Iterative teacher

每个 epoch 结束后，用最新 policy checkpoint 作为下一 epoch 的 teacher。优点是 teacher 能随 policy 进步，避免固定 teacher 成为上限；风险是错误会自我强化，且模型可能遗忘训练分布之外的能力。

论文为此加入 Iterative+General：按 WildChat-IF:Tulu3 = 1:0.25 混入 general prompts。通用样本不带 experience context，并用初始冻结 checkpoint 做普通 on-policy distillation，相当于一个能力锚点。

5. 训练和数据配置

配置	论文设置
训练 prompts	WildChat-IF 7,500 条真实用户 query
Rubrics	GPT-4o 为每条 prompt 预生成
Policy	Qwen3-8B non-thinking；OLMo-3-7B-Instruct
Feedback model	冻结初始 policy 或 GPT-4o
Batch	256 prompts
Rollout	每个 prompt 采样 8 条 response
Learning rate	$1\times10^{-6}$
Prompt / response 上限	8,192 / 4,096 tokens
Temperature	1
Epochs	3
Checkpoint	每 10 steps 保存
KL 近似	按 student probability 排序的 top 256 vocabulary tokens，不重新归一化
General-data stabilizer	Tulu3，按 1:0.25 混入，仅用于 iterative teacher 实验

“top 256 且不重新归一化”是重要实现细节：它降低 full-vocabulary logits 处理成本，但计算值不再是完整概率单纯形上的严格 KL。被截断的 tail mass 如何影响不同模型、不同 tokenization 和高熵位置，论文没有单独消融。

6. 评测设计

6.1 In-distribution held-out

250 条未用于训练的 WildChat-IF prompts；
每条采样 4 个 responses；
GPT-4o 按对应 rubrics 直接评分。

6.2 Unseen open-ended benchmarks

Benchmark	论文报告指标	评价方式
AlpacaEval v2.0	win rate %	相对 GPT-4-Turbo reference 的 pairwise evaluation
WildBench	preference score，范围 $[-100,100]$	GPT-4o evaluator
ArenaHard v2.0	win rate %	相对 GPT-4-Turbo reference 的 pairwise evaluation
CreativeWritingV3	0–100 direct score	GPT-4o rubric scoring

论文称还用一个更强的 proprietary evaluator 交叉检查了主要结论，趋势一致，但为降低成本没有公开这些完整结果。消融实验另使用 IFEval accuracy 检查 out-of-distribution instruction following。

6.3 对照是否公平

在表面资源上，RL 与 EL 共享：训练 prompts、rubrics、policy rollout、feedback model 和 feedback-generation 主流程。方法特有部分则不同：RL 做 GRPO update，EL 需要额外 teacher forward 与 token-level KL。作者称在线 rollout 与 feedback call 占大部分端到端成本，因此 EL 的新增 update 成本相对较小，但论文没有给 wall-clock、GPU-hours、API cost 或显存数字，不能据此完成总成本比较。

7. “反馈带宽”假说

论文给出以下上界直觉：

1–10 离散 reward： $\log_2 10 \approx 3.3$ bits/sample；
bf16 reward head：最多 16 representational bits；
1,024 tokens、词表 150,000 的 experience：

1024 \times \log_2(150000) \approx 17{,}600\text{ bits/sample}

作者因此称文本通道的理论容量超过 bf16 scalar reward 1,000 倍、超过十级 reward 5,000 倍。论文也主动加了限定：这只是 alphabet-size 意义上的最大编码容量，不是有效监督量，更不是 experience 与“理想 policy improvement”的 mutual information。

正确的读法是：EL 提供了一个可能承载更多结构的通道；不能把 17,600 bits 当成实测信息量，更不能直接推出 1,000 倍学习效率。

8. 方法的必要条件

EL 不是任意 black-box API 上都能直接运行。至少需要：

能从当前 policy 做大规模 on-policy rollout；
有一个能生成 rubric-based experiential knowledge 的 coach；
能运行固定或迭代 teacher，并把 experience 插入其 context；
能访问 student 与 teacher 的 token logits，计算 top-k reverse KL；
有防遗忘数据或稳定器，尤其在 iterative teacher 设置下；
有独立 evaluator，避免 coach、rubric generator 和 benchmark judge 完全同源。

因此它更适合拥有模型权重与训练栈的团队，而不是只通过 completion API 调用封闭模型的应用团队。