LLM-as-a-Coach：研究背景与文献综述
梳理开放式任务反馈的信息瓶颈，并将 Experiential Learning 放入 RLHF、RLAIF、rubric reward、文本反馈与 on-policy distillation 的研究谱系。
1. 问题从哪里来
数学答案可以核对，程序可以执行，格式约束可以自动检查；但解释、建议、创意写作和复杂 instruction following 往往不存在唯一正确答案。它们通常同时受以下维度约束：
- factuality：事实是否准确；
- relevance：是否真正回答问题；
- completeness：是否覆盖关键点；
- organization：结构是否清楚；
- style and tone：表达是否符合场景；
- safety：是否包含有害或不合适内容。
因此，开放式任务的 post-training 经常借助 rubric，把一个模糊的“好回答”拆成多个可检查条件，再让 LLM evaluator 逐项分析。然而标准 rubric-based RL 最后仍会把分析压成单个 scalar reward。论文的核心观察是：evaluation 端知道得比 optimizer 端收到的多。
flowchart LR
X["Prompt 与 rubrics"] --> P["Policy response"]
P --> J["LLM evaluator 的多维分析"]
J --> R["传统 RL：1 到 10 分"]
J --> E["EL：可迁移经验知识"]
R --> O1["序列级优化信号"]
E --> O2["条件 teacher 的逐 token 分布"]标量本身并不一定“坏”。如果任务目标确实是二元正确性，一个 bit 可能已经足够。问题出现在评价对象是连续、多峰、互相权衡的质量分布时：两个同为 10 分的回答可能分别在准确性和文风上更优，optimizer 却看不到这个差别。
2. 需要先澄清的概念
2.1 Non-verifiable 不等于不可评价
论文所说的 non-verifiable，主要指不能用唯一答案、单元测试或 deterministic checker 完成评价。它不表示完全没有标准，而是需要 rubric、pairwise preference 或 human/LLM judgment。这个定义也有灰区：论文附录中的 SQL 和配方缩放示例其实含有较强的可验证成分，所以更准确的理解是“训练信号以开放式 rubric 评价为主”。
2.2 On-policy response
On-policy 指训练样本由当前 policy生成，而不是来自固定人工数据或旧模型。好处是训练直接面对模型现在会犯的错误，减少 train–inference distribution mismatch；代价是每轮都要 rollout，成本高，而且 policy 的分布会随训练变化。
2.3 Experiential knowledge
它不是保存某道题的标准答案，也不是把整段 critique 原样塞回模型。coach 被要求把一次 response 的优缺点提炼成对相似任务可复用的策略，例如：
先明确服务边界，再为每项限制提供可行的替代路径；使用通俗但标准的免责声明措辞。
这种表示试图兼顾 response-specific evidence 与 cross-instance transfer。
2.4 Context distillation
Context distillation 的目标是把原本放在 prompt/context 里的知识压入模型参数。训练时 teacher 看得到额外 context，student 看不到；student 学习 teacher 在相同 token prefix 上的输出分布。完成后，推理不再需要这段额外 context。
3. 文献演进：EL 站在哪一层
3.1 RLHF：从人类偏好到 scalar reward
InstructGPT 是现代 RLHF 的代表工作之一：先收集示范做 supervised fine-tuning，再学习 reward model，最后用 PPO 优化 policy。它证明较小的 aligned model 可以在人类偏好上胜过更大的 base model，也奠定了“偏好 → reward → RL”的经典管线。
EL 没有否定 RLHF 的价值，而是质疑其中一个接口：当 evaluator 已经生成多维文本判断时，只保留 scalar 是否过度压缩。两者差异不在“是否使用反馈”，而在反馈进入 policy update 前的表示。
3.2 RLAIF 与 Constitutional AI：AI 可以生成监督，但仍常回到 reward
Constitutional AI 让模型依据一套原则做自我 critique 和 revision，并在后续 RLAIF 阶段利用 AI preference。它说明自然语言原则和 AI-generated feedback 可以替代一部分逐样本人类标注。
EL 与其最接近之处，是都让模型产生可读的评价信息；关键差别是 Constitutional AI 的训练管线仍包含 preference/reward learning，而 EL 直接用提炼后的文本改变 teacher distribution，再做 distillation。换言之，Constitutional AI 主要改变“监督由谁产生”，EL 主要改变“监督如何被 optimizer 消费”。
3.3 LLM-as-a-Judge：可扩展，但 evaluator 不是客观真理
MT-Bench / Chatbot Arena 系统研究了 LLM-as-a-Judge，并明确报告 position、verbosity 和 self-enhancement bias。EL 继承了这种评估基础设施，也继承了它的偏差：coach 若偏好冗长、自身风格或某类措辞，更高带宽的通道可能更完整地传递偏差，而不是自动消除偏差。
因此，论文中的“缓解 reward hacking”只处理 evaluator 到 policy 之间的信号压缩问题，不处理 evaluator 自身错判。作者在 Discussion 中也明确承认这一区分。
3.4 Rubrics as Rewards：强 baseline，也是 EL 的直接对照
Rubrics as Rewards（RaR） 把 instance-specific rubrics 变成 on-policy RL 的结构化 reward，在 medical 与 science domain 中展示了相对直接 Likert reward 的提升。当前论文使用 RaR + GRPO 作为基线，但把 1–10 rubric score 改为 coach 提炼的自然语言经验。
二者回答不同问题：
| 维度 | Rubrics as Rewards | Experiential Learning |
|---|---|---|
| Rubric 的作用 | 生成或聚合 scalar reward | 指导 coach 提炼 experience |
| Policy update | GRPO，最大化 reward | reverse KL，匹配条件 teacher |
| 信号粒度 | sequence-level | token-level distribution |
| 主要风险 | reward misspecification / hacking | coach bias、teacher misguidance、distillation collapse |
3.5 On-policy distillation：解决 student 自身分布上的错误
On-Policy Distillation of Language Models / GKD 让 student 在自己生成的序列上学习 teacher，以减轻传统 KD 的 exposure bias。EL 沿用了这个关键结构：KL 不是只在离线参考答案上计算，而是在 policy 的 current rollout prefix 上计算。
区别在于 teacher 的信息来源。普通 GKD 的优势通常来自更强 teacher 的参数知识；EL 的 teacher 可以与 student 来自同一初始 checkpoint，新增信息由 coach 生成的 experience context 提供。
4. “Experiential Learning”三部曲
作者把本文称为系列 Part III。三篇工作的递进关系如下：
| 部分 | 论文 | 核心问题 | 经验从哪里来 | 如何内化 |
|---|---|---|---|---|
| Part I | On-Policy Context Distillation | 如何把 context knowledge 在 student 自己的轨迹上压入参数 | 历史解法、rubrics 等 privileged context | on-policy reverse KL |
| Part II | Online Experiential Learning | 如何利用部署中的交互经验持续改进 | 用户侧 interaction trajectories 中提炼并累积 | online/offline consolidation |
| Part III | 本文 | 非可验证任务中，如何避免把丰富评价压成标量 | coach 对当前 response 的 rubric assessment | experience-conditioned teacher + on-policy reverse KL |
Part III 的新意不是重新发明 distillation objective，而是把 rubric evaluation 接入 OPCD：一次 on-policy failure 被转成 transferable textual knowledge，再变成 teacher distribution 的局部变化。
5. 论文填补的研究空白
已有路线通常落在三类：
- 用更好的 judge 或 rubric 得到更可靠的 scalar reward；
- 把 critique 用于 revision、prompt optimization 或多轮 agent memory；
- 用更强 teacher 做 on-policy distillation。
本文组合出第四条路线：保留 evaluation 的文本结构，但最终仍通过白盒 token distribution 做参数更新。 它兼有文本反馈的可读性与 distributional supervision 的密度，并且 inference-time 零额外上下文。
真正需要验证的研究问题可写成三条：
- 在相同 feedback model 与 rubrics 下，experience-conditioned distillation 是否优于 scalar-reward RL？
- 优势是否能从训练分布迁移到未见 benchmark，而不是只学会 evaluator 的捷径？
- 哪种 teacher context 真正有效：完整 critique、rubrics、低带宽类别，还是提炼后的 transferable experience？
后续章节会看到：论文对第一和第三问提供了较一致的经验结果，对第二问提供了有启发但尚不充分的证据。
参考资料
- LLM-as-a-Coach（arXiv v1）
- Training language models to follow instructions with human feedback
- Constitutional AI: Harmlessness from AI Feedback
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
- On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes