The Tasteful Agent

自动研究时间：2026-09-24 09:01（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Sep 23，列表最顶部为 The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks。¹
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv 摘要页 -> arXiv v2 完整 HTML（33 页论文内容）-> 官方代码仓库与数据集说明。本文不以列表摘要代替论文正文。

执行摘要

长程智能体失败时，我们通常只看到最终结果：补丁有没有通过测试、实验指标有没有提升、研究任务有没有完成。但最终分数把两种不同能力压在了一起：一是把既定方案执行好的能力，二是在多个看似合理的方向之间选对路的能力。本文把后者称为智能体的 taste，即结果尚不可见时，对哪条路线更可能带来长期成功作出判断的能力。

论文的关键方法不是请专家逐步标注“好决策”，而是让历史轨迹提供后见监督。作者从同一任务的平行尝试中寻找走向不同结果的分叉，也从单条轨迹中寻找“先走弯路、遇到失败、再改道成功”的片段；在决策点截断后续信息，把原任务、截至分叉的轨迹和两个候选下一步组成二选一问题。经过生成器、去平凡过滤、结果一致性过滤和人工复核，4,657 个候选分叉最终留下 502 道 Taste-Bench 问题，其中软件工程 390 道、AI 研究 112 道。²

这套评测刻意要求每题以两种相反选项顺序各答一次，只有两次都选对才计分，因此随机猜测期望为 25%，固定偏爱某个位置则为 0%。14 个前沿模型中最好结果只有 59.7%。更重要的是，当支持正确选择的证据需要更晚才出现时，14 模型平均准确率从 62.3% 降至 21.0%；给两个模型增加推理预算也没有形成稳定改善。论文由此主张，难点不是“在分叉处再想久一点”，而是模型缺少能预测后续执行后果的判断结构。²

作者进一步用带答案的后见教师教一个看不到答案的学生：教师与学生都基于 Qwen3.6-27B，教师额外看到正确方向，训练以 SDPO 风格的 forward-KL 将其推理和最终选择蒸馏进 LoRA。任务不重叠的交叉评测中，严格双顺序准确率从 30.0% 提升到 47.9%。在 41 个 SWE-bench Pro 任务上，将学生判断写成任务开头的“避坑建议”，固定执行器成功率从 14.6% 提升到 33.7%；若全部建议都正确，上界为 39.0%。²

这项工作的价值在于把“智能体会不会做长任务”拆出了一个可诊断、可训练的中间能力，并证明真实执行轨迹可以成为过程监督数据。但需要准确理解其证据边界：分叉标签来自一次或少数已实现结果，不是对反事实期望收益的无偏估计；数据生成和过滤大量依赖 LLM；领域只有软件工程与 AI 研究；端到端实验中的建议来自同一任务的旧轨迹，虽然学生没有训练过该任务，却不是对全新任务的零先验泛化。因此，Taste-Bench 更像长程决策的高质量压力测试和轨迹挖掘框架，而不是已经完成因果识别的通用“品味量表”。

1. 论文基本信息

核心链接：

• Hugging Face 详情页：https://huggingface.co/papers/2609.25804
• arXiv 摘要页：https://arxiv.org/abs/2609.25804
• arXiv 完整 HTML：https://arxiv.org/html/2609.25804v2
• arXiv PDF：https://arxiv.org/pdf/2609.25804
• 官方代码仓库：https://github.com/wbopan/tastebench
• Taste-Bench 数据集：https://huggingface.co/datasets/wenbopan/taste-bench

2. 背景与动机：终局分数解释不了中途为何走错

2.1 长程任务把局部合理与全局正确分开了

在短问题里，答案质量往往能立即反馈；在长程软件修复或研究任务里，一个选择的代价可能几十步后才显现。例如，两种实现都能通过眼前的局部检查，但其中一种会在后续扩展时造成错误清理、接口不兼容或隐藏测试失败。决策当下，两条路都可能措辞完整、技术上像样；真正的差异要等执行展开后才出现。

现有端到端基准擅长回答“最终做成了吗”，却难以回答：

• 失败是路线选错，还是路线正确但执行不佳；
• 成功是判断优良，还是偶然绕过了错误；
• 哪个中间决策值得训练，哪个只是无关动作；
• 模型升级后，终局得分变化来自判断还是工具执行能力。

如果不能拆开这些因素，开发者只能从长轨迹末端倒推原因，训练也只能把稀疏终局奖励向前传播。

2.2 “Taste”是结果出现之前的路线判断

论文将一条轨迹前缀记为 $h_t$，分叉处两个候选方向记为 $c_1,c_2$，后续证据为 $E_i$，结果函数为 $U(E_i)$。理想的判断应在看不到后续证据时选择期望结果更高的方向：

实际数据只有已经发生的分支，因此论文用实现结果更好的候选作为标签：

这一步既是方法的巧思，也是局限的来源。巧思在于无需昂贵专家从零构造题目；局限在于实现结果只是期望收益的样本，还混入后续执行质量、环境随机性和分支差异。作者通过同前缀比较、因果证据 rubric、过滤和人工复核来降低混杂，但没有把观察性轨迹变成严格随机对照实验。

2.3 后见信息既可评测，也可成为训练信号

完整轨迹已经记录了“当时不知道、后来才知道”的信息。只要在评测时把后半段隐藏，在生成标签或教师推理时使用后半段，同一份日志就能承担三种角色：

1. 从真实行为中发现关键分叉；
2. 用后来结果给分叉贴标签；
3. 让特权教师解释正确方向，再把判断蒸馏给无特权学生。

这使 benchmark construction 与 agent improvement 接到同一条数据管线上，也是本文比单纯排行榜更值得关注的部分。

3. 核心贡献

3.1 给“长程判断”一个可操作定义

论文没有把 taste 定义成文风、偏好或抽象审美，而是限定为：在真实任务轨迹的决策分叉处，根据已有上下文选择后续结果更好的方向。这个定义可以转换成可重复的闭集评测。

3.2 从既有轨迹自动挖掘监督

Taste-Bench 不要求专家发明候选路线。平行轨迹提供“同任务不同尝试”的结果差，弯路轨迹提供“同一次运行先失败再恢复”的内部对照。随着 agent rollout 数量增长，这种数据来源理论上也会扩展。

3.3 用双顺序协议显式惩罚位置偏差

每道题交换 A/B 后再问一次，只有两次都正确才算正确。这比只做一次二选一更严格，也把答案随位置翻转的行为从“半对”降为失败。论文同时报告单次呈现的平均准确率，便于区分知识不足与输出不稳定。

3.4 证明后见判断可以蒸馏并影响最终任务结果

作者不仅让学生在同类选择题上得分更高，还把判断转成建议交给独立执行器，观察官方 SWE-bench Pro 通过率。这建立了“分叉判断提升 -> 最终任务成功率提升”的初步链条。

4. Taste-Bench 如何构建

4.1 原始轨迹池

工程轨迹池包含 GPT-5.4 与 GPT-5.5 agent 在 517 个 SWE-bench Pro 任务上的 2,677 次已评分 rollout，来自 11 个代码仓库。研究轨迹池来自 METR 公布的 MALT transcripts，包含 RE-Bench 与 HCAST 研究子集的 47 个 AI R&D 任务、1,132 次运行。²

两个池都是真实 agent 执行记录，而不是先写问题再合成轨迹。不过“真实”不等于“天然无偏”：轨迹分布由当时的模型、harness、任务选择和采样配置共同决定。

4.2 平行分叉：比较同任务的不同尝试

平行构造寻找两个共享等价前缀、随后采用不同方向、最终结果不同的尝试：

1. 对齐同一任务的多次 rollout；
2. 定位两条轨迹第一次有意义的路线分歧；
3. 将两个真实行动改写成语气和粒度平行的候选项；
4. 用通过测试或达到实验目标的分支作为支持方向；
5. 若结果差主要来自 typo、crash、依赖缺失、超时或一般执行质量，则拒绝样本。

这类题能捕捉 agent 从未意识到的错误路线，但两条分支在分叉后仍会累积新的执行差异，因此因果归因最依赖过滤质量。

4.3 弯路分叉：在一次运行里找失败与恢复

弯路构造让生成器阅读完整单轨迹，按顺序寻找三个事件：

1. agent 明确投入某个技术方向；
2. 后续观察到使该方向终止的失败；
3. agent 转向另一个方向并完成任务。

分叉点被放在第一次投入错误方向之前。错误方向和恢复方向必须在当时都可合理提出；若“正确方案”只有看到失败后才说得出来，就不能成为题目。这类题的优势是失败与纠正发生在同一次运行中，缺点是它系统性偏向 agent 最终能自我修复的错误。

4.4 三层质量控制

生成器是高推理强度的 GPT-5.6 Sol，它必须引用分叉后的实际证据，重建时间线，并确保候选没有泄漏得分、通过状态或赞贬措辞。之后由与生成器不同的一组 judge 做两类过滤：

• 去平凡过滤：只给两个候选、不提供轨迹；若所有 judge 都能猜对，就认为候选措辞泄漏答案并删除；
• 可判定性过滤：给 judge 完整任务、轨迹与结果；只有所有 judge 都同意原标签才保留；
• 人工复核：两名 reviewer 对混合的 100 道保留/淘汰样本做两阶段判断。公布结果后，172 个明确 A/B 判断中 170 个支持挖掘标签，一致率 98.8%；两人都明确选择的 74 题中，73 题相互一致，$\kappa=0.973$。²

4,657 个候选中只有 502 个通过全部流程，通过率 10.8%。高淘汰率说明原始轨迹中“像分叉”不等于可评测的判断题，也说明最终基准是被生成器与 judge 共同强选择后的困难子集。

4.5 最终组成

同一任务可以产生多道题，因此表中 task 数不能解释为 502 个独立任务。研究侧尤其集中：平行研究只有 8 个源任务，这会让置信区间按题目 bootstrap 时低估任务级相关性风险。

5. 评测协议：为何随机基线是 25%

对每题固定一个 seeded order，再以完全相反顺序呈现。只有两个顺序都答对，问题才记为正确：

若两次独立随机猜测，双对概率是 $0.5\times0.5=25\%$；若模型永远选第一个位置，交换顺序后必有一次错误，得分为 0%。未解析输出也算错。

论文还把工程与研究子集准确率做 1:1 平均，作为 headline Average。这避免问题更多的工程侧完全支配总分，但也意味着每道研究题在总指标中的权重大于每道工程题。读榜单时应同时看四个 cell，而不是只看 Average。

6. 实验结果

6.1 前沿模型离解决基准仍远

最强模型的严格准确率为 59.7%，而它的单次呈现平均准确率为 65.2%，两者差 5.5 分。这部分差值反映同一判断对候选顺序不稳，而不只是“不会做”。

四个 cell 的 14 模型均值也揭示构造差异：平行工程 58.1%、平行研究 50.9%、弯路研究 50.8%、弯路工程 35.9%。最难的不是研究领域本身，而是提前发现一个实际 agent 当时没发现、后来才纠正的工程错误。

6.2 证据越晚出现，准确率越接近随机

作者让 judge 按正确方向何时能被证明，把每个分叉分成四级：

• In prefix：决定性事实已经在前缀中；
• Inferable：没有单一决定性事实，但前缀线索组合后可推断；
• Next step：分叉后的第一次观察才给出证明；
• More work：必须完成局部检查或更多后续工作才知道。

从已在上下文中的证据到必须继续执行才能验证的证据，平均得分下降 41.3 个百分点。More-work 的 21.0% 甚至低于 25% 随机期望，但不能据此断言模型“系统性反判断”：严格双顺序计分、样本只有 69 题、各模型输出稳定性不同，都会影响这个比较。

6.3 增加推理预算没有稳定解决长程判断

作者对 GPT-5.6 Sol 和 GPT-5.6 Luna 各使用三档 reasoning effort，总计得到 6,024 个响应：

两者在 more-work 类别反而使用最多 reasoning tokens，但准确率仍最低。论文据此判断模型能识别困难，却无法仅靠更多内部推理补出尚未发生的环境证据。

这项结论应限定为“对这两个模型、这组题和这些 effort 设置，没有稳定改善”。Luna 的研究子集仍从 43.8% 上升到 54.5%，所以不能推广为所有模型、所有领域的 test-time compute 都无效。

6.4 Taste 与端到端 coding 能力相关但不等价

11 个可比较模型的 Taste-Bench Average 与公开 SWE-bench Verified 分数 Pearson 相关为 $r=0.63$，即线性关系解释约 $R^2=0.39$ 的模型间方差；只看工程子集，相关降至 $r=0.37$。SWE-bench Verified 前四名彼此只差 4.0 分，在 Taste-Bench 上却相差 10.7 分。

这支持“taste 提供额外维度”的主张，但相关分析模型数只有 11，且公榜成绩来自统一 harness 的外部 leaderboard，不宜把 $r=0.63$ 当成稳定总体参数。

7. 如何把后见判断蒸馏进模型

7.1 教师看答案，学生只看分叉

教师和学生使用同一个冻结的 Qwen3.6-27B 基座：

• 学生上下文：任务、轨迹前缀、两个打乱顺序的候选；
• 教师上下文：在学生内容前增加一个 demonstration，明确哪个方向成功、哪个方向失败；
• 教师自由生成完整 reasoning trace 与最终 A/B；
• 学生在不知道 demonstration 的情况下对齐教师的 token 分布。

训练只用 390 道工程问题，按源任务拆成两个各 195 题的 fold。两个 fold 不共享问题、任务、源轨迹或前缀；每个学生在一个 fold 训练，在另一个 fold 评测，最终汇总 out-of-fold 结果。

7.2 训练目标不是简单拟合二元标签

直接对 A/B 做监督容易记住答案，却不给模型“为什么”的密集信号。论文采用 SDPO 风格的 token-level forward KL：

• 推理位置对齐 teacher 与 student 分布，保留 student top-100 token 加一个剩余概率桶；
• 每条长 reasoning trace 最多均匀采样 512 个位置；
• 答案位置只在两个答案 token 上做 forward KL；
• 两部分权重均为 1；
• KL 在教师采样的 continuation 上计算，而不是学生采样路径上计算。

随后再用学生自己的自由推理轨迹做一轮答案 calibration，只校正最终选择，不改变 reasoning distribution。结构性泄漏控制依赖闭集 A/B 输出与教师输出截止于最终答案，学生不会直接复制 demonstration 文本。

7.3 训练配置

教师输出还经过质量筛选：两个 fold 原始各有 390 个顺序视图，最终只保留对应 156 与 142 道题的双视图训练数据。教师在保留 trace 中几乎总能选中已告知的支持方向，说明特权提示生效，但筛选也可能使训练数据偏向教师容易表达理由的样本。

8. 蒸馏与端到端结果

8.1 未见源任务上的分叉判断迁移

学生在训练任务不重叠的工程题上显著超过基座，并达到 GLM-5.2 的工程子集水平；但仍低于 GPT-5.6 Sol 的 56.9%。这说明少量真实轨迹的后见监督可以迁移判断模式，而不是只记忆某道题的 A/B 标签。

8.2 建议注入能提高固定执行器成功率

作者选择 41 个 held-out SWE-bench Pro 任务，共含 98 个已挖掘分叉。每个任务使用未在该任务上训练的 fold student，对分叉作判断，再把“当时的情况、应避免方向、应采取方向”写在原始问题之前。执行器固定为关闭 thinking 的 Qwen3.6-27B + SWE-agent 1.1.0，最终由官方 SWE-bench Pro 环境验收补丁。

学生建议取得理论建议上界约 78% 的增益：$19.1/24.4\approx78.3\%$。这比单独的选择题分数更有说服力，因为结果由真实补丁验收，而不是同一 judge 给分。

不过“held-out”需要精确解释：学生权重没有在这 41 个任务上训练，但建议所描述的分叉是从这些完全相同任务的早期运行中挖出的。实验展示的是“跨任务训练出的判断器如何利用同任务历史经验”，而不是面对从未执行过的新任务时凭空生成正确建议。

9. 局限与可质疑点

9.1 实现结果不是严格的反事实期望

公式目标是比较 $\mathbb{E}[U\mid h_t,c_i]$，数据标签却来自已经发生的 $U(E_i)$。平行分支并没有随机控制分叉后的全部行为，弯路分支的恢复又天然包含已经观察到失败后的信息。严格的因果验证需要在同一状态下对两个动作做多次受控 rollout，论文没有做到这一点。

作者的因果证据 rubric、排除运气/崩溃样本和 98.8% 人类后见一致率确实增强标签可信度，但人类是在看到结果摘要后判断“哪个决定更好”。这验证了标签与已记录结果一致，不等同于证明该选择在重复运行中的期望收益更高。

9.2 基准由强 LLM 生成并被 LLM 过滤

GPT-5.6 Sol 负责把非结构化轨迹变成题目，其他 judge 决定哪些题不平凡、哪些标签可判定。最终 10.8% 保留率意味着题目分布强烈反映这些模型的可读性和共识。对与生成器相似的模型家族，可能存在风格匹配；对 judge 无法理解但人类专家能判断的分叉，则可能被系统性淘汰。

9.3 数据领域与任务独立性有限

502 题只覆盖软件工程与 AI 研究，而且研究侧仅 112 题、47 个源任务；平行研究 cell 更只有 8 个任务。医疗、法律、规划、机器人和开放网络操作中的 taste 是否同构，尚无证据。置信区间按 item bootstrap，而同任务产生的多题并非完全独立，任务级不确定性可能更大。

9.4 严格双顺序指标有价值，也有特殊含义

双顺序全对能有效打击位置偏差，但它把“两个顺序一对一错”整体记为 0，也让随机基线变成反常见的 25%。因此 59.7% 不能直接与普通二选一准确率比较。应用中若可合并两个顺序的 log-odds，论文自己的蒸馏结果也显示决策率会明显高于严格 accuracy。

9.5 推理预算结论只来自两个模型

“更多推理无效”是吸引人的标题，但实验只覆盖 GPT-5.6 Sol 和 Luna 的三档设置。它没有测试工具辅助验证、主动 rollout、搜索树或环境模拟；真正需要未来证据的题，可能不是更多纯 token，而是允许执行低成本试验后再决策。

9.6 蒸馏和端到端证据仍较窄

蒸馏只在一个 27B 基座、工程子集和 LoRA 配置上验证。端到端实验只有 41 个 SWE-bench Pro 任务和一个固定执行器；学生建议、正确建议和无建议条件是否跨多个采样种子复现，论文未报告。正确建议相对无建议的 McNemar 检验显著，但学生建议的效应区间与重复运行方差仍值得补充。

9.7 任务特定历史建议可能难以部署

建议注入要求先有同一任务的旧轨迹与已知结果，这在 benchmark 重试、CI 回归和重复业务流程中很实用，却不适合真正一次性的陌生任务。要变成通用在线 agent，需要进一步解决：如何在新任务里自动识别潜在分叉、何时调用 taste model、如何生成候选、以及怎样用低成本试验替代不可见的后见标签。

10. 应用影响

10.1 Agent 调试：从“失败了”定位到“哪次选择埋下失败”

团队可以保留同一 issue 的多次 agent run，用平行分叉挖掘器找出最终成败真正分开的节点。相比只看最终 patch diff，这能形成可复用的决策案例库，例如：先补测试还是先改实现、沿用现有 abstraction 还是新建 helper、遇到失败时修补还是回退重构。

10.2 评测：在昂贵端到端运行前做离线诊断

一个完整 agent benchmark 可能需要容器、工具调用和长时间执行；Taste-Bench 把关键节点冻结成离线选择题，可用于：

• 比较不同 backbone 的规划判断而不混入工具执行差异；
• 回归测试新模型是否在关键分叉退化；
• 区分领域知识不足、候选顺序偏差和长程后果预测不足；
• 按 time horizon 观察模型到底在哪种证据距离上失效。

它不能替代端到端评测，但能缩短诊断闭环。

10.3 训练：把轨迹废料转成过程监督

生产 agent 往往已经积累大量成功、失败和重试日志。论文展示了一条不依赖逐步专家标注的训练管线：挖掘真实分叉 -> 用结果过滤 -> 特权教师生成理由 -> 将判断蒸馏到轻量 advisor。只要隐私与凭据经过处理，历史 rollout 不再只是观测日志，也可以成为模型改进数据。

10.4 在线控制：Advisor 与 Executor 解耦

端到端实验采用“小模型/适配器给建议，固定黑盒 executor 执行”的结构。对无法微调的闭源执行模型，这种解耦很有吸引力：advisor 可以针对组织历史任务训练，executor 保持不变。工程上还可以让 advisor 只在高风险分叉触发，降低上下文成本。

10.5 更合理的下一步是主动验证，而不只是更长思考

论文显示 more-work 类题在纯推理下最难。一个自然推论是：判断器不仅应选 A/B，还应识别“当前证据不足”，建议最便宜的区分性实验，例如运行聚焦测试、检查接口契约、做小规模消融或创建隔离原型。这样 taste 从静态预测转向“选择下一条最有信息量的行动”。这是基于论文结果的应用推断，不是论文已经验证的结论。

11. 与相关工作的关系

11.1 与端到端 Agent Benchmark 的区别

AgentBench、SWE-bench、SWE-bench Pro、MLAgentBench 与 RE-Bench 衡量最终是否完成长任务。Taste-Bench 截取任务内部的决策点，试图把路线判断从执行能力中分离出来。两者关系更像“过程诊断”与“终局验收”，应配套而不是替代。

11.2 与研究方向预测的区别

已有工作会让模型在执行前比较两条研究 idea、ML solution 或 AI safety proposal。Taste-Bench 的候选不是独立提案，而是嵌在真实轨迹状态中的下一步；标签也不是纯专家偏好，而来自后来实际执行结果。这增强了情境真实性，同时继承观察性数据的混杂风险。

11.3 与过程奖励和步骤级监督的区别

传统 process supervision 依赖人工步骤标签，或从某一步做多次 rollout 估值；PRM 在推理时给候选动作打分。Taste-Bench 不为每一步评分，只挑真实关键分叉，并利用现成后续结果标记相对更好的方向，因此数据成本较低，但标签方差也比多次受控 rollout 更难量化。

11.4 与 Context Distillation、STaR、LEAP 和 SDPO 的关系

训练配方属于“把额外上下文中的能力内化到权重”这一脉络：教师因看到正确方向而能产生更可靠推理，学生学习在缺少该提示时复现判断。它沿用 SDPO 风格 forward KL，但把环境反馈替换成支持候选的 demonstration，并在教师采样序列上计算蒸馏损失。

11.5 与 Advisor Model 的关系

论文最终没有让蒸馏模型亲自完成代码任务，而是让它生成任务特定建议，交给固定 SWE-agent executor。这与 advisor steering 路线一致，也使判断能力能独立迭代。但当前建议来自离线已知分叉，离在线自动发现和干预仍有一段系统工程距离。

12. 综合评价

这篇论文最强的贡献不是给 agent 能力再发明一个名字，而是把一个工程师长期凭经验观察的问题变成可计算对象：两个模型都能执行时，谁更会在信息不完整的中途选方向？ Taste-Bench 的答案还不完美，但它把最终成功率背后的决策质量暴露出来，并提供了从历史轨迹到训练信号的完整原型。

读者也不应把 59.7% 解读成“最佳模型只有六成常识”，或把 33.7% 端到端成功率解读成通用零样本能力。前者是严格双顺序、困难筛选后的特定二选一指标；后者利用了同任务旧运行产生的建议。更准确的结论是：真实轨迹中存在可挖掘、可迁移、能影响最终执行的长程判断信号，而当前模型尚未稳定掌握它。

参考资料