评测

本文仅用于学习和了解新项目，正文由 AI 撰写。 同一个大模型，换一套提示词、工具说明、上下文压缩和错误恢复逻辑，完成任务的能力就可能明显不同。这些围绕模型的程序与配置，通常被叫作 Agent 的 Harness。 既然 Harness 可以由人修改，也可以让另一个 Agent 读失败记录、改代码、跑评测，反复寻找更好的版本。但这里有一个熟悉的陷阱：如果每轮都拿同一批题挑赢家，系统可能学会的是这批题的答案，而不是可复用的做事方法。 RRSI: Regularized Recursive Self-Improvement of Agent Harnesses 研究的就是这个问题。它保持底座模型权重不变，让系统自动修改 Harness，同时约束“提出改动”和“接受改动”两个环节，目标是让提升能迁移到没参加演化的任务。论文于 2026 年 9 月 21 日发布，目前是 arXiv 预印本。 先弄清楚：它在改什么 这里的“递归自我改进”不是模型自己训练出一组新权重。论文中的改进对象是模型外面的 Harness，包括提示词、控制流程、工具、技能、记忆、子 Agent 和上下文管理。 一个普通的自动演化循环可以写成： 1 2 3 4 5 6 当前 Harness → 在一批任务上运行，收集失败轨迹 → 让 LLM 提出几个代码或配置改动 → 用同一批任务给候选版本打分 → 保留分数最高的版本 → 下一轮继续 问题出在“同一批任务”被反复使用。候选改动、失败分析和下一轮提案都看过前几轮的反馈；即使评测脚本没有泄露答案，搜索过程也在持续适应这份有限的题集。一个专门识别某类题面、不断追加提醒、或者在某个评分器前写出讨喜格式的 Harness，可能越考越高，却不能帮助新的任务。 论文把演化时反复使用的任务称为 evolve set。它还区分两种没参与调参的测试：同一基准里的留出任务（ID held-out），以及任务形式或评分方式不同的其他基准（OOD）。真正值得看的不是 evolve set 提升多少，而是离开这批题后还剩多少。 ...