人机交互中的编辑发现

arXiv:2610.22661v1 发布类型：新 摘要：人机交互正日益成为改进 AI 系统的丰富数据来源：许多模型响应已经令人满意，但其他响应则暴露出一些失败之处；如果这些失败能够被识别并纠正，就可能转化为宝贵的监督信号。我们通过“编辑器”这一概念研究这一场景：编辑器是一种能力更强的评估过程，可以检查响应并确认其正确，或对其进行修改，但调用编辑器需要付出成本。编辑器可以是人类专家、更强大的 AI 系统，也可以是配备了额外计算资源、上下文、工具或信息的同一模型。关键挑战在于：在尚不知道是否确实需要进行编辑之前，决定将哪些交互发送给编辑器，因为调用编辑器本身会消耗有限资源，例如专家时间、推理成本、延迟或工具使用开销。我们将这一问题形式化为编辑发现优化（Edit Discovery Optimization，EDO）：在控制不必要的确认并遵守编辑器成本预算的同时，尽量减少因跳过交互而遗漏的编辑机会。我们刻画了总体最优策略，并证明该策略表现为以后验编辑概率为基础、经成本调整的阈值策略。在此结构基础上，我们开发了 EDIT（Edit Discovery via Iterative Thresholding），这是一种面向部分反馈场景的在线算法，其中只有被选中的交互才会披露编辑标签。EDIT 结合了自适应编辑评分、确认控制阈值和成本感知选择规则；它能够在每一轮都满足编辑器预算，并将平均确认率控制在目标范围内，误差仅包含一个随有限时间范围增长而趋于消失的项，且无需对交互流作任何分布假设。在四个推理和事实型问答基准上，与直接基于 LLM 的批量选择相比，EDIT 在编辑器成本、I 类错误和 II 类错误之间实现了更优的权衡。