FIRE：面向可靠语言模型智能体的故障知情运行时工程

语言模型智能体常常能够得到可用的解决方案，却随后无法始终如一地交付这些方案。我们研究运行时策略：由智能体框架在此前观察到失败的状态下施加的、具有针对性的自然语言指令和动作拒绝，不改变模型权重或用户提示。借此，在保持能力不变的情况下，我们观察到交付可靠性得到显著提升。在完整的 87 项任务 Terminal-Bench 2.1 套件中，每项任务尝试两次时，运行时策略使三个 GPT-5.6 层级的重复成功率（pass^2）均有所提升：Luna 从 50.6% 升至 54.0%，Terra 从 55.2% 升至 60.9%，Sol 从 64.4% 升至 73.6%。Sol 的两次尝试取最佳结果的成功率仅变化 1.2 个百分点，而重复成功率上升了 9.2 个百分点，这表明策略主要是将可达成的解决方案转化为可靠的交付结果。我们还研究了 Terra 固定任务集中的 14 项任务。在策略引导下，Terra 的成功率达到 71.4%，而未获辅助的 Sol 为 64.3%，成本约为后者的一半，说明围绕模型进行工程设计能够为特定应用场景释放可靠性。为隔离这一机制，我们开展了一项随机化的五组实验：在符合条件的任务上，实际策略达到 61%，无策略时为 39%，时间匹配的安慰剂策略为 36%，通用验证或重新考虑策略为 39% 至 43%。在编码的 24 次策略尝试中，有 22 次出现了预期的纠正行为，而其他任何实验组最多只有 14 次。因此，运行时策略是一种实用的可靠性层：它能显著提高智能体已有能力的重复表现。