当工具撒谎：数学智能体在工具反馈遭篡改时的可靠性

数学问题求解通常需要确定性的计算步骤，智能体会将这些步骤委托给工具，并默认信任工具的结果。然而，工具可能在不易察觉的情况下出错，返回看似合理但实际上错误的结果。智能体能在多大程度上检测并纠正遭篡改的工具调用输出？我们通过一个受控篡改框架对此进行研究：在针对性问题上，隐藏的拦截器会将工具调用结果替换为看似合理但错误的信息。我们在四种验证设计下，对智能体在31道题目上的表现进行评估，包括不进行验证（基线）、强制进行同一上下文反思、可选的全新上下文验证，以及可选的结构化验证。在不进行验证的情况下，篡改会导致准确率大幅下降，从100%降至72.4%。强制反思可将这一表现完全恢复至100%。只有当模型主动调用验证机制时，可选验证才会提升准确率。我们的结果表明，检查频率与鲁棒性差异高度相关，而调用次数的不均等使得验证器质量难以进行受控比较。一项辅助恢复实验显示，在明确检测到错误后，完全重新开始解题可在100%的情况下成功。这些发现表明，验证器的可用性与验证策略是数学智能体可靠性的两个独立组成部分。强制性策略能够确保执行验证，而可选策略则取决于模型是否自行选择调用验证机制。