CAREFUL-Bench：具备效应感知能力、无需裁判的多轮 LLM 函数调用评估

Berkeley Function Calling Leaderboard（BFCL）的多轮检查器评估最终状态的正确性，却忽略中间调用的效应：额外调用不计代价，函数文档不描述副作用，脚本化用户也从不回应提议。因此，在执行破坏性操作前请求确认的模型反而会受到惩罚；基础类别的 734 个参考轮次中，有 260 个在未经确认的情况下执行了破坏性操作。我们在不替换 BFCL 的前提下，使其具备效应感知能力。我们在 BFCL 模拟器中执行全部 128 个函数并比较状态变化，据此推断各函数的效应声明，其中破坏性写入由三名标注人员识别。一个无需裁判的回放评分器在全部 800 条参考轨迹上复现了官方结果，同时报告未经请求的破坏性调用、重复写入、冗余读取、多余步骤及其词元成本。我们还引入了一种支持确认交互的协议，配备确定性模拟用户。在 11 个开放模型上，效应感知评分保留了官方排名，却揭示了执行质量上的显著差异：排名第一的模型因未经请求的破坏性调用损失了 14.0 分，而多余步骤消耗的输入词元占比最高达 28%。在函数文档中添加效应提示，对接受评估的八个模型均无影响。允许模拟用户作出回应，可使寻求确认的模型最多挽回四分。然而，在 576 段需要执行破坏性操作的对话中，表现最好的模型仅有六段在获得明确确认后完成。这些结果揭示了当前函数调用基准的一项关键局限：它们无法区分请求澄清与在执行潜在破坏性操作前获得许可。