量化对工具故障恢复的影响因提示词和评估设计而异

arXiv:2610.07781v1 公告类型：交叉收录 摘要：训练后量化降低了语言模型智能体的部署成本，但其对临时工具故障恢复的影响可能取决于恢复能力的评估方式。我们在二十项确定性工具使用任务和五种提示词下，比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8 位与 4 位版本。8 位与 4 位版本在恢复能力上的比较结果，其优劣方向随提示词和评估对象而变化。在同一提示词下两个版本均能在无故障条件下完成的任务中，Llama 的差异范围为 0 至 +20.2 个百分点，Qwen 则为 -50.0 至 +35.0 个百分点。全流程点估计在全部五种提示词下均显示 8 位 Llama 更优，而 Qwen 的比较结果则随提示词变化而出现优劣反转。评估对象也可能使结果反转。对于某一种提示词下的 Llama，若仅在各版本自身能在无故障条件下通过的任务上评分，4 位版本领先 17.5 个百分点；若在相同任务上对两个版本评分，则没有差异；而对全流程评分时，8 位版本领先 28.3 个百分点。执行器的宽容程度是第三个会影响结果的选择。在该提示词下，8 位 Llama 违反严格输出解析要求的频率远高于 4 位 Llama；使用严格输出解析对同一批日志重新评分，会使上述 +28.3 变为 -15.0，而 Qwen 的结果基本不变。这些发现表明，仅凭一种提示词、一组筛选后的任务和一种评分策略，无法对量化智能体的稳健性得出稳定结论。评估应在匹配的任务上比较不同版本，报告全流程成功率以支持部署决策，明确评分策略，并在任务层面而非注入故障的位置层面量化不确定性。