PersonaCUABench：面向多样化用户角色的计算机使用代理基准测试

arXiv:2610.22990v1 公告类型：cross 摘要：计算机使用代理（CUA）通常根据固定的任务规范进行评估，但用户可能会遗漏要求、添加约束，或要求在执行有重大影响的操作前获得批准。完成基准测试指令并不保证真正满足提出请求的用户。我们推出 PersonaCUABench，其中固定了涵盖 11 个领域的 74 项任务，仅改变提问者的身份。一名角色代理在四组中的 44 种角色中分别扮演一种角色，用该用户自己的措辞改写每条指令，并回答 CUA 的问题；而 CUA 只能看到对话内容，无法看到用户资料或原始指令。在 9 个主干模型上的 3,330 次运行中，相较于原始请求，平均任务完成率下降了 36%。这些损失有两个来源：在所有失分案例中，有 59.9% 的情况是代理理解了用户的需求却仍然执行错误；另有 11.2% 的情况是用户要求停止操作，但检查器将其判定为失败。即使完全完成了角色用户的请求，用户给出最高满意度评价的比例也只有 62.7%，而原始请求为 84.1%。因此，对 CUA 的评估不应仅关注任务完成情况，还应关注其是否满足用户表达的要求与约束。代码：https://github.com/MatrAIx-ai/PersonaCUABench。项目页面：https://matraix.ai/research/persona-cua.html