arXiv cs.AI精选83

智能体能为所有人工作吗?个性化用户界面中移动 GUI 智能体的跨用户可靠性

Can Agents Work for Everyone? Cross-User Reliability for Mobile GUI Agents in Personalized User Interfaces

· 7天前

精选理由

揭示个性化界面下GUI智能体的跨用户可靠性鸿沟,并提出有效改进方法。

AI 摘要

移动 GUI 智能体日益在受用户历史记录和偏好影响的界面上运行,但其跨不同用户的可靠性仍缺乏充分研究。我们提出 PAIR(Personalized Application-state Instantiation and Rendering),这是一条用于构建用户条件化应用状态的流程,能够在不同用户之间对同一任务进行受控评估。我们进一步提出 RePAIR(Reinforcement learning with Personalization-Aware Interaction Rewards),这是一种通过学习不同用户在子目标结果上的差异来提升用户条件化移动环境中可靠性的训练方法。在对六个智能体的评估中,我们发现不同用户之间的任务成功率存在显著差异,并且在用户条件化 UI 上下文中,子目标达成率始终较低(低 6.98 至 15.4 个百分点)。对于取自每位用户自身内容的个性化目标,这一差距进一步扩大(低 8.77 至 22.0 个百分点)。在这些上下文中,失败通常表现为选择了其他项目而非预期目标,尤其是在目标暴露之前。最后,在未见过的用户上,相比其监督微调基础模型,RePAIR 将用户条件化 SAR 提高了 5.87 个百分点,将全成功率提高了 7.50 个百分点,并将整体 Task SR 提高了 9.42 个百分点;这初步表明,明确学习跨用户差异能够提升 GUI 智能体的可靠性。

查看原文(arXiv cs.AI)