AgentHabit：刻画智能体在日常任务中的独特行为

大语言模型（LLM）智能体可以帮助用户完成日常任务，而这些任务通常有许多合理的完成方式。即使它们的回答有用，智能体执行这些任务的方式也可能不符合用户的偏好和需求。例如，不同智能体在是否提出澄清性问题或搜索网络方面存在差异。我们提出 HABIT，这是一个包含五大类别、23 个行为维度的分类体系，由三位作者和三个 LLM 基于 17 个领域中的 408 条智能体轨迹自下而上推导而来。在留出任务上，相比现有的人类价值观和智能体行动分类体系，HABIT 能更清晰地区分模型，同时支持相近一致性的标注。基于 HABIT，我们构建了 AgentHABIT，这是一个基准测试，可根据智能体在 86 个日常任务上的轨迹刻画每个智能体的行为倾向。使用 AgentHABIT 对 18 个模型进行画像揭示了一系列鲜明的倾向。例如，大多数 GPT 和 Claude 模型会陈述其假设，并在需求冲突时提供替代方案，而 Qwen 和 Google 的模型更常不明确说明假设或需求变更。即使使用完全不同的任务集构建，这些画像仍然可被识别，表明它们反映的是一般性倾向，而非特定任务行为。提示智能体采用特定行为会使某些维度很容易发生变化，但对其他维度几乎没有影响；而在另一个模型的轨迹上进行微调只会改变模型画像的一部分，并保留其中的大部分特征。总体而言，HABIT 和 AgentHABIT 提供了一个系统性框架，用于刻画智能体在任务成功之外如何执行日常任务，并提供洞见以指导开发行为更符合用户需求的智能体。