BehaviorBench：基础模型行为科学任务基准测试

arXiv:2606.24162v2 公告类型：replace-cross 摘要：基础模型日益被应用于心理学、社会学和经济学等行为科学领域。尽管这些模型在问卷回答预测和人类受试者实验模拟等任务中展现出潜力，但目前对于它们在多样化行为科学任务中的表现，仍缺乏系统性认识。我们推出了 BehaviorBench，这是一个综合性基准，用于评估基础模型的四项核心能力：（1）行为预测与模拟；（2）策略性决策；（3）受试者特质推断；（4）行为知识应用。重要的是，BehaviorBench 在个体层面和分布层面同时评估模型输出，不仅考察每个受试者的准确性，还考察与总体分布的一致性，而后者是行为有效性的必要要求。我们的评估显示，即使是领先的通用 LLMs，以及专门使用行为数据训练的行为基础模型，在 BehaviorBench 上仍面临挑战。我们发现，个体层面表现与分布层面表现并不总是一致。通用 LLMs 往往低估人类回答的多样性，而行为基础模型在个体层面的预测方面通常相对落后。进一步研究表明，在多样化行为数据上进行微调能够同时提升个体层面的预测能力和分布一致性，从而平衡这两个目标。我们的结果凸显了在个体层面和分布层面同时进行评估的重要性，并将 BehaviorBench 确立为开发和评估行为对齐 AI 系统的基础。我们的 BehaviorBench 和模型可通过 https://umich-foreseer.github.io/behaviorbench/ 获取。