PriceBench：用于评估 LLM 预订代理在价格、质量和品牌偏好方面的诊断基准

LLM 越来越多地充当购买代理，这使得在满足请求的选项中做出选择的是 LLM，而不是用户；它的偏好会悄然决定买什么以及花多少钱。酒店预订是一个清晰的实例：这是基于少数可比较属性做出的高频选择，其选择结果揭示了这些偏好。我们引入 PriceBench，这是一个诊断基准，通过 logit 选择模型，从 LLM 的预订选择中恢复其价格、质量和品牌偏好，并将其应用于来自 8 个提供商的 28 个 LLM，在 179 家真实纽约市酒店的 3,600 个酒店任务上进行评估。我们发现，能力与 LLM 选择的一致性相关，而与它选择什么无关：能力更强的 LLM 具有更强、更一致的偏好，而较弱的 LLM 要么锁定某一个位置，容易被控制列表排序的一方利用，要么几乎无差别地选择。不同提供商之间，甚至同一系列内部，其偏好倾向差异都非常显著：价格敏感度跨度超过一个数量级，而价格/质量权衡会使相同任务下的平均预订每晚价格从 \$247 变化到 \$393。因此，代理会买什么必须针对每个 LLM 进行测量，而不能靠推断；我们发布了这些任务、代码以及全部 28 组响应。