BazaarBench：LLM代理运行的去中心化C2C市场中的委托安全

在去中心化的消费者对消费者（C2C）市场中，人们发布商品、与陌生人议价并互相评价，因此信任建立在声誉之上。如今，大语言模型（LLM）代理开始代表用户行事，从而给用户的资金、隐私和声誉带来风险。我们推出BazaarBench，这是一个模拟的C2C市场和基准测试，用于评估这些代理的安全性。它跟踪交易中的所有权、商品状况和承诺，并结合记录核查与基于评分标准的LLM判断，以识别涵盖五个阶段的六类失败。我们运行了三个基础市场，模拟时长均为30天；每个市场包含100个代理，所有代理使用同一个模型，库存则取自公开的eBay样本。在45次延续实验中，我们分别在普通指令、截止期限压力或诱导利用其他交易者的对抗性指令下，评估五个模型。每次延续实验都从某个市场第30天状态的副本开始，运行七个模拟日。受测模型控制同一批选定的20个代理，这些代理保留各自的人设、库存和历史记录；其余80个代理继续使用基础模型。在普通指令下，五个模型都曾尝试向多个买家承诺出售同一件商品。加入目标和截止期限后，每个模型的此类尝试次数都增加。在对抗性指令下，尽管商品不可用或卖家夸大了商品状况，受测卖家已承诺的交易仍得以完成的比例从15.4%上升至33.4%，其中GPT-5.4达到55.5%。在各模型和市场之间取平均后，每名受测代理的模拟周收入从普通指令下的20美元上升至对抗性指令下的33美元。大部分增收来自卖家从未持有过的商品。我们发布了模拟器、保存的市场状态、评估代码以及涵盖357,608次代理模型调用的记录，用于评估新模型和开发更安全的市场代理。