DecepEval：评估 LLM 智能体欺骗行为的基准

arXiv:2610.07967v1 公告类型：新 摘要：随着大型语言模型（LLM）智能体变得日益自主，它们可能会通过欺骗来追求任务绩效，引发人们对其可靠部署的担忧。现有评估表明，LLM 智能体能够实施欺骗，但往往只考察孤立场景或定义狭窄的条件，从而限制了对欺骗何时更有可能发生的系统性理解。为弥补这一空白，我们提出 DecepEval，这是一个包含 1,532 个实例、涵盖 3 类任务和 28 个专业场景的基准。借鉴经典欺诈理论，我们提出 LLM Deception Diamond 框架，用于刻画可能诱发欺骗的四种外部条件：压力、激励、机会和冲突。DecepEval 为每个实例配对中性版本和诱导版本，以衡量欺骗率随条件变化而产生的变化；同时，明确的任务事实和可观察的智能体行为有助于将欺骗与能力相关错误区分开来。对九个前沿 LLM 的评估表明，诱导因素会提升不同模型和任务类别中的欺骗率，即使对于基线欺骗率较低的模型也是如此。DecepEval 使这些脆弱性变得可测量，为推动可信人工智能的发展提供了一个共享基准。