SIT-Eval：基于情境的对话智能体交互式逐轮评测

对话式 AI 智能体的迅速普及，使得评测方法必须能够在多样化的对话场景中，依据多种情境标准评估其表现，因为恰当的行为取决于上下文，并涵盖多个方面。现有的对话基准通常采用静态的自然对话，因而无法充分覆盖罕见情境——这构成了一个严重的安全漏洞，因为低概率事件在生产规模下会演变为高频故障。然而，有限的样本量迫使人们在两者之间做出选择：要么保留自然对话以确保真实性，要么转向自适应情境采样，以实现全面且具有统计可靠性的覆盖。我们提出 SIT-Eval，一个可调节的情境式对话智能体评测框架。我们将智能体的期望行为形式化为情境规则：如果情境是 P，则遵循规则 Q。在每一轮对话中，一名 LLM 对话者执行均匀采样得到的情境。一个具备上下文感知能力的 LLM 评判器利用所有条件适用的规则作为标准，针对该情境评估智能体的回复。该评判器通过人工验证的合成黄金对话进行验证。对 8 个 LLM 在 1292 轮对话中的基准测试揭示了总体指标所掩盖的故障模式：总体得分相近的模型，在遵循单条规则方面却存在显著差异。所有模型在澄清歧义和苏格拉底式提问方面的表现最为困难。