arXiv cs.AI精选74

委派盲点:根据智能体选择审计产品决策

The Delegation Blind Spot: Auditing Product Decisions from Agent Choices

· 21天前

精选理由

提供可执行的决策审计方法,帮助识别代理选择背后的产品改进价值与不确定性。

AI 摘要

智能体的成功执行未必能够确定用户会看重哪项未来的产品改进。我们提出了一种针对特定决策的审计方法,将已声明的观测通道和产品价值对比映射为相容区间及见证群体。该方法建立在成熟的识别理论和决策理论之上,其贡献在于提供一套可执行的测量工作流,并通过受控研究考察其局限性。在一项冻结实验中,我们针对共享的合成任务向两个固定的模型快照发出4,800个请求。尽管执行准确率不同,全部36个保守的主要区间仍无法确定。一项探索性后续研究进行了2,400次调用,记录用户提供的偏好,并为每个模型的九项比较中的三项得出确定结论。一个确定性提取器无需调用模型或获取校准观测,便可对九项比较中的七项得出确定结论,从而揭示模型生成的报告引入了不必要的不确定性。进一步开展的14,400次受控多项式模拟区分了结构性歧义、较弱的识别能力和有限的校准精度。我们提出一种带有来源标签的决策凭证,并提供一个离线查看器,用于检查审计结果。这些结果表明,应保留与决策相关的结构化输入,并在收集更多遥测数据之前,先诊断决策尚未确定的原因。本研究不涉及人类参与者或真实客户结果。完整证明、原始模型溯源信息、受控实验和可复现分析均随报告提供。

查看原文(arXiv cs.AI)