超越答案置信度：对黑箱决策模型自我认知能力的受控审计

arXiv:2610.01006v1 公告类型：cross 摘要：决策模型会返回用于路由、拒答和自动化行动的概率。校准能使这些概率在平均意义上具有实用价值，但无法说明低置信度反映的是偶然性还是知识缺失，也无法说明当模型超出其已知范围时置信度是否会下降。我们使用超过 15 个公开数据集和 6 类生成任务，对决策模型 Jev 中的这一差异进行审计，并通过成对干预，在针对同一固定项目的情况下改变所提供的信息。Jev 在熟悉的封闭选项任务上经过校准，但无法作为知识缺失的指标：在没有任何与答案相关的信息时，它会对某个显著选项赋予最高达 0.80 的概率；对于超出观测知识边界的新闻，其置信度高于准确率 0.21--0.33，而在更早月份的数据上进行重新校准也无法弥合这一差距。针对性的“是/否”问题能更清晰地揭示具体情况：某个结果是否已确定（AUROC 1.00），以及证据是否充足（0.95；同一项目上置信度为 0.85）。询问 Jev 是否知道答案，似乎能够识别虚构实体和越过边界的新闻（0.91）；但对于现实感更强的名称，或移除日期后，它相比答案不确定性并无优势。因此，黑箱知识审计需要明确控制表面线索。代码：https://github.com/Syntheme/beyond-answer-confidence。