arXiv cs.LG精选73

用于审计语义接地主张的框架

A framework for auditing grounding claims

· 11天前

精选理由

提供可审计的语义落地评估框架,帮助区分模型表现与真正的符号理解。

AI 摘要

arXiv:2512.06205v3 公告类型:替换交叉版本 摘要:符号接地问题探讨的是,像 cat 这样的词元如何能够指涉猫。我们提出了一个框架,用于依据预先声明的语义标准审计语义接地主张。审计报告给出测量结果和证据,并根据明确的验收标准作出附条件的总体判定。其评估维度包括准确性、稳健性和组合性,同时考察系统如何获得其机制、这些机制如何促进性能,以及它们为何被保留。在一个玩具网格世界中,智能体能够准确解释单个符号,却无法处理一个被保留的组合。按照声明的规则组合其解释则可以成功。这一对比表明,在观察到的失败中存在偏离组合规则的情况。此次审计以及一项针对预训练词向量的试点研究,都提供了证据,表明某一指定机制对当前性能有所贡献。但这一贡献是否解释了该机制为何被保留,仍未得到认证。该框架评估的是支持语义接地主张的证据;候选解释仍有责任说明意义是如何产生的。

查看原文(arXiv cs.LG)