arXiv cs.AI精选81

并非你所意:LLM 能遵循指定的否定语义吗?

Not What You Meant: Can LLMs Follow a Specified Negation Semantics?

· 20天前

精选理由

揭示大模型难遵循指定否定语义,为法律医疗等高风险推理的评测与改进提供依据。

AI 摘要

否定在不同领域中的解释并不统一。在法律、监管和医学推理中,其预期解释取决于所采用的解读方式——开放世界还是封闭世界、二值还是三值,以及信任式还是怀疑式。我们研究大语言模型默认采用哪种否定解读方式,以及当明确指定另一种解读方式时,它们能否覆盖这一偏好。为此,我们引入 NAFBench,这是一种程序化生成器,可生成由求解器认证的实例,涵盖四种语义视角:SLDNF、良基语义(WFS),以及稳定模型语义下的信任式推理和怀疑式推理。该生成器输出具有受控深度、宽度和循环结构的基础正常逻辑程序。每个程序都使用 SWI-Prolog、良基语义求解器和 clingo,在全部四种视角下进行求解,从而得到最多四个彼此不同的标签。随后,这些程序会在多种表述框架和规则排序下被转写为自然语言,而这些变化不会改变答案。结果揭示出一个持续存在的差距:对于开源模型而言,遵循指定的否定语义仍未得到解决;在四种语义视角下,最强模型的得分为 59--74%,而最弱模型的得分为 31--67%。对于逻辑上完全相同但规则顺序经过打乱的实例,所有模型在超过一半的情况下都对顺序敏感;其中两个较弱的模型还经常在良基语义的“未定义”结论上贸然做出确定判断。两个前沿模型在主要的固定复杂度评测集上达到 100%,第三个模型 o4-mini 也近乎完美,仅在良基语义的“未定义”类别上降至 81%。将推理委托给求解器、基于认证轨迹进行微调,或强制模型给出明确的三值判定,都能部分缩小这一差距。

查看原文(arXiv cs.AI)