保持时间 vs. 理解时间:单独依靠任何一者都无法解释 LLMs 中的时间推理
Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs
精选理由
深度 91 / 新颖度 85,来自 arXiv cs.AI。
AI 摘要
人们普遍认为,时间推理可分解为两种模式:时间算术(日期和时间计算)以及时间语义(理解时间关系和因果关系)。这种二分法影响着基准测试的设计、模型的训练方式以及进展的衡量标准,然而其经验有效性从未得到直接检验。我们提供了两条对这一观点构成挑战的证据。首先,我们检验基准测试标记为算术或语义的任务,是否能在其声称对应的模式内带来可迁移的增益。在这些子集上进行微调所带来的增益主要是数据集特定的(+6.8 至 +23.1 个百分点),而迁移到同一模式下的另一个数据集时,增益范围为 −3.2 至 +1.1 个百分点。在迁移分析所使用的两个基准系列中,这一模式几乎无法证明存在连贯且可迁移的时间能力。其次,我们采用基于认知需求的模型评估方法,考察究竟哪些能力驱动了模型在这些基准测试中的表现。我们发现,定量推理和逻辑推理——即通常被假定为时间算术和时间语义的代理能力——并非主要驱动因素,知识才是。综合来看,这些发现表明,当前的时间推理基准测试并未清晰实现算术—语义区分,反而在很大程度上是在奖励模型记住时间通常如何运作。