arXiv cs.AI精选76

正确框架,错误规则:文化线索暴露了本应弥合的金融知识鸿沟

Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close

· 42天前

精选理由

揭示文化线索会暴露模型金融知识盲区

AI 摘要

当一个问题在不同规范框架下都有有效答案时,语言模型必须决定使用哪种框架,以及它能否在该框架内正确作答。我们将这种情形称为规范多元主义,并在伊斯兰金融中使用一种四选分类法进行研究,该分类法将框架选择与框架内正确性分离开来。这种分离揭示了刻板印象陷阱:文化线索将模型引向某一框架,但模型在该框架内却选择了错误答案。我们对十二个模型、两种语言和五十种人口统计信号进行研究,发现文化线索会改变框架选择,并显著影响准确率,尤其是在非前沿模型中。在最强信号下,大型开放权重模型有97%的时间选择伊斯兰框架。若采用二选评估,结果会显示几乎完美的一致性,尽管这些选择中有57--66%是错误的。这些发现为能力条件路由假说提供了动机,但并未直接检验该假说:模型可能更偏好其更准确的框架,而文化线索则可能暴露出框架特定的能力差距。

查看原文(arXiv cs.AI)