arXiv cs.AI精选74

识别并不等于逆转:一项保持事实不变的新闻框架受控逆向测试

Recognizing Is Not Reversing: A Controlled Inversion Test of Fact-Preserving News Framing

· 33天前

精选理由

深度 88 / 新颖度 82,来自 arXiv cs.AI。

AI 摘要

大型语言模型(LLM)正越来越多地用于分析和改写新闻,但当前的框架研究主要评估文本生成、框架检测,或改写后的文本是否显得更加中立。它们并不能直接说明模型是否能够在保持事实不变的同时,消除一种已知的框架转换。我们针对框架的三种既有文本实现形式——评价性词汇、行动者呈现和信息显著性——引入了一项受控逆向测试。在60篇新闻文章和三种干预强度下,该测试生成了540组保留原子事实且记录了编辑内容的成对变体。在Qwen、DeepSeek和Kimi上,事实保留率保持在接近0.84的水平,而干预逆转率仅为0.044--0.068。即使框架类型和方向都被正确识别,合并后的逆转率也只有0.071。这些结果清楚地揭示了事实忠实度、框架识别与框架逆转之间的区别:能够识别一篇文章采用了何种框架,并不意味着能够消除该框架。

查看原文(arXiv cs.AI)