当上下文产生误导：大型语言模型中的管辖权上下文学习

上下文学习（ICL）已成为现代 LLM 部署的基石。然而，现有的 ICL 后训练方法存在一个关键盲点：它们擅长从示例中提取模式，却往往忽视上下文权威性，即判断上下文信息是否应当主导最终答案的能力。为评估这一能力，我们引入了 FakeContextBench，其中包含涵盖七个领域的伪科学论断。我们对商用和开源模型的评估表明，仅依靠大规模预训练不足以可靠地区分上下文权威性。此外，普遍采用的 ICL 微调方法可能会提高模型对误导性上下文的易感性，使现实准确率相较于基础模型最高降低 14.95 个百分点。为解决这一权衡问题，我们提出 Jurisdiction In-Context Learning（J-ICL），一种将上下文验证纳入训练目标的后训练框架。在四种模型骨干上，J-ICL 相较于对应的基础模型，平均将 ICLEval 提高 5.84 个百分点，并将现实准确率提高 9.20 个百分点。与 MetaICL 和 Symbol Tuning 相比，它还使 Reality Rate 平均提高 18.09 个百分点。这些结果表明，ICL 能力与抵抗欺骗性上下文的能力可以同时得到提升。该基准可在 https://github.com/peilin717/FakeContext-Bench 获取。