理清医疗问答中误导性上下文的机制

大型语言模型如今已能以专家级水平回答医疗问题。然而，这些系统所依据的上下文可能具有误导性，而误导性上下文会破坏模型的医疗判断。为了解误导性上下文如何破坏这种判断，我们考察模型对上下文的易受影响程度、对其的披露情况、推理被污染的机制，以及决策的可监控性。在 MedMisBench 的医疗推理子集上，这是一个经过临床医生审查的问答基准，包含 8,627 个问题，我们注入了两类误导性上下文线索：捏造证据和裸断言。我们测试了三种推理模型，其中两种会展示完整推理轨迹，另一种前沿模型只展示其回答。三者都比对捏造证据更容易受断言影响，采用被断言答案的频率高出 10 到 27 个百分点。误导性线索在 81% 到 98% 的轨迹中被披露，但在响应中仅有 7% 到 90%；而且断言被披露的频率低于基于证据的线索。不显示披露信息、仅对推理轨迹进行重采样表明，这两类线索以不同方式污染推理：证据更早进入并逐渐累积，而断言则在接近结尾时改写结论。一个 LLM 监控器在带引导地阅读开源模型的推理轨迹时，能以 5% 的假阳性率捕捉到 78% 的被污染决策，而从任何响应中最多只能捕捉到 32%。模型最容易受影响的误导性上下文恰恰是最少被披露的，而只有在开放的推理轨迹中才能被可靠地发现；前沿模型提供方会将这类轨迹隐藏起来。