关于 LLM 适应能力的局限：模型内化先验对标注任务表现的影响

arXiv:2606.00467v2 公告类型：replace-cross 摘要：大型语言模型（LLM）正越来越多地用于零样本标注和 LLM-as-a-judge 任务，但其可靠性取决于模型内化先验如何与用户提供的指令相互作用。我们考察了这种相互作用的三个维度：（1）LLM 对数据和任务定义的熟悉程度与其性能之间的关系；（2）提示中的额外信息能否纠正零样本错误（“决策黏性”）；以及（3）模型对不匹配任务定义的易感性。我们提出了定义特定熟悉度（Definition-Specific Familiarity，DSF）指标，用于衡量模型所引出的概念与目标定义之间的一致性。在九个 LLM 和六个毒性数据集（五个主要数据集及一个额外的稳健性数据集）上进行的实验表明，在控制数据集身份后，DSF 能够预测标注性能（偏相关 $r=+0.41$）。在所测试的所有提示条件下，这种关联始终为正。相比之下，三种常见的文本记忆指标均未表现出正相关。我们发现，提示的纠错能力有限：额外指令或示例只能纠正 34.8% 的零样本错误，其中高置信度错误尤其顽固。不匹配的定义会系统性地改变预测，却不会降低模型报告的置信度，因此置信度并不可靠，无法用于检测定义与策略之间的不匹配。总体而言，这些发现确立了定义一致性作为一种实用的模型选择标准，并表明，仅靠改进提示无法替代对模型与策略匹配度的验证。