审计语言模型在推理时模型偏移下的保形预测
Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift
精选理由
揭示推理配置变化会破坏语言模型保序预测覆盖率，为部署评估与校准提供依据。
AI 摘要
arXiv:2610.28937v1 公告类型：新 摘要：语言模型的保形预测（CP）通常在匹配协议下进行评估，即校准和部署采用相同的训练后推理配置，例如量化模式和推理温度。在实际部署中，为满足内存或吞吐量限制，或遵循服务策略，这些配置往往不同于校准时所采用的配置。我们认为，这暴露了当前语言模型 CP 评估协议的一项局限。我们将这一潜在现象形式化为推理时模型偏移：由推理配置而非输入—标签分布引起的保形评分分布变化；并从理论上刻画了即使任务分布和训练后的模型保持不变，这种变化如何破坏 split-conformal 可交换性。随后，我们在 8 个语言模型、4 个有限标签基准和 12 种推理配置上评估其影响。我们发现，匹配评估可能会大幅高估部署时的覆盖率，而且这种影响在不同模型和数据集之间存在差异。我们认为，在针对语言模型系统的 CP 评估中，应将推理配置作为一个一等实验维度进行报告。