arXiv cs.AI精选77

看不见的编辑层:对未披露的推理时引导、概率投放与已部署语言模型中的归因问题进行形式化

The Invisible Editorial Layer: Formalizing Undisclosed Inference-Time Steering, Probability Placement, and the Attribution Problem in Deployed Language Models

· 49天前

精选理由

帮助读者识别LLM部署层偏置及其监管含义

AI 摘要

大型语言模型(LLMs)通常在这样一种假设下进行评估:其可观察行为主要由模型权重、训练数据、对齐流程以及用户提示词所决定。这个观点并不完整。现代推理流水线可能会在模型生成 token 之前、紧接着对其产生的概率分布进行系统性修改,从而在冻结权重与可观察文本之间创建一层额外的控制层。 尽管受控生成(例如 PPLM、GeDi、DExperts、FUDGE)和文本水印系统(例如 SynthID-Text)展示了在解码层和 logit 层进行干预的技术成熟度,未披露推理策略所带来的治理、安全与经济影响却相对缺乏研究。本文考察推理时框架偏置的出现:即在模型推理之后但在 token 采样之前施加干预,从而系统性地将生成语言引导向政治、意识形态、制度或商业框架。 我们将 Model != Deployed System 这一运行现实形式化,并提出三个概念:(1)推理归因问题,用于刻画在有限可观测条件下,为何观察到的行为偏置通常不能仅仅归因于模型权重;(2)概率投放,定义一种假设性的广告原语,其中商业影响不是通过显式插入产品,而是通过系统性改变生成概率来实现;以及(3)推理策略透明性,一项用于使部署层干预可审计的治理原则。我们将这些概念与欧盟 AI Act 第 5 条、欧盟 Digital Services Act 以及 FTC 的相关原则联系起来加以审视。

查看原文(arXiv cs.AI)