布局相同，数量不同：文生图模型中的数词在超过十之后有何作用

arXiv:2611.06840v1 公告类型：交叉发布 摘要：要求 SD3.5-Medium 生成十二个某种物体，再从相同的初始噪声出发，要求它生成二十五个。图像的布局保持不变，但物体数量的变化幅度与更换随机种子时相差无几，而且没有一致的变化方向。我们研究了在五个开放的文生图模型中，当请求的物体数量超过十个左右时，数词会发挥什么作用。我们固定物体和初始噪声，每次只改变一个因素，并让从未见过请求内容的人对 3,088 张图像中的物体进行计数。所有模型在物体较少时都能遵循指定数量，但只能达到某个界限，即其数量遵循上限：SD3.5-M 和 FLUX.1-dev 在数量略超过十时便不再遵循，而 FLUX.2 [klein] 和 Qwen-Image 在数量达到二十五之前仍能大致遵循。超过 SD3.5-M 的数量遵循上限后，初始噪声中的粗尺度部分决定了图像的构图，却不决定其中包含多少个物体：仅重新采样尺度小于图像八分之一的噪声，就能像更换数词一样保持布局，同时已使数量变化幅度达到更换数词时的三分之二。数词仍会传递到去噪器，并在最初几个步骤中发挥作用，但我们尝试的所有方法都未能让它产生明确的方向性影响。如果改为在初始潜变量中用加噪网格呈现数量，模型就能将该数量画出来：人工评估发现，59% 的图像呈现了指定数量，而仅通过文字告知数量时，这一比例为 4%。数量超过十之后，精确匹配评分几乎无法区分大致遵循数量的模型与忽略数量的模型，而相对误差评分甚至可能更偏好始终猜测为十六的策略。对每种物体使用少量请求、保持噪声相同的测试，就能将这些模型区分开来。