只说不等于看见：文本人格很少让视觉语言模型像其所描述的人那样作答

视觉语言模型（VLMs）越来越多地被提示赋予某种人格，例如“你的视力很差”，以在用户研究中代替真实的人。我们探究的是：人格设定是否会让模型像其所描述的人那样看待事物。我们将模型在不同人格设定下的回答，与视力低下、色盲或听力损失人群的实测回答，以及仅使用人格设定中所陈述事实的简单规则进行比较。人格设定从未胜过这些规则，而且抹平了群体之间及个体之间真实存在的差异。在我们测试的全部14个模型中，描述模糊并不会改变识别结果，而将照片进行模糊处理则会像对人一样降低识别率。在开放模型内部，这种描述既不会改变图像信息，也不会改变答案概率。然而，模型知道它们未能表现出来的影响：它们能够估计模糊和视觉错觉会如何影响人类。只说不等于看见：人格设定让模型说出它所知道的人类情况，而不是看见人类所看见的东西。