LLM品牌推荐中的系统归因：单条响应可识别系统，聚合品牌画像无法迁移

arXiv:2610.00253v1 发布类型：cross 摘要：AI可见性审计会将已部署语言模型的品牌推荐汇总为按系统划分的画像。我们在一个由6,475条已存储响应构成的数据集上检验这种画像是否能够描述系统，其中6,324条可供分析；这些响应于2025年12月至2026年2月期间，从五个已部署端点收集，涉及礼品推荐、企业声誉和品类归属查询。采集工具会截断许多答案：在1,024个token的输出上限下，Gemini 3 Flash在品类归属任务中的答案有83.1%在句子中途结束。将每条答案都截取为前800个字符后，一个按提示属性进行交叉验证的字符n-gram分类器，能够以97.84%的准确率将单条响应归属于GPT-5.2、Gemini 3 Flash、Gemini 3 Flash with search、Grok或Perplexity sonar-pro（5,028条响应、383个提示词、多数类占31.5%、30个划分随机种子）。仅使用长度时，准确率降至多数类比例；24项格式统计特征可达到95.79%，而遮蔽品牌名称和首字母大写的词后，准确率仍为97.72%。在留出的查询条件上，按样本量加权的准确率保持为97.43%，不加权时为88.0%；在一个改变采集工具的检索支撑实验中，没有任何Grok答案被归因于Grok（0/120）。将数据汇总为50个“模型×领域×条件”单元后，12项行为特征在分组交叉验证下以66.53%的准确率区分四个系统；相比之下，标签置换零分布的均值为33.71%，第95百分位数为46.0%。跨领域来看，聚合画像无法迁移：在品类归属单元上训练的随机森林将全部22个礼品单元分配给错误的系统，这与品牌数量发生反转相一致（礼品任务中每条响应的品牌数为8.41对0.94，品类归属任务中为3.01对3.91）；而单条响应的平衡准确率为89.92%。在所测试的查询领域之间，答案的表层形式能够携带系统信息；聚合后的品牌行为却无法迁移，而且未进行交叉设计的实验无法将系统与领域或采集工具区分开来。