从观点到承诺：AI中介提案中的不稳定指派与无声选择

大型语言模型（LLMs）正越来越多地被用于将公民观点转化为集体提案。这些提案可以作出指派：谁应当采取行动、必须做什么、应当花费多少以及截止时间。然而，如果相同观点再次被处理时，指派发生了变化，那么发布单一提案就可能掩盖参与者从未有机会看到的替代方案。我们使用来自 DeliberationBank 和 Polis 的观点，在四个 LLM 中介（其中三个为开放权重模型，一个为商业模型）上研究了这一问题。对于每项任务，中介根据三十条观点起草提案五次，每次改变随机种子或观点的排列顺序。在开放权重中介的五次运行组中，有17%的组出现了这样的情况：部分运行包含指派，而其他运行不包含；商业中介的这一比例为20%。重新排列观点导致指派发生变化的频率，几乎与替换为来自不同公民的观点一样高。三名人工标注者确认，检测到的运行间差异确实存在，但 LLM 评估器夸大了这些差异的发生频率。在四项保障措施下，仍然存在显著差异：温度设为零、使用商业中介、选择草案以及合并草案。中介的目标也塑造了其代表方式：与要求描述差异的提示相比，寻求达成共识的提示涵盖少数立场的频率要低得多。因此，单一提案可能掩盖两类选择：它所提出的指派中的选择，以及它排除的观点中的选择。我们提出开展审计，使替代指派可见，并披露每项提案背后的目标。