arXiv cs.AI精选73

价值丰富,组织有异:衡量 AI 生成辩论中的价值表达与组织

Value-Rich, Differently Organized: Measuring Value Expression and Organization in AI-Generated Debates

· 10小时前

精选理由

帮助读者识别并评估AI辩论中的价值表达与组织差异。

AI 摘要

当前对 LLM 生成辩论的评估主要关注论证质量,而对生成论证中的价值结构研究不足。我们提出了一个诊断性指标框架,用于比较人类参考辩论与 AI 生成辩论在价值表达和价值组织方面的差异。该框架将价值表达与价值组织区分开来:前者指一场辩论所涉及的可识别价值的范围,后者指这些价值如何在各轮发言中分布并持续呈现。基于 Schwartz's Basic-10 value theory,该框架将辩论表示为跨越论证单元、话语、立场和完整辩论多个层级的价值分布,从而支持对价值覆盖度、一致性、扩散性和跨轮次动态的衡量。在多个生成系统中,AI 生成的辩论总体上具有丰富的价值表达,所激活的价值维度通常与匹配的人类参考辩论相当,甚至更多,但其组织这些价值的方式有所不同。其话语中的价值在局部范围内更加分散,而不知晓来源的评审者能够区分价值清晰度与价值聚焦度。这些发现表明,辩论评估不仅应考虑价值是否出现,还应考虑价值如何组织。代码和补充材料见 https://github.com/Maoyuan-li/Value-Expression-and-Organization】【。

查看原文(arXiv cs.AI)