arXiv cs.LG精选73

协作技术文档的句子具体性评分:一项领域迁移研究

Sentence Specificity Scores for Collaborative Technical Documentation: A Domain-Transfer Study

· 11天前

精选理由

揭示具体性评分的迁移局限,助力更可靠地筛选技术文档修订稿

AI 摘要

arXiv:2610.01046v1 公告类型:cross 摘要:协作依赖于共享上下文,而技术文档是这些上下文得以在人与 AI 队友之间延续的一种方式。具体性,即语言所表达细节的数量与精确程度,会影响文档所捕捉的信息,以及这些信息传达的准确程度。本研究审查了用于技术文档的句子具体性评分工具,并测试了仅在生成之后应用评分是否有助于在固定的 LLM 生成修订版本中进行选择。在 Wikipedia 和三个技术文档语料库中,固定的通用领域预测器 SpeciTeller 与 Ko 等人的目标适配预测器在作者代码仓库中发布后的固定实现,产生了不同的语料库排序;对于同一句子的排序一致性,其范围为 -0.066 至 0.510。严格过滤和词元长度调整改变了这些模式,但未能使二者趋于一致。在 Gemma 数据集中,使用 SpeciTeller 排序使方向有效的选择比例从 71.7% 提升至 83.3%(+11.7 个百分点;95% 源案例自助法区间为 +1.7 至 +21.7);在 GPT-OSS-120B 数据集中,使用 SpeciTeller 排序使方向有效的选择比例从 51.7% 提升至 56.7%(+5.0 个百分点;95% 源案例自助法区间为 -6.7 至 +16.7),且所有主要的单评分 GPT-OSS-120B 区间均包含零。这些发现表明,评分的解读及其决策价值取决于预测器和候选集。

查看原文(arXiv cs.LG)