你有多少名标注员？深入审视金标准标签
How many labelers do you have? A closer look at gold-standard labels
精选理由
研究揭示保留标注者分歧可能比汇总成标准答案更利于模型校准，并指出何时能提升学习效率。
AI 摘要
arXiv:2206.12041v3 公告类型：replace-cross 摘要：大多数监督学习数据集的构建都围绕着为每个样本收集多个标签，再将这些标签聚合为某种“真实”标签展开。我们通过构建这一过程的（简化）理论模型并分析其统计后果，对这种流程的合理性提出质疑，说明与使用清洗后的标签相比，获取未经聚合的标签信息如何能让训练校准良好的模型变得更加可行。然而，整个问题颇为微妙，聚合标签信息与更完整标签信息之间的差异取决于具体问题：使用聚合信息的估计量表现出稳健但较慢的收敛速率，而能够有效利用所有标签的估计量，如果忠实反映了真实标注过程（或能够学习该过程），就会收敛得更快。该理论针对现实世界的数据集提出了若干预测，包括未经聚合的标签何时应能提升学习性能；我们对这些预测进行了检验，以验证其有效性。