arXiv cs.LG精选73

反事实门控支持域分解:分离训练数据过滤中的选择与再分配

Counterfactual Gate-Support Decomposition: Separating Selection from Redistribution in Training-Data Filtering

· 1小时前

精选理由

提出四臂反事实分解方法,区分数据筛选与分布重排的影响,避免误判训练数据门控效果。

AI 摘要

arXiv:2610.19343v1 公告类型:新投稿 摘要:训练数据质量门控既会改变输入空间各区域内哪些样本得以保留,也会改变训练数据量在这些区域之间的分布,因此,门控与随机选择的比较无法将这两种机制分离。我们提出反事实门控支持域分解(CGSD),这是一种预算匹配的四组设计,将门控资格与支持域分布交叉组合,并将观测到的门控效应分解为支持域内选择、支持域间再分配及二者的交互作用。实际约束在于有限数据池中的可实现性:我们刻画了构建所需各组的数据量条件和词元组装条件,并指出一种支持域消失的情形,在该情形下常规设计无定义。在韩英和韩日检索任务中,平均支持域内选择分量是唯一超出其校准零假设区间的分量(留出集条目数分别增加29.7和5.6;30/30次重复均为正值),其中韩英任务的证据确凿,韩日任务的证据则处于临界水平;在现有统计功效下,再分配与交互作用仍无法判定。对于第二类无关的门控机制——基于模型置信度阈值而非确定性验证器的门控——以其自身的零假设为基准进行评估时,也呈现出相同模式(增加27.3个条目,9/9次重复均为正值),因此该结果并非某一种门控机制特有的性质。在数学门控上,零合格样本的支持域使常规设计在所有预算下均无定义,而扩展设计仅能在狭窄的预算区间内构建;穷举扫描定位了这些区间,但自然运行点并未落入其中——组装条件由此区分了数据池本身的性质与打包器的局限。因此,CGSD会返回分解结果、可构建但统计功效不足的设计,或明确的不可构建结论,并说明属于哪一种情况;它可防止支持域再分配被不加说明地解释为样本层面的门控质量。

查看原文(arXiv cs.LG)