来源识别并非适应度测试：衡量合成数据归因的局限性

arXiv:2610.00417v1 公告类型：新 摘要：在模型生成的数据上反复训练，可能导致后续模型性能下降。一种可能的应对方式，是在决定复用哪些生成样本时利用其来源信息。我们同时测试了这种来源信息能否被可靠地恢复，以及它是否有助于识别更优质的训练数据。我们使用金融风险文本，首先识别生成段落的来源，然后在改写这些段落后重复测试。对原始段落进行生成器归因的准确率为98.7%，但在释义改写后降至53.1%，在风格改写后降至29.0%。相对于所测试的人类文本对照集，生成文本与人类文本的检测准确率仍接近完美。随后，我们在三轮生成与再训练过程中，比较了两种选择生成样本的方法。一种使用来源信息，另一种使用单独的参考模型给出的分数。两种规则选择出的样本不同，但预先设计的比较未能检测到所得模型性能下降存在稳定差异。结果表明，识别数据的来源与识别哪些数据对训练有用，是两个彼此独立的问题。因此，该实验区分了来源身份、面向评判标准的选择和递归训练结果：无论是来源溯源分数，还是所测试的面向评判标准的代理指标，都尚未被证明足以预测未来的递归行为。