环境离散扩散：在正确的时间使用错误的数据，实现数据高效学习

arXiv:2610.12340v1 公告类型：新 摘要：我们提出 RefineMix，这是一种在严重数据稀缺条件下训练离散扩散模型的框架，而数据稀缺是科学应用中的常见限制。RefineMix 在选定的扩散时间使用分布外数据，以提升泛化能力，同时不会对采样分布造成偏差。尽管这一策略已在连续扩散中得到探索，但离散扩散面临着一个独特挑战：与高斯噪声不同，掩码会保留幸存 token 中的领域信息，从而限制了在高噪声水平下使用相关数据的能力。然而，在低噪声水平下，各领域实际上互不相交的支撑集反而成为优势，使模型能够同时从域内数据和分布外数据中学习，而不会对采样器造成偏差。我们将这些直觉形式化，并对所提出的方法进行了理论分析。在实验中，跨越五种领域偏移设置，RefineMix 达到了与域内微调相当或更优的效果。在蛋白质序列生成任务中，仅使用 197 个域内样本进行微调，相较于标准微调，生成的同时具备新颖性、可折叠性并属于目标家族的蛋白质比例几乎翻倍。