Fenchel Tilting：生成模型高效微调的加权校正

arXiv:2609.40030v2 公告类型：替换 摘要：将预训练生成模型适配到由效用函数表达的任意偏好，是奖励对齐、引导式设计和约束满足的基础，并支持多种应用。现有微调方法需要在通用性与计算成本之间权衡：要么限制所支持偏好的类别，以简化优化；要么以效率为代价保留通用性。我们提出 Fenchel Tilt Flow Control（FTFC），将效用优化与生成模型拟合解耦。FTFC 首先通过在预训练样本上联合拟合有效奖励和密度比权重，针对目标分布进行优化。该方法结合效用函数的变分结构与 Fenchel 对偶性，支持通用的 $f$-散度惩罚，从而决定如何将奖励转换为分布校正权重。随后，这些权重被冻结，并在单阶段的重要性加权去噪或流匹配过程中用于修改扩散模型或流模型，无需对采样轨迹进行反向求导。我们在适当条件下为凹效用函数建立了精确对偶性，并证明加权拟合能够针对给定效用函数复现最优目标分布。在图像和分子生成基准测试中，与基线方法相比，FTFC 在多种偏好函数上均取得更好表现，同时效率最高可提升 $20\times$。所提出的方法无需复杂优化即可实现超越期望奖励最大化的适配；与基线方法相比，在更广泛的效用函数类别下仍能保持稳健性。