通过耦合超参数缩放实现推荐系统缩放定律的数据高效发现

arXiv:2611.05643v1 公告类型：新增 摘要：Web 平台的大规模排序与推荐模型与大语言模型一样，能够受益于计算量的增加，其缩放行为总体上呈幂律形式。然而，排序模型的架构具有异构性，这使得其缩放定律不如 LLM 的缩放定律直观。我们研究如何高效发现任意排序模型的缩放定律。我们引入了一个缩放层，将基础架构参数划分为语义一致的组，并定义它们如何协同变化，从而建立从低维超超参数空间到完整架构空间的映射。在此基础上，Axia 拟合融入缩放规律的代理模型，依据基于后验的采集准则选择配置，并返回 Pareto 前沿，再从中选取各模型的运行点进行验证——以少量信息丰富的运行取代穷尽式扫描。一套模型群级评估协议在试验预算相同的条件下，基于固定的代表性模型集进行计算，使对任一组件的改进都能够得到量化评估。我们的贡献是构建了一个自动化系统，用于学习特定模型的复杂度与质量之间的关系，并为异构模型生态系统中的计算资源分配提供考虑不确定性的指导。在 Meta 广告排序与检索系统的两个开发周期、共 34 次模型迭代中，该工作流程使离线归一化熵指标平均改善了 0.66%，并带来了 0.36% 的累计线上提升。