FORTE：面向工业推荐系统的特征评估与弃用生产框架

arXiv:2610.13806v1 公告类型：新论文 摘要：生产环境中的推荐系统存在特征生命周期不对称性：添加新特征必须在某项指标上带来收益，而移除特征则不能导致任何指标退化。在实践中，特征弃用很难获得优先处理，因为以下情况均可能导致特征无法被移除：它与其他特征存在交互，其重要性每天都在变化，无法在生产模型发生变化或数据漂移出现之前完成评估，需要与其他上线项目争夺 A/B 测试资源，在在线 A/B 测试中导致指标退化，或被多个模型使用而需要协调弃用。我们提出 FORTE，这是一个与模型无关的生产框架，用于发现、验证和移除特征。其高效的扰动实现支持每日特征评估。为考虑特征间的交互，该框架通过分组消融来评估由所有排名较低的特征构成的候选特征集；其离线结果对在线 A/B 测试具有足够的预测能力，因此可以有把握地将弃用方案推进到在线测试阶段。血缘追踪能够识别所有使用相关特征的下游模型，从而充分实现从训练集中移除特征所带来的成本节约。我们在两个大规模推荐系统上验证了 FORTE，发现它能够识别出不会导致在线指标退化的可弃用特征集，而其对效率的影响取决于模型特性。在一个搜索相关性模型上，FORTE 生成了三个嵌套的候选特征集，分别包含 32、48 和 59 个特征。在线护栏指标否决了最大的实验方案。最终选定包含 48 个特征的集合进行弃用，移除了该模型 43.3% 的特征。在一个大型排序模型上，FORTE 识别出了 8 个待移除的候选特征。重新训练和 A/B 测试确认未出现指标退化。该方案上线后，可训练参数减少了 29.9%，推理服务吞吐量提高了 19.8%–25.5%，每年训练成本降低了数十万美元。