FORTE：面向工业推荐系统的特征评估与弃用生产框架

生产环境中的推荐系统存在特征生命周期不对称性：添加新特征必须在某项指标上带来收益，而移除特征则不得导致任何指标退化。在实践中，特征弃用很难获得优先处理，因为特征可能因以下情况而无法移除：它与其他特征存在交互，其重要性每天都在变化，无法在生产模型发生变化或数据漂移之前完成评估，与其他上线项目争夺 A/B 测试资源，导致线上 A/B 测试指标退化，或被多个模型使用而需要协调弃用。我们提出 FORTE，这是一个模型无关的生产框架，用于发现、验证和移除特征。其高效的扰动实现支持每日特征评估。为考虑特征间的交互，它通过分组消融来评估由所有排名较低的特征构成的候选特征集，其离线结果能够充分预测线上 A/B 测试结果，从而支持有把握地推进弃用方案的线上测试。血缘追踪可识别所有使用相关特征的下游模型，从而充分实现从训练集中移除特征所带来的资源节省。我们在两个大规模推荐系统上验证了 FORTE，发现它能够识别出不会导致线上指标退化的可弃用特征集，而对效率的影响则取决于模型特性。在一个搜索相关性模型上，FORTE 生成了三个相互嵌套的候选集，分别包含 32、48 和 59 个特征。线上护栏指标否决了规模最大的实验方案。最终选定包含 48 个特征的集合进行弃用，移除了该模型 43.3% 的特征。在一个大型排序模型上，FORTE 识别出 8 个待移除的候选特征。重新训练和 A/B 测试确认未出现指标退化。该方案上线后，可训练参数减少了 29.9%，推理服务吞吐量提升了 19.8%–25.5%，每年训练成本降低了数十万美元。