arXiv cs.LG精选76

通过数据中心功耗检测 AI 训练

Detecting AI Training in Datacentre Power

· 1小时前

精选理由

通过监测数据中心功耗识别大模型训练,为不依赖运营方诚信的算力治理提供低成本验证方法。

AI 摘要

arXiv:2610.30182v1 公告类型:交叉收录 摘要:AI 治理协议需要能够在不信任运营方的前提下,检测受监控计算集群上的大型模型训练任务的方法。我们开发了一种方法,通过 Viterbi 算法跟踪不断漂移的迭代节奏,从设施级功耗中检测同步模型训练。在模拟的数据中心功耗数据上,当运营方不试图隐藏训练时,只要电表采样频率达到 $2$ Hz 或更高,Viterbi 跟踪器就能以 $1\%$ 的误报率,在申报为推理工作负载的情况下检测出至少 $96\%$ 的训练任务,且检测率与 Neyman--Pearson 最优值相差不超过 $0.04$。在运营方可能用于隐藏训练的八种对抗策略中,只有让每次迭代的工作量发生极端变化才能规避该跟踪器。这种策略的最强形式可在高达 $73\%$ 的五分钟观测窗口内隐藏训练,但在一天的观测期内,仍有至少 $87\%$ 的此类训练任务被检测到,每个任务的误报率为 $0.1\%$。这种对抗策略不会损失吞吐量,但在小规模训练中,运营方需要多投入 $93$--$267\%$ 的计算量才能达到相同的损失值。性能要求不高的被动式电表就足以让隐藏训练既可被检测,又代价高昂,因此功耗计量有望成为不依赖对运营方信任的算力核查的重要组成部分。

查看原文(arXiv cs.LG)