使用 Hub Bucket 交付一万亿参数:TRL 中的增量权重同步
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
精选理由
介绍利用Hub Bucket增量同步权重,降低超大模型训练的存储与传输成本。
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
介绍利用Hub Bucket增量同步权重,降低超大模型训练的存储与传输成本。