Hugging Face Blog精选69

通过使用 Flash Attention 2 进行打包提升 Hugging Face 训练效率

Name: AI HOT 精选数据集（復刻站）
License: https://aihot.yuenlau.org/llms.txt

Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2

2024/08/21 08:00· 784天前

精选理由

介绍结合序列打包与Flash Attention 2提升训练吞吐、降低资源浪费的方法。