Hugging Face Blog精选75

Ulysses 序列并行:使用百万词元上下文进行训练

Ulysses Sequence Parallelism: Training with Million-Token Contexts

· 219天前

精选理由

介绍 Ulysses 序列并行如何支持百万 token 上下文训练,助力大模型处理超长文本。

查看原文(Hugging Face Blog)