Ulysses 序列并行:使用百万词元上下文进行训练
Ulysses Sequence Parallelism: Training with Million-Token Contexts
精选理由
介绍 Ulysses 序列并行如何支持百万 token 上下文训练,助力大模型处理超长文本。
Ulysses Sequence Parallelism: Training with Million-Token Contexts
介绍 Ulysses 序列并行如何支持百万 token 上下文训练,助力大模型处理超长文本。