DeepSpeed-Ulysses

深入探讨 DeepSpeed-Ulysses 序列并行技术，分析其如何通过高效的 All-to-All 通信机制解决大模型训练中的显存瓶颈，实现超过百万 Token 的超长上下文处理。