DeepSpeed ZeRO

通过深入理解零冗余优化器 (ZeRO) 和全分片数据并行 (FSDP)，掌握分布式大语言模型训练的核心。本教程涵盖内存管理、从零开始的实现逻辑以及 PyTorch 实战代码，助你攻克 AI 开发中的显存瓶颈。