分布式训练

深入探讨如何在 PyTorch 中通过梯度累积 (Gradient Accumulation) 和分布式数据并行 (DDP) 优化显存使用并扩展 LLM 训练规模。

深入探讨如何利用 NVIDIA Nsight Systems 识别并解决大规模 AI 训练中的数据传输瓶颈，通过内存固定、NCCL 调优和 GPUDirect RDMA 等技术提升系统效率。

深入探讨 Mosaic 库如何通过分布式注意力分片（Sharding Attention）技术，解决 15 万超长序列在 Transformer 模型中的显存瓶颈问题。