GPU 拓扑

深入探讨 DDP、FSDP 和 ZeRO 等分布式训练架构，并分析硬件拓扑（特别是 GPU 布线）如何成为影响模型训练性能的关键因素。