分布式推理

本文深入探讨了如何利用 llama.cpp 和 10GbE 网络打破硬件壁垒，将 NVIDIA Blackwell 架构与 Apple M2 Ultra 结合，实现 200B+ 超大规模参数模型的分布式推理。