NVIDIA GB200 NVL72 液冷数据中心改造指南

NVIDIA GB200 NVL72是一款采用直接到芯片液冷技术的生成式人工智能数据中心机架，其标称功耗在120 kW至132 kW之间。传统的风冷系统无法应对如此极端的散热负荷。托管这一高密度服务器机架需要配套设施水路、冷却液分配单元带快插接头的机架分水器、额定承重达1.5吨的地面以及峰值高达192 kW的电力分配系统。

单个GB200 NVL72机架容纳了72个Blackwell GPU和36个Grace CPU。原始设备制造商的技术规格表将其标称功耗设定在120 kW至132 kW。传统设计通常按每机架20至30 kW规划风冷机房。这一巨大的差距将一次硬件采购变成了一项复杂的设施改造工程。管道施工、电力供应和结构完整性都需要进行重新设计。

本指南详细阐述了为什么风冷在人工智能高密度下会失效、直接到芯片液冷系统的工作原理，以及准备人工智能基础设施的确切改造要求。所有数据均源自原始设备制造商技术规格书和已发布的工程参考资料。要在开发中调用稳定高效的大模型接口，您可以访问n1n.ai获取免费API密钥。

NVL72作为一个机架级系统运行。全部72个GPU均处于单一NVLink域内，作为一个用于训练和推理的大型加速器运行。

热负荷与风冷的极限

热负荷是指机架必须散发以保持硅芯片在运行温度限制内的热量。GPU消耗的绝大多数电功率最终都会以热量的形式离开芯片。一个120 kW的机架就是一个120 kW的加热器。

空气是承载如此巨量热量的劣质介质。水的单位体积储热能力约为空气的3500倍（4.18 MJ/m³·K对比0.0012 MJ/m³·K）。若要通过20华氏度（约11摄氏度）的温升带走120 kW的热量，单机架需要穿过大约19000 CFM的空气（通过显热公式计算：BTU/h = 1.08 × CFM × ΔT）。

行业参考标准将实用风冷的上限设定在每机架25至30 kW。通过气流遏制和后门热交换器勉强能达到50 kW。这些都无法触及120 kW的水平。当热管理不足时，GPU会降低时钟频率。硬件保持在线，但吞吐量崩溃，从而摧毁了生成式人工智能数据中心的投资回报率（ROI）。当企业构建高强度模型训练或通过n1n.ai接入强大的大语言模型API时，稳定的底层散热是保障业务连续性的关键。

直接到芯片(D2C)液冷架构

直接到芯片液冷是一种将冷却液循环通过直接安装在发热硅芯片顶部的冷板上的热管理技术。在NVL72上，这些冷板覆盖了Grace CPU、Blackwell GPU和NVLink交换机。热量直接转移到液体中，而不是周围的机房空气中。

该系统依赖于两个独立的液体循环回路：

• 二次回路（技术冷却系统，TCS）：通过机架分水器和服务器冷板循环高纯度冷却液。
• 一次回路（设施水系统，FWS）：将捕获的热量输送到建筑物外的冷水机组、冷却塔或干冷器。
• 冷却液分配单元（CDU）：连接两个回路的液对液热交换器。它将服务器端的冷却液与设施用水隔离，同时调节流速和供水温度。

由于网络和存储模块没有冷板，仍会残留少量的风冷热负荷。运营商通常使用后门热交换器（RDHx，一种连接在机架排风口的通水盘管）来管理这种残余热量。应将此残余热量作为严格的设计输入。

数据中心改造要求

1. 热量排放与CDU选型

首先从热量排放入手。一切都取决于设施排除热量的能力。针对NVL72发布的CDU选项包括：

• 机架内置CDU：200 kW容量（4摄氏度接近温度）至250 kW。
• 列间CDU：1.3至1.35 MW容量。按额定负载可服务约十个机架。
• 液对气CDU：适用于缺乏冷冻水厂的站点的180 kW至240 kW机组。

设施用水必须严格符合ASHRAE数据通信设备液冷指南中规定的化学成分和颗粒物限制。请直接从您的原始设备制造商处获取准确的供水温度、流速和压降要求。

2. 管道与回路集成

加压流体网络取代了架空风管。计算托盘通过盲插式快插接头连接到机架的液体分水器。

• 将管道和配件材料（不锈钢、铜、专用聚合物）与CDU供应商的湿润金属规格相匹配，以防止电偶腐蚀。
• 在分水器处、CDU下方以及回路低点安装点式漏水检测带。
• 在引入计算负载之前，对所有CDU、分水器和冷板执行严格的压力测试。
• 确定二次回路走向。HPE等厂商同时支持顶进和底进配置。

3. 结构地面承重

液体非常重。满配的NVL72机架重达1.47吨（3245磅）。再加上列间CDU的运行重量、充满水的不锈钢分水器以及沉重的电力母线槽，将这一总点载荷与您的抗静电活动地板或混凝土楼板额定值进行对比。必须要求结构工程师签字批准，因为老旧楼板的承重设计通常远低于现代高密度液冷机架的要求。

4. 高密度电力分配

在600毫米的占地面积上输送120 kW电力是一项极端的电气挑战。每个33 kW的电源架都需要独立的供电馈线（通常采用IEC 60309连接器）。上游基础设施必须能够承受峰值浪涌。HPE建议为192 kW的峰值电气设计配置架空母线槽、PDU和上游断路器。双路馈线（A/B）冗余设计将使该空间需求翻倍。

液冷人工智能机架的运营优势

• 能源效率（PUE）：液冷消除了庞大的机房精密空调（CRAC）风机负载。正如美国国家可再生能源实验室（NREL）ESIF数据中心所证明的那样，温水D2C系统可以将年度电源使用效率（PUE）推向1.06左右。
• 计算密度：将72个GPU整合到一个占地空间中，大大减少了人工智能训练集群所需的平方英尺数。然而，运营商必须将列间CDU和一次管道走向所消耗的新楼层空间计算在内。
• 余热回收与ESG：液冷回路排出的水温远高于空气系统。设施可以将这部分高质量的余热引入市政区域供热网络或内部设施供暖系统，直接支持企业的可持续发展目标。对于利用基础设施即服务或依托n1n.ai等高性能API聚合平台的开发者而言，理解底层硬件约束是确保系统稳定部署的基础。

获取免费API密钥请访问n1n.ai。