NVIDIA 在 AI 基础设施峰会上推出 Vera Rubin 架构与 DSX 平台：重塑 AI 工厂的每瓦 Token 效率

在圣克拉拉会议中心举行的 AI Infra Summit 上，NVIDIA 超大规模与高性能计算副总裁 Ian Buck 面对现场超过 8000 名基础设施架构师、AI 工程师及硬件领袖发表了主题演讲。随着参会人数从去年的 3500 人剧增至本届的 8000 多人，该峰会已然演变为全球 AI 基础设施领域的顶级盛会。在本次演讲中，Ian Buck 明确指出：在超大规模 AI 工厂中，能效比不再仅仅是一个辅助性的优化参数，而是制约大模型算力继续扩展的最关键物理瓶颈。

随着 DeepSeek-V3、Llama 3.3 以及 Claude 3.5 Sonnet 等大语言模型（LLM）在参数量与推理复杂性上的爆发式增长，计算性能的评估标准必须从单纯追求峰值算力（TFLOPS）转向更为实用且具备经济价值的核心指标：每瓦 Token 数（Tokens Per Watt）。Ian Buck 详细阐述了 NVIDIA 下一代 Vera Rubin 架构以及 DSX（数据中心系统级扩展）平台 如何从底层芯片到系统拓扑全面重构，以实现单位能耗下的 Token 产出最大化。

对于依赖高吞吐量 API 网关（如 n1n.ai）的企业与开发者而言，深入理解底层硬件的这一变革，对于预测未来 API 的调用时延、单 Token 成本趋势以及系统稳定性具有极其重要的参考价值。

算力范式转移：为什么“每瓦 Token 数”决定 AI 工厂的总拥有成本（TCO）

多年来，图形处理器（GPU）的性能评估主要依赖于 FP32、FP16 或 FP8 数据类型下的理论峰值浮点运算能力。然而，随着数据中心运营商开始规划吉瓦（Gigawatt）级别的超级 AI 工厂，电网供电上限与散热极限已成为不可逾越的物理壁垒。

Token 生成能效的数学逻辑

大语言模型的推理过程由两个计算特征截然不同的阶段组成：

1. 预填充阶段（Prefill Phase / Prompt 吞吐）：属于计算密集型（Compute-bound）。GPU 并行处理提示词 Token，极大地释放 Tensor Core 的算力。
2. 解码阶段（Decode Phase / 自回归生成）：属于内存带宽密集型（Memory-bandwidth-bound）。GPU 逐字生成 Token，每生成一个 Token 都需要从高带宽内存（HBM）中完整读取上百亿甚至上千亿的模型权重。

由于自回归解码受到内存带宽的严重制约，导致算力利用率（Operational Intensity）偏低，传统以计算为中心的架构在等待内存传输数据时会白白消耗大量静态功耗。

“每瓦 Token 数”（符号记为 $E_{token}$）的公式可表达为：

E_{token} = \frac{\text{输出 Token 总数}}{\text{消耗总焦耳数}} = \frac{\text{吞吐速率 (Tokens/Sec)}}{\text{系统功耗 (Watts)}}

当数据中心扩展到数十万张 GPU 互连的规模时，硬件架构若能将“每瓦 Token 数”提升一倍，就意味着在产出相同 Token 数量的前提下，整个数据中心的电力需求直接降低 50%。像 n1n.ai 这样的大模型聚合平台，正是建立在底层基础设施能效不断迭代的基础之上，从而能够为开发者提供更低延迟和更高性价比的模型接入服务。

NVIDIA Vera Rubin 架构：专为超高能效比打造的硬件基石

如果说 Blackwell 架构（包括 GB200 NVL72 系统）建立了 FP4 精度计算与液冷机架集成的标杆，那么下一代 Vera Rubin 平台 则在突破内存带宽瓶颈和控制功耗方面取得了突破性进展。

+-----------------------------------------------------------------------+
|                    NVIDIA VERA RUBIN 架构系统机架                      |
|                                                                       |
|  +---------------------------+       +-----------------------------+  |
|  |     Vera CPU (Arm 架构)   | <---> |   Rubin GPU (HBM4 引擎)     |  |
|  |  - 定制 Neoverse 核心      | NVLink|  - 高达 288GB HBM4 内存     |  |
|  |  - 统一缓存域              |  7.0  |  - 3D 堆叠逻辑与内存芯片    |  |
|  +---------------------------+       +-----------------------------+  |
|                ^                                   ^                  |
|                |                                   |                  |
|  +-----------------------------------------------------------------+  |
|  |                  硅光子 NVLink 交换机互连网络                     |  |
|  |             - 片上集成光收发引擎（Silicon Photonics）|  |
|  +-----------------------------------------------------------------+  |
+-----------------------------------------------------------------------+

1. HBM4 内存与 3D 芯片堆叠

Rubin GPU 引入了下一代 HBM4 内存 技术，将接口总线宽度从 HBM3e 的 1024-bit 翻倍扩展至 2048-bit。通过先进的 TSV（硅通孔）封装技术直接将内存堆叠在基础逻辑芯片上方，Vera Rubin 实现了相比 Blackwell 提升 2.5倍以上的每瓦内存带宽。这一飞跃彻底缓解了大模型自回归解码阶段的“内存饥饿”现象。

2. 光互连与硅光子技术（Silicon Photonics）

当机架互连带宽提升至多 Terabit 级别时，传统铜缆传输占用的功耗比重急剧上升。在 Vera Rubin 架构中，NVIDIA 将硅光子（Optical I/O）引擎直接集成至芯片封装内部。用光信号替代高功耗的电信号 SERDES，可降低高达 70% 的互连功耗，使数据在庞大的 NVLink 网络中自由流动，大幅减少电能向废热的转化。

3. Grace-Vera CPU 协同效应

Vera CPU 采用定制的 ARM Neoverse 架构核心，针对多 Agent 智能体调度、超大 KV Cache 管理以及预填充 Token 路由进行了深度优化，能够与 Rubin GPU 形成极高能效的协同配合。

DSX 平台：AI 工厂的系统级扩展方案

硬件能效绝不仅仅取决于单个芯片的性能。Ian Buck 在演讲中重点强调了 DSX（数据中心系统级扩展）平台 的重要性。该平台将计算、存储、网络与散热等模块统一设计，视作一台整体运行的巨型计算机。

热量管理与芯片直液冷技术

在单机架功耗突破 100kW 的背景下，传统风冷已无法将硅片工作温度控制在理想范围内。DSX 平台制定了芯片级直液冷与废热回收的行业标准。使芯片维持在更低的工作温度，能够显著减少晶体管的漏电电流（Thermal Leakage）——在持续高负载运行下，漏电电流导致的无用功耗可占到芯片总功耗的 15-20%。

实操指南：使用 Python 评估聚合 API 的吞吐量与时延

在应用开发层面，基础设施层面的硬件优化会直接体现为首字延迟（TTFT）的缩短和 Token 生成速率（ITL）的提升。

以下是一个基于 Python httpx 库的实测脚本，展示如何对基于 n1n.ai 统一网关调用的模型进行吞吐量与性能基准测试：

import time
import asyncio
import httpx
import json

# 配置 n1n.ai 统一 API 接口
N1N_API_URL = "https://api.n1n.ai/v1/chat/completions"
API_KEY = "YOUR_N1N_API_KEY"  # 请在 https://n1n.ai 获取您的免费 API Key

async def benchmark_model_efficiency(model_name: str, prompt: str):
    headers = \{
        "Authorization": f"Bearer \{API_KEY\}