在Amazon EKS和SageMaker HyperPod EKS上使用NVIDIA Nemotron模型加速智能体AI

部署最先进的大型语言模型需要在高吞吐量、低延迟和强大的编排能力之间找到平衡。随着企业从简单的聊天界面转向复杂的多步骤智能体工作负载，底层基础设施必须支持高级推理、工具调用和多模态感知。NVIDIA Nemotron 3.5 Super VL作为一个拥有1200亿参数的专家混合模型，在这些领域表现卓越。然而，在生产环境中编排如此大规模的模型需要具有弹性的云原生基础设施。

在本篇深度评测中，我们将审视NVIDIA Nemotron模型的架构亮点，并演示如何将其部署在Amazon Elastic Kubernetes Service (EKS)、EKS Auto Mode以及Amazon SageMaker HyperPod EKS上进行优化。此外，我们还将探讨开发人员如何通过将请求路由到像n1n.ai这样的高性能LLM API聚合器来完全绕过复杂的基础设施设置，从而实现即时开发和测试。

NVIDIA Nemotron 3.5 Super VL架构概览

NVIDIA Nemotron 3.5 Super VL代表了开源权重模型设计的代际飞跃。它通过混合专家(MoE)架构分布了1200亿个参数，将词元路由到专用的专家子网络中，在不牺牲模型容量的前提下确保了极高的计算效率。

核心架构亮点包括：

• 多模态集成：原生支持交错文本、高分辨率图像以及结构化工具定义的处理。
• 高级推理引擎：经过预训练和专门对齐，非常适合逐步思维链(CoT)推理，是自主AI智能体的理想选择。
• 优化分词器：专门为代码生成、API架构和结构化JSON输出定制的词汇表。

在构建智能体应用时，智能体必须查询多个工具、解析凌乱的输入并在漫长的执行周期中保持上下文。当与正确的推理服务引擎配合使用时，Nemotron庞大的上下文窗口和MoE路由使得单词元延迟保持在 < 50ms 成为可能。

基础设施设置：Amazon EKS与SageMaker HyperPod EKS

运行一个120B参数的模型需要在多个GPU（通常是NVIDIA H100或H200加速器节点池）之间进行分布式推理。AWS为大规模编排提供了两条主要路径：配合vLLM使用的Amazon EKS，以及用于容错训练和繁重推理扩展的SageMaker HyperPod EKS。

在EKS上结合vLLM与NVIDIA Dynamo进行部署

为了最大化GPU内存带宽和计算利用率，我们使用结合了NVIDIA Dynamo的vLLM来部署Nemotron，以实现动态批处理和张量并行。

首先，确保您的EKS集群配置了具有适当GPU实例（例如 p5.48xlarge）的节点组。以下是配置了跨8个GPU张量并行的Kubernetes部署清单：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nemotron-vllm-server
  namespace: ai-inference
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nemotron-vllm
  template:
    metadata:
      labels:
        app: nemotron-vllm
    spec:
      containers:
      - name: vllm-container
        image: vllm/vllm-openai:latest
        command: ["python3