自研大模型推理引擎对比vLLM与SGLang的性能测试报告

当在8张B200 GPU组成的集群上以32个并发工作流的持续高负载运行诸如GLM-5.3这样的大型模型时，标准推理引擎往往会遭遇严重的性能瓶颈。在我们的测试中，当使用vLLM时，首字延迟的中位数竞高达惊人的357秒。相比之下，我们的自研推理引擎在相同的硬件和完全相同的模型下，首字延迟（TTFT）中位数仅为3.24秒。

本文将详细阐述我们如何从零开始构建自研推理引擎——它既不是vLLM的分支（Fork），也没有依赖量化服务模型——而是直接在4种模型和3种硬件配置上与vLLM及SGLang展开全面正面对决。

架构设计与核心理念

大多数扩展大语言模型的企业团队都面临着一个硬性物理限制：他们无法轻易采购到更多的GPU。因此，最大化硬件利用率并从现有基础设施中榨取每一滴性能就显得至关重要。我们在设计引擎时遵循了两个不可妥协的原则：

1. 拒绝精度捷径：我们坚持运行完整的模型权重（BF16），绝不为了虚假的表面速度提升而降级到诸如FP8之类的量化服务模型。
2. 完整的权重验证：虽然推测解码（Speculative Decoding）使用了专有的4位草稿头，但基础的BF16模型会严格检查每一个草稿生成的Token，从而确保输出质量毫无妥协。

为了展示这种架构在真实业务场景中的巨大影响力，让我们深入分析自研引擎在不同模型与硬件组合下对开源替代方案的压倒性优势。

各模型基准测试结果详析

1. 运行在8张B200 GPU上的GLM-5.3

在持续30分钟、目标维持32个并发工作流的严格测试窗口内，两个引擎均接入了前116个工作流。然而，性能表现的分化极为悬殊：

由于我们的引擎清空任务的速度极快，因此能够持续不断地吸纳新的工作流，而vLLM则在处理完首批任务后彻底陷入停滞。在同时投放96个工作流的突发峰值测试中，我们的引擎成功完成了96个请求中的95个，吞吐量提升达到2.61×，首字延迟中位数更是缩短了10倍。

2. 运行在RTX PRO 6000 Blackwell上的Qwen3.6-35B-A3B

我们在Google Cloud单卡实例上进行了测试，采用BF16精度、3个MTP草稿Token以及32K上下文长度，并将并发请求数从8扩展到256，同时将基准对比的vLLM调优至95%的GPU显存利用率极限：

在从8个并发到256个并发的所有测试级别中，我们的吞吐量均超越vLLM超过50%，在稳定流量下首字延迟中位数最高快5.75倍，而在流量突发时更是实现了高达8.56倍的超越。

3. Qwen3.8-27B对比vLLM与SGLang

在较小模型余量较少的情况下，不同引擎的性能差异往往会缩小。为了确保绝对的客观公正，我们将SGLang也纳入了测试矩阵，涵盖8个工作负载点和13个不同指标（每个引擎总计进行104次对比）：

• 对比 vLLM 0.33：在104个指标中赢得全部104个。
• 对比 SGLang：在104个指标中赢得102个。

整体吞吐量比vLLM高出高达44%，比SGLang高出高达26%，所有的平均值、p50、p90及p99端到端延迟指标均有利于我们的引擎。例如，在1K输入且并发请求数为64的场景下，我们的首字延迟中位数为299毫秒，而vLLM则长达13.3秒。

4. 运行在8张H100 GPU上的Qwen3.8-Flash-Next代理工作负载

传统的聊天基准测试无法真实反映涉及代码智能体、多轮对话、共享上下文以及子代理的现代生产工作负载。我们使用SemiAnalysis AgentX仿真框架进行了测试（每个请求的平均输入范围在87K到106K Token之间），结果令人瞩目：

• p90交互延迟（单会话）：每秒209.0对16.3 Token（性能提升12.8×）。
• p90交互延迟（12至16个会话）：分别保持5.0×至7.0×的领先优势。
• p90首字延迟（单会话）：0.78秒对比10.6秒。

值得一提的是，我们的引擎完全在全精度BF16下实现了这些卓越指标，而SGLang参考实现则采用了FP8量化。即便竞争对手借助了量化捷径，我们的架构依然大获全胜。

在生产环境中集成高性能大模型推理

在B200或H100 GPU集群上构建定制化的推理引擎无疑是一项非凡的工程壮举，但对于生产级应用而言，开发人员更需要无缝的API访问权限，而无需处理繁琐的底层基础设施管理痛点。无论您是使用诸如LangChain之类的框架来编排多智能体系统，还是在执行复杂的RAG检索增强生成管道，拥有稳定且高速访问诸如DeepSeek-V3或Claude 3.5 Sonnet等顶级模型的能力都至关重要。

诸如 n1n.ai 这样的平台聚合了顶级的LLM API端点，能够为企业级应用提供极低延迟和高可用性保障。当使用 n1n.ai 开发企业级大模型应用时，开发者可以轻松地在不同的模型提供商之间进行切换，并以编程方式对速度进行基准测试。

以下是一个简短的Python代码示例，展示了如何通过类OpenAI的标准SDK与类似 n1n.ai 的聚合服务商所支持的高性能LLM端点进行交互：

from openai import OpenAI

# 使用 n1n.ai 聚合端点初始化客户端
client = OpenAI(
    base_url="https://api.n1n.ai/v1