解决 llama-swap 模型重载超时与 502 错误实战排查

2026-10-17 02:14:33 ERROR: POST /v1/chat/completions -> 502 Bad Gateway
2026-10-17 02:14:33 [error] 14022#14022: *89411 upstream prematurely closed connection while reading response header from upstream, client: 10.0.4.12, server: api.internal, request: "POST /v1/chat/completions HTTP/1.1", upstream: "http://10.0.12.84:8000/v1/chat/completions"
2026-10-17 02:14:48 llama-swap: model switch deepseek-coder-v2 -> qwen2.5-coder completed (29.4s)

[客户端请求模型 B] 
        │
        ▼
┌───────────────────────────────────────────────┐
│ llama-swap 路由分发器                         │
│ (检测当前常驻模型是否匹配)                    │
└──────────────────────┬────────────────────────┘
                       │ 触发重载信号
                       ▼
┌───────────────────────────────────────────────┐
│ vLLM 后端容器                                 │
│  1. 等待未完成批处理出队                      │
│  2. 释放 PagedAttention 显存池                │
│  3. 销毁旧 CUDA Context 与显存映射            │
│  4. 从 NVMe 读取新权重并通过 PCIe 灌入 HBM    │
│  5. 重新申请显存 (--gpu-memory-utilization)   │
│  6. 预编译并捕获 CUDA Graphs                  │
└───────────────────────────────────────────────┘
                       │ 总计耗时：25s - 35s
                       ▼
               [发送 HTTP 响应头]

# /etc/nginx/conf.d/llm_upstream.conf

upstream llama_swap_cluster {
    server 127.0.0.1:8000 max_fails=0 fail_timeout=10s;
    keepalive 64;
}

server {
    listen 80;
    server_name api.internal;

    location /v1/ {
        proxy_pass http://llama_swap_cluster;
        
        # 连接握手超时：保持较短时间，用于快速探测服务死活
        proxy_connect_timeout 10s;
        
        # 发送请求体到后端的超时时间
        proxy_send_timeout 120s;
        
        # 等待后端回传响应头的超时时间：必须超过最慢冷加载时长的 2倍
        proxy_read_timeout 120s;
        
        # 关键配置：关闭缓冲，确保首字响应头和流式输出第一时间透传
        proxy_buffering off;
        
        # 开启 HTTP/1.1 长连接支持
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        
        # 代理透传头
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

#!/usr/bin/env python3
"""
LLM 模型预热与健康检查脚本
确保高负载模型在高峰期来临前已常驻显存。
"""

import asyncio
import logging
import time
from typing import Dict, Any
import httpx

logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s [%(levelname)s] %(message)s"
)
logger = logging.getLogger("model-warmer")

GATEWAY_URL = "http://127.0.0.1:8000/v1/chat/completions"

async def trigger_model_warmup(model_name: str, max_retries: int = 3) -> bool:
    """
    发送最小化推理请求，触发底层 llama-swap 完成模型替换。
    """
    payload: Dict[str, Any] = {
        "model": model_name,
        "messages": [{"role": "user", "content": "warmup_ping"}],
        "max_tokens": 1,
        "temperature": 0.0
    }
    
    # 设置 120秒的宽松读取超时，覆盖 I/O 搬运与图编译耗时
    custom_timeout = httpx.Timeout(connect=10.0, read=120.0, write=10.0, pool=10.0)
    
    async with httpx.AsyncClient(timeout=custom_timeout) as client:
        for attempt in range(1, max_retries + 1):
            logger.info(f"正在对模型 '{model_name}' 执行预热请求 (第 {attempt}/{max_retries} 次尝试)...")
            start_time = time.perf_counter()
            
            try:
                response = await client.post(GATEWAY_URL, json=payload)
                duration = time.perf_counter() - start_time
                
                if response.status_code == 200:
                    logger.info(f"模型 '{model_name}' 预热成功！耗时: {duration:.2f} 秒。已具备接收线上流量条件。")
                    return True
                else:
                    logger.warning(f"预热返回异常状态码: {response.status_code}，响应内容: {response.text}")
            except httpx.ReadTimeout:
                logger.error(f"预热超时：模型 '{model_name}' 在指定时限内未完成加载。")
            except httpx.ConnectError as exc:
                logger.error(f"连接失败，网关未就绪: {str(exc)}")
                
            await asyncio.sleep(5)
            
    return False

if __name__ == "__main__":
    # 示例：在业务高峰来临前将核心代码模型载入显存
    target = "qwen2.5-coder:32b"
    is_ready = asyncio.run(trigger_model_warmup(target))
    if not is_ready:
        logger.fatal(f"模型 '{target}' 预热失败，中止流量切流！")
        exit(1)

                      ┌─────────────────────────┐
                      │     七层智能网关        │
                      │   (感知后端显存常驻状态)│
                      └────────────┬────────────┘
                                   │
         ┌─────────────────────────┴─────────────────────────┐
         │ 路由目标: 模型 A                                  │ 路由目标: 模型 B
         ▼                                                   ▼
┌───────────────────────────────┐   ┌───────────────────────────────┐
│ 计算节点 1                    │   │ 计算节点 2                    │
│ 常驻模型: deepseek-coder-v2   │   │ 常驻模型: qwen2.5-coder       │
│ 备用状态: 待机                │   │ 备用状态: 待机                │
└───────────────────────────────┘   └───────────────────────────────┘

time curl -X POST http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:32b",
    "messages": [{"role": "user", "content": "ping"}],
    "max_tokens": 1
  }'

# 检查模型挂载盘的连续读取性能
fio --name=weights-read --directory=/data/models --rw=read \
    --bs=2M --size=10G --numjobs=2 --time_based --runtime=15 \
    --group_reporting

# 检查当前 Swap 占用
free -h

# 临时关闭或限制 Swappiness
sudo sysctl vm.swappiness=0