单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战

7次阅读
没有评论

共计 3708 个字符,预计需要花费 10 分钟才能阅读完成。

上周团队把内部的代码辅助与知识库 Agent 迁移到本地硬件节点上,硬件配置是一台双卡 RTX 4090(24G × 2)配合 AMD EPYC 7002 的机架服务器。业务端提的需求很直白:要跑 Qwen2.5-32B 这种级别的开源主力模型,同时后端并发量上来时不能卡死,不能出现前端打字机“打到一半突然掐断”的玄学 Bug。

很多刚入门的同学第一反应是直接拉个 Ollama 跑起来,但只要稍微上点并发,Ollama 内部粗暴的队列机制和较弱的显存上下文调度策略就会露怯。对于真正要给内网几十号人或者业务系统调用的场景,vLLM + LiteLLM 才是个人开发者和小团队最具性价比的生产级技术栈。这篇博文把整套部署链路、显存微调参数以及我踩过的一堆网络代理和 CUDA IPC 坑原汁原味整理出来。

一、架构选型与底座拓扑

先抛弃那些虚头巴脑的微服务架构图,最小可用且高可用的拓扑就两层:

  • 推理引擎层(vLLM):负责模型权重加载、PagedAttention 显存管理、Continuous Batching 调度与张量并行(Tensor Parallelism)。
  • 网关与代理层(LiteLLM):负责统一封装为 OpenAI 兼容接口,处理 Token 鉴权、速率限制(Rate Limit)、异常降级,以及最关键的 流式数据缓冲与长连接保活。

直接在宿主机裸机跑容易污染环境,且 PyTorch 与 CUDA 版本的微小差异会导致显卡 P2P 通信失败。强烈建议使用 Docker 容器化方案,但网络部分务必走 host 模式,避免多卡 NCCL 走虚拟网桥产生额外的显存复制延迟。

二、vLLM 多卡张量并行实操配置

在双卡 4090 上跑 32B 模型,未量化权重(FP16/BF16)大约需要 64GB 显存,双卡共 48GB 显然装不下。这里我们选用了社区经过大规模验证的 AWQ 4-bit 量化版本(Qwen/Qwen2.5-32B-Instruct-AWQ),模型权重仅占约 20GB,剩下的显存全部分配给 KV Cache。

编写 docker-compose.yml 启动推理服务:

version: '3.8'

services:
  vllm-node:
    image: vllm/vllm-openai:v0.6.3.post1
    container_name: vllm-qwen-32b
    runtime: nvidia
    network_mode: host
    environment:
      - CUDA_VISIBLE_DEVICES=0,1
      - NCCL_DEBUG=INFO
      - NCCL_IB_DISABLE=1 # 消费级显卡关闭 InfiniBand
      - NCCL_P2P_DISABLE=0 # 启用 NVLink 或 PCIe P2P 通信
    volumes:
      - /data/huggingface_cache:/root/.cache/huggingface
      - /dev/shm:/dev/shm # 解决多卡通信 IPC 共享内存不足问题
    command: >
      --model Qwen/Qwen2.5-32B-Instruct-AWQ
      --tensor-parallel-size 2
      --gpu-memory-utilization 0.92
      --max-model-len 8192
      --max-num-batched-tokens 8192
      --enforce-eager
      --trust-remote-code
      --port 8000
    restart: unless-stopped

踩坑高能预警:

  1. /dev/shm 必须挂载宿主机:vLLM 使用 Ray 或 PyTorch 原生 DDP/NCCL 做多卡张量并行时,卡间频繁交换张量梯度和状态。Docker 默认给容器分配的共享内存只有 64MB,一旦并发请求上下文较长,容器会直接被系统 SIGKILL(抛出 Bus error 且没有任何 Python Traceback)。
  2. --gpu-memory-utilization 参数别直接拉满:不少人盲目设成 0.98,结果启动阶段显存分配没问题,一旦连续高并发跑满,CUDA Context 发生内存碎片整理,程序直接 OOM。4090 保守建议设在 0.90 - 0.93 之间。
  3. --enforce-eager 的取舍:vLLM 默认开启 CUDA Graph 捕获优化,能降低 CPU 调用开销提升 15% 吞吐,但在多进程切换或上下文突增时可能触发未捕获尺寸的崩溃。追求极致稳定建议初次上线加上 --enforce-eager,等系统稳定后再去掉测试 CUDA Graph。

三、前置 LiteLLM 统一代理与反向流式优化

很多开发者把 vLLM 裸接口直接暴露给前端应用,这是极其危险的。vLLM 专注于高吞吐计算,但对恶意打断请求、心跳保活、连接池重试支持薄弱。前端用户经常有“点一下暂停生成”、“关掉网页”的习惯,裸露的 vLLM 会因为 TCP RST 信号处理不当,继续在后台计算并占用显存,造成“幽灵负载”。

引入 LiteLLM 作为网关层。新建 litellm_config.yaml:

model_list:
  - model_name: local-qwen-32b
    litellm_params:
      model: openai/Qwen/Qwen2.5-32B-Instruct-AWQ
      api_base: http://127.0.0.1:8000/v1
      api_key: "EMPTY"
      timeout: 120
      max_retries: 2

litellm_settings:
  drop_params: true # 丢弃下游模型不支持的非标准字段
  request_timeout: 180
  set_verbose: false

general_settings:
  master_key: "sk-nassky-admin-token-2025" # 你的网关调用密钥

启动 LiteLLM 容器(轻量、单核 CPU 即可吃满几千 QPS):

docker run -d \
  --name litellm-gateway \
  --network host \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  ghcr.io/berriai/litellm:main-v1.52.0 \
  --config /app/config.yaml --port 4000

Nginx 反向代理层配置优化(SSE 流式传输)

如果前面还要挂一层 Nginx 做域名解析和 HTTPS 终结,切记关闭 proxy_buffering,否则客户端拿不到流式打字效果,必须等所有 Token 生成完才一次性喷涌而出:

location /v1/chat/completions {
    proxy_pass http://127.0.0.1:4000;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_set_header Host $host;

    # 核心流式参数
    proxy_buffering off;
    proxy_cache off;
    chunked_transfer_encoding on;

    # 超时保活,防止复杂推理长思考断流
    proxy_read_timeout 600s;
    proxy_send_timeout 600s;
}

四、实测吞吐压测与效果对比

我们在双卡 4090 节点上,使用自定义 Python 脚本通过多线程模拟了 20 个并发用户发起请求,输入 Prompt 长度约 500 tokens,要求输出 1024 tokens。

部署形态方案 并发规模 (Concurrency) 首字延迟 (TTFT) 系统总吞吐 (Tokens/s) 显存占用状态
Ollama (默认调度) 8 并发 1840 ms ~42 tps (发生严重排队) 卡 0 跑满,卡 1 闲置
vLLM (单卡 AWQ) 8 并发 420 ms ~165 tps 单卡 23GB / 显存碎片高
vLLM TP=2 + LiteLLM 20 并发 210 ms ~385 tps 双卡均衡 21.5GB / 极稳

实测数据表明,在张量并行加持下,不仅上下文显存空间增加了一倍,更重要的是显存带宽得到了并发聚合,多用户的首字延迟(TTFT)大幅缩短。在代码补全场景下,200ms 的首字延迟已经可以达到接近肉眼无感的交互体验。

总结与避坑心得

很多极客在折腾私有化部署时,往往把时间耗费在不断对比不同的量化格式(GGUF、EXL2、AWQ)上,但在真正的生产与高并发场景下,底层的内存池化(PagedAttention)与并发批处理机制才是决定可用性的分水岭。

针对我们这套方案,最后提炼三条关键工程建议:

  1. 如果服务器插的是两张没有 NVLink 的普通消费级游戏卡(如 4090),主板的 PCIe 插槽切记要工作在 x16 + x16 或 x8 + x8 (PCIe 4.0/5.0) 模式下,如果其中一张掉到了 PCIe 3.0 x4,张量并行的 NCCL 同步延迟会直接拖垮整套系统。
  2. 别盲目上 70B 模型。在 48GB 显存边界内,用满血的 32B-AWQ 模型换取更大的上下文窗口(8k~16k)和更充足的并发 KV Cache,实际业务产出远远优于严重量化、卡顿卡死的 70B 模型。
  3. 务必用 LiteLLM 管理 Token 消费与访问权限,这能在后续多模型混合调度(比如小任务切 Qwen-7B,复杂代码任务切 32B)时,保持前端业务配置零改动。

EOF

正文完
 0
评论(没有评论)