SGLang 对决 vLLM:双卡 4090 部署 DeepSeek-R1-Distill 极限压测与显存避坑

3次阅读
没有评论

共计 2891 个字符,预计需要花费 8 分钟才能阅读完成。

最近 DeepSeek-R1 掀起了开源模型推理思考链的风潮,但当我把 DeepSeek-R1-Distill-Qwen-32B 扔进实验室的双卡 RTX 4090 机器做本地多并发服务时,现实狠狠泼了一盆冷水:思维链动辄几千甚至上万 token 的长文本输出,直接把传统的推理引擎显存和延迟打穿。首字延迟(TTFT)暴涨、并发一上来 KV Cache 瞬间 OOM(Out Of Memory),推理框架选型成了决定生产可用性的核心命脉。

行业默认选型通常是 vLLM,但近几个月主打 RadixAttention(基数树缓存复用)的 SGLang 势头极猛。为了看看到底谁能把这块“消费级显卡天花板”榨干,我花了一个周末,在双路 RTX 4090 (24GB × 2) 上对这两大推理框架展开了极限压测和全方位的工程拆解。

一、硬件限制与量化选型:32B 模型的显存算盘

双卡 4090 一共 48GB 显存,跑 FP16/BF16 的 32B 模型(权重文件自身就占约 64GB)是不可能的。要跑起来,必须通过张量并行(Tensor Parallelism, TP=2)拆分,并配合量化。

经过实测对比,我舍弃了损失较大的 GGUF/AWQ-4bit 方案,选用了兼顾精度与速度的 FP8 (W8A8) 量化版(约占 33GB 权重显存)以及 GPTQ-Int4 作为备选方案。在 FP8 下,两张卡各自承担约 16.5GB 权重,剩余约 7.5GB × 2 = 15GB 空间全部用于 KV Cache。长上下文推理的核心瓶颈全压在了这 15GB 的动态缓存上。

# 查看消费级双卡拓扑结构(非 NVLink,走 PCIe 4.0)nvidia-smi topo -m
# 结果显示为 NODE/SYS,由于没有硬件 Bridge,卡间通信全走主板 PCIe 通道
# 这对推理引擎的张量并行(TP)通信效率提出了极其苛刻的要求

二、架构差异:PagedAttention vs RadixAttention

为什么 R1 模型的长思考链对推理引擎是巨大挑战?因为 R1 在生成前会先输出巨幅的 <think>...</think> 上下文。在多轮对话或并发场景下,如果每次请求都要重新算一遍 System Prompt 和前序思考链,算力会被完全吞噬。

  • vLLM 的 PagedAttention:解决了显存碎片化问题,将 KV Cache 像操作系统的虚拟内存一样按块(Blocks)管理。但在跨多轮请求、相似 Prompt 命中时,Prefix Caching 需要额外构建 Hash 映射,驱逐策略相对保守。
  • SGLang 的 RadixAttention:在底层将所有生成历史维护成一棵基数树(Radix Tree)。只要请求的前缀有重合,它就能零开销直接从树节点里拉取显存缓存。对于 Agent 工作流、多轮对话和长上下文推理,KV Cache 命中率实测远超 vLLM。

三、生产级部署脚本与踩坑实录

在双消费级卡上跑多卡并行,最常踩的深坑就是 NCCL P2P 通信挂死。消费级 GPU 在很多主板上无法开启硬件 P2P,直接跑 TP 会报 NCCL error: unhandled system error。解决方案是在启动环境变量中限制 P2P 行为并优化 CUDA 分配。

1. SGLang 生产级 Docker 编排配置

docker run --gpus all \
  --shm-size 32g \
  -p 30000:30000 \
  -v /data/models:/models \
  -e NCCL_P2P_DISABLE=1 \
  -e CUDA_DEVICE_MAX_CONNECTIONS=1 \
  --ipc=host \
  lmsysorg/sglang:latest \
  python3 -m sglang.launch_server \
  --model-path /models/DeepSeek-R1-Distill-Qwen-32B-FP8 \
  --tp 2 \
  --port 30000 \
  --host 0.0.0.0 \
  --mem-fraction-static 0.85 \
  --context-length 16384 \
  --enable-flashinfer

避坑细节:参数 --mem-fraction-static 0.85 极其关键。默认 0.9 会导致双卡在处理 12k 以上长上下文并并发溢出时发生 CUDA 显存分配崩溃。留出 15% 显存给 FlashInfer 算子工作区和 PyTorch 临时开销,运行稳定性从原本的半小时崩一次提升至连续跑 72 小时无异常。

2. vLLM 对照组启动脚本

docker run --gpus all \
  --shm-size 32g \
  -p 8000:8000 \
  -v /data/models:/models \
  -e NCCL_P2P_DISABLE=1 \
  vllm/vllm-openai:latest \
  --model /models/DeepSeek-R1-Distill-Qwen-32B-FP8 \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 16384 \
  --enable-prefix-caching \
  --enforce-eager

四、极限压测:谁才是吞吐之王?

我使用 Locust 编写测试脚本模拟压测。测试参数设定:输入 Prompt 长度固定在 1500 tokens(包含长业务上下文),输出期望长度为 2048 tokens(模拟 R1 完整推理)。评估并发分别为 1、8、16 下的表现:

并发数 (Concurrency) 框架 TTFT (首字延迟) ITL (字间平均延迟) 总吞吐量 (tokens/s) KV Cache 命中率
1 (单并发极速) vLLM 210 ms 14.2 ms 70.4 N/A
1 (单并发极速) SGLang 185 ms 14.8 ms 67.5 N/A
8 (中度并发) vLLM 820 ms 28.4 ms 281.7 42%
8 (中度并发) SGLang 410 ms 21.2 ms 377.3 81%
16 (重度压测) vLLM 2450 ms (请求排队) 52.1 ms 307.2 39%
16 (重度压测) SGLang 1120 ms 34.6 ms 462.5 78%

实测数据说明了一切:

在单请求纯粹比拼算子速度时,vLLM 凭借成熟的 CUDA Graph 略微领先 5% 的吐字速度。但 只要并发一上来,SGLang 几乎形成了碾压局。得益于 RadixTree 对 Prompt 和前序思考链的强悍复用,SGLang 在 16 并发下的整体吞吐量比 vLLM 高出近 50.5%,且首字延迟压到了一半以内。

总结与避坑心得

对于个人极客或小型研发团队,私有化部署 DeepSeek 思考模型时,我的建议非常明确:

  1. 如果做 Agent、多轮对话流、复杂长前缀业务:闭眼选 SGLang。它的 RadixAttention 对重复上下文的利用效率在长文本场景下是质的飞跃。
  2. 双卡消费级显卡(3090/4090)必须警惕 NCCL 通信开销。非 NVLink 机器上必须加上 NCCL_P2P_DISABLE=1,否则长文本多卡同步很容易出现幽灵卡死。
  3. 别盲目贪图 0.95 的显存利用率。长上下文思维链模型的显存抖动极大,将 mem-fraction-static 控制在 0.82-0.85,预留显存给算子临时开销,才是生产环境不宕机的铁律。
正文完
 0
评论(没有评论)