单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战

7次阅读
没有评论

共计 3657 个字符,预计需要花费 10 分钟才能阅读完成。

上个月帮朋友的小团队搭内网 AI 助手,图省事直接拉了个 Ollama 跑 DeepSeek-R1-Distill-Qwen-32B-Q4。刚开始单人测试岁月静好,等群里五六个人同时写代码抛长报错丢进去时,服务直接原地暴毙——要么出现长达十几秒的排队首字延迟(TTFT),要么就是显存碎片化直接 CUDA OOM。

Ollama 适合个人本地桌面玩票,但凡涉及到“多用户并发”、“生产级流式响应(SSE)”和“精确显存配额控制”,它的单批次执行策略和黑盒显存管理就是灾难。今天这篇文章,我复盘如何利用一块 RTX 4090(24GB 显存),通过 vLLM + LiteLLM + Nginx 搭建一套能够稳定承载 15~20 个中高频并发的生产级大模型私有网关。

一、架构选型与显存账本计算

在动手敲命令之前,必须先算清楚显存这笔账。跑本地推理,显存开销主要分为三块: 模型权重、KV Cache 缓存池、计算中间变量(Activation Memory)。

以 DeepSeek-R1-Distill-Qwen-32B-AWQ 为例:

  • 模型权重占用 :32B 参数的 4-bit AWQ 量化版本,权重体积约为 32 * 0.5 GB ≈ 16~17 GB。
  • 剩余显存空间 :24 GB – 17 GB = 约 7 GB。
  • KV Cache 空间需求 :如果每个请求的上下文深度(Prompt + Completion)设为 8192 tokens,FP16 精度下,单请求单 token 占用的 KV Cache 约为几十 KB 到上百 KB。如果留给 KV Cache 的空间不足 4GB,并发请求瞬间就会触发排队甚至拒绝服务。

因此,对于单卡 24G 显存环境:

  • 极力推荐 :DeepSeek-R1-Distill-Qwen-14B(BF16 精度占用约 28GB 显存,单卡塞不下;建议跑 GPTQ-Int4 或 AWQ,权重只占 8~9GB,给 KV Cache 留下夸张的 13GB 显存空间,支持 30+ 稳定并发)。
  • 折中方案 :DeepSeek-R1-Distill-Qwen-32B-AWQ,压榨上下文长度到 8k,仅适合小并发场景。

二、vLLM 生产级启动参数调优

我们采用 Docker 部署 vLLM。很多人直接抄官方默认命令,往往会被 CUDA 捕获图(CUDA Graph)吃光显存导致崩溃。这里给出一套在 4090 上稳如磐石的启动脚本:

docker run -d \
  --name vllm-deepseek-14b \
  --gpus '"device=0"' \
  -v /data/models:/root/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:v0.7.2 \
  --model casperhansen/deepseek-r1-distill-qwen-14b-awq \
  --quantization awq \
  --dtype half \
  --gpu-memory-utilization 0.92 \
  --max-model-len 8192 \
  --max-num-seqs 32 \
  --enforce-eager \
  --trust-remote-code

核心参数避坑解析:

  • --gpu-memory-utilization 0.92:默认是 0.90。在纯无图形界面的 Ubuntu Server 上,可以大胆拉到 0.92。不要拉到 0.98,给 PyTorch 运行时算子留出 1~2GB 的缓冲区,否则必出 CUDA error: out of memory during memory buffer allocation。
  • --max-model-len 8192:千万不要放任模型默认的 32k/64k。如果不显式限制,vLLM 会按照单请求最大长度来保留 KV Cache 插槽,瞬间吃干抹净你的显存。
  • --enforce-eager: 非常关键! vLLM 默认开启 CUDA Graph 捕获加速推理,但在显存吃紧的家用卡上,CUDA Graph 本身就会额外侵占数百 MB 显存导致初始化失败。加上这个参数虽然会微幅牺牲 3~5% 的峰值 TPS,但换来了极强的显存稳定性。
  • --ipc=host:解决 PyTorch 内部共享内存不足(Bus error)的典型暗坑。

三、上层集成:LiteLLM 实现多租户鉴权与限流

vLLM 自身虽然提供了兼容 OpenAI 的接口,但在小团队内部暴露原生端口是个危险操作——无法限速、无法统计 Token 消耗,更做不了负载均衡与多模型回退。

我们在架构前置一层 LiteLLM Proxy。编写 config.yaml:

model_list:
  - model_name: deepseek-r1-local
    litellm_params:
      model: openai/casperhansen/deepseek-r1-distill-qwen-14b-awq
      api_base: http://vllm-deepseek-14b:8000/v1
      api_key: "none"
      tpm: 60000
      rpm: 120

general_settings:
  master_key: sk-MasterSecretPass2025
  database_url: "sqlite:////data/litellm.db"

litellm_settings:
  drop_params: true
  set_verbose: false
  request_timeout: 300

通过 Docker Compose 将其编排:

services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    container_name: litellm-proxy
    ports:
      - "4000:4000"
    volumes:
      - ./config.yaml:/app/config.yaml
      - ./data:/data
    command: ["--config", "/app/config.yaml", "--port", "4000", "--num_workers", "4"]
    restart: unless-stopped

现在,我们可以通过 http://ip:4000 分发具有自定义额度(Budget)和速率限制(Rate Limit)的独立 API Key 给团队成员,同时无缝接入各种 IDE 插件(如 Continue、Cursor)和 Web 客户端(如 Open-WebUI)。

四、Nginx 流式代理(SSE)断连巨坑

很多人配置了网关后发现: 客户端打字机效果卡顿,甚至在长思考模型输出思维链(<think> 标签)时,等待超过 30 秒客户端直接抛出 504 Gateway Timeout 或连接中断。

这是因为 DeepSeek-R1 类的推理模型在思考复杂逻辑时,可能长达数十秒只在后端逐步吐出少量 Token,或者被中间反向代理的 Buffer 积攒成一个大包一次性输出。必须对 Nginx 进行强制关闭缓冲配置:

server {
    listen 80;
    server_name ai.nassky.internal;

    location /v1/ {
        proxy_pass http://127.0.0.1:4000/v1/;
        
        # 核心防卡死与流式配置
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;

        # 彻底关闭缓冲,保证打字机逐字输出
        proxy_buffering off;
        proxy_cache off;
        proxy_set_header X-Accel-Buffering no;
        chunked_transfer_encoding on;

        # 思考模型生成往往极长,大幅提高超时时限
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }
}

其中 proxy_buffering off; 与 X-Accel-Buffering no 是确保大模型流式传输(Server-Sent Events)毫秒级透传至客户端的绝对核心,漏掉任何一个都会导致用户体验断崖式下跌。

五、实测基准对比:vLLM vs Ollama

我在本地采用 locust 对同一张 RTX 4090 下的部署方案进行了并发压测(Prompt 长度约 500 tokens,生成长度约 300 tokens,模型均为 DeepSeek-R1-Distill-Qwen-14B):

指标维度 Ollama (默认配置) vLLM (PagedAttention 调优) 极客点评
单并发吞吐 (TPS) ~48 tokens/s ~52 tokens/s 单请求差距不大,都是 CUDA 算力上限
10 并发总吞吐 (Aggregate TPS) ~56 tokens/s (严重阻塞) ~310 tokens/s Continuous Batching 带来将近 6 倍差距
10 并发平均 TTFT (首字延迟) 4.2 秒 0.48 秒 动态批处理优势尽显,无需等待前车跑完
高负载 OOM 发生率 偶发崩溃,无显存预留保护 0 故障 (触发队列机制排队) 生产级稳定,调度器行为可预测
正文完
 0
评论(没有评论)