单卡RTX 4090跑满:vLLM多并发流式API部署与生产级反代实战

3次阅读
没有评论

共计 3228 个字符,预计需要花费 9 分钟才能阅读完成。

很多开发者在本地或私有服务器上部署大模型时,通常习惯直接拉一个 Ollama 或者跑一段 HuggingFace 的 pipeline 脚本。平时自己玩玩单次推理倒还顺畅,但一旦挂载到多用户的内部 Agent、知识库(RAG)或者并发业务流里,显存溢出(OOM)、推理排队延迟暴增、流式打字机响应卡顿等问题就全暴露出来了。

上周我接手了一台配有单张 RTX 4090(24GB)的机架式服务器,目标是给团队内部 30+ 成员的自动化脚本提供稳定、低延迟的 OpenAI 兼容接口。模型选定为 Qwen2.5-7B-Instruct-AWQ(4-bit 量化)与 Qwen2.5-14B-Instruct-GPTQ。经过反复压测和调教,最终把单卡并发吞吐提到了非常理想的水平。这里把整套基于 vLLM + Docker + Nginx 的落地架构和踩坑记录完整复盘出来。

一、为什么放弃 Ollama 改用 vLLM?

在严肃的高并发场景下,底层显存管理直接决定了服务的生与死。Ollama 极其适合本地开发调试,但在多请求动态 Batching 和 PagedAttention(显存分页)的吞吐上限上,vLLM 依然是工业界首选。

  • PagedAttention 机制:传统 Transformer 推理时,KV Cache 预分配极其浪费连续显存。vLLM 借鉴了操作系统虚拟内存分页的设计,允许非连续存储,直接将显存浪费率从 60%~80% 压到了 4% 以下。
  • 连续批处理(Continuous Batching):不需要等待前一个 Request 完整结束才加入新 Request,而是在 token 级别动态插入,极大提升了 GPU 计算核心(CUDA Core / Tensor Core)的饱和度。
  • 开箱即用的 OpenAI API 格式:原生暴露 /v1/chat/completions 接口,无缝平替闭源 API。

二、Docker Compose 生产级部署编排

我不推荐直接在宿主机裸机配置 CUDA 和 Python 依赖,环境一旦污染维护成本极高。使用官方提供的 Docker 镜像是最稳妥的方案。

创建 docker-compose.yml 配置文件:

version: '3.8'

services:
  vllm-engine:
    image: vllm/vllm-openai:v0.6.3.post1
    container_name: vllm-qwen7b
    runtime: nvidia
    restart: always
    environment:
      - CUDA_VISIBLE_DEVICES=0
      - NCCL_DEBUG=INFO
    volumes:
      - /data/models/Qwen2.5-7B-Instruct-AWQ:/models/qwen7b
      - ~/.cache/huggingface:/root/.cache/huggingface
    ports:
      - "8000:8000"
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      --model /models/qwen7b
      --served-model-name qwen2.5-7b
      --quantization awq
      --dtype half
      --gpu-memory-utilization 0.90
      --max-model-len 8192
      --max-num-seqs 64
      --enforce-eager

核心参数避坑解析:

  • --gpu-memory-utilization 0.90:告诉 vLLM 允许占用 90% 的显存(24GB * 0.9 ≈ 21.6GB)。留出 10% 避免因 CUDA Context 或偶发碎片导致整卡崩溃。
  • --max-model-len 8192:根据真实业务设置上下文上限。很多开发者默认开 32k,结果 KV Cache 暴涨,直接导致支持的并发请求数(Slots)骤降。7B 模型在 8k 长度下,剩余显存足够容纳几十个并发会话。
  • --max-num-seqs 64:限制最大并发推理数,防止突发流量直接冲垮显存,配合负载队列做平滑削峰。
  • --enforce-eager:极其关键的参数。虽然 CUDA Graph 能够降低微秒级延迟,但在消费级 4090 卡上,开启图捕获偶尔会导致显存预占暴增甚至启动失败,加了这个参数可以绕过 Graph Capture,牺牲极低微的延迟换取极其稳定的显存容错率。

三、Nginx 反向代理配置与 SSE 流式防缓冲

模型启动后,前端或外部调用必须走网关层。大语言模型输出依赖 Server-Sent Events (SSE) 协议。如果不做针对性调整,Nginx 默认的 Proxy Buffer 会把模型的 token 全攒到缓冲区,直到填满或者连接关闭才一次性吐给客户端,完全破坏打字机体验。

在 Nginx 的 server 块中必须配置如下规则:

server {
    listen 80;
    server_name llm.nassky.internal;

    client_max_body_size 64M;

    location /v1/ {
        proxy_pass http://127.0.0.1:8000/v1/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # 核心:关闭代理缓冲,保证打字机流式响应无延迟直达
        proxy_buffering off;
        proxy_cache off;

        # 保持长连接
        proxy_http_version 1.1;
        proxy_set_header Connection "";

        # LLM 推理长任务超时控制
        proxy_connect_timeout 60s;
        proxy_send_timeout 300s;
        proxy_read_timeout 300s;

        # 支持分块传输编码
        chunked_transfer_encoding on;
    }
}

注意看 proxy_buffering off;,这是流式输出不卡壳的生命线;同时 proxy_read_timeout 必须从默认的 60 秒上调到 300 秒,防止模型在处理数千字的长上下文提示词时,因 Prefill(预填充)阶段耗时过长被 Nginx 强行切断连接。

四、实操压测:单卡吞吐表现到底如何?

配置全部上线后,我使用开源的 benchmarks/benchmark_serving.py(vLLM 自带基准脚本)对这台 4090 进行了端到端的压力测试。输入 prompt 平均长度 1024 token,输出平均长度 512 token。

并发请求数 首字延迟 (TTFT) 单 Token 生成延迟 系统总吞吐量 (tokens/s)
1 (单用户) 32 ms 11.8 ms 84.7
8 58 ms 16.2 ms 493.8
32 140 ms 31.5 ms 1015.8

实测数据非常惊艳:当并发数打到 32 时,总吞吐达到了惊人的 1000+ tokens/s,首字延迟(TTFT)依然能死死压在 150 毫秒以内。人眼对于文本的阅读速度大概在每秒 5~10 个 token,这种吞吐量支撑几十个同事日常同时调用绰绰有余。

总结与避坑心得

在消费级显卡部署大模型,本质上是一场在 上下文长度、并发请求槽位、显存占用 三者之间的端水游戏:

  1. 模型量化选型:在 RTX 4090 上,目前 AWQ 格式的吞吐表现和权重还原度综合性最强;如果显存依然告急,退一步选 GPTQ 也是完全可用的方案。
  2. 流式反代必须关缓冲:Nginx 忘了加 proxy_buffering off;,客户端看到的就永远不是流式,而是漫长的白屏等待。
  3. 监控不可少:宿主机上建议常驻 watch -n 1 nvidia-smi,重点关注 Volatile GPU-Util 是否在持续打满,以及显存分配是否平稳。

利用好 vLLM 的底层分页与动态批处理,一张 4090 的极限生产力绝对能超出绝大多数技术团队的预期。

正文完
 0
评论(没有评论)