共计 3228 个字符,预计需要花费 9 分钟才能阅读完成。
很多开发者在本地或私有服务器上部署大模型时,通常习惯直接拉一个 Ollama 或者跑一段 HuggingFace 的 pipeline 脚本。平时自己玩玩单次推理倒还顺畅,但一旦挂载到多用户的内部 Agent、知识库(RAG)或者并发业务流里,显存溢出(OOM)、推理排队延迟暴增、流式打字机响应卡顿等问题就全暴露出来了。
上周我接手了一台配有单张 RTX 4090(24GB)的机架式服务器,目标是给团队内部 30+ 成员的自动化脚本提供稳定、低延迟的 OpenAI 兼容接口。模型选定为 Qwen2.5-7B-Instruct-AWQ(4-bit 量化)与 Qwen2.5-14B-Instruct-GPTQ。经过反复压测和调教,最终把单卡并发吞吐提到了非常理想的水平。这里把整套基于 vLLM + Docker + Nginx 的落地架构和踩坑记录完整复盘出来。
一、为什么放弃 Ollama 改用 vLLM?
在严肃的高并发场景下,底层显存管理直接决定了服务的生与死。Ollama 极其适合本地开发调试,但在多请求动态 Batching 和 PagedAttention(显存分页)的吞吐上限上,vLLM 依然是工业界首选。
- PagedAttention 机制:传统 Transformer 推理时,KV Cache 预分配极其浪费连续显存。vLLM 借鉴了操作系统虚拟内存分页的设计,允许非连续存储,直接将显存浪费率从 60%~80% 压到了 4% 以下。
- 连续批处理(Continuous Batching):不需要等待前一个 Request 完整结束才加入新 Request,而是在 token 级别动态插入,极大提升了 GPU 计算核心(CUDA Core / Tensor Core)的饱和度。
- 开箱即用的 OpenAI API 格式:原生暴露
/v1/chat/completions接口,无缝平替闭源 API。
二、Docker Compose 生产级部署编排
我不推荐直接在宿主机裸机配置 CUDA 和 Python 依赖,环境一旦污染维护成本极高。使用官方提供的 Docker 镜像是最稳妥的方案。
创建 docker-compose.yml 配置文件:
version: '3.8'
services:
vllm-engine:
image: vllm/vllm-openai:v0.6.3.post1
container_name: vllm-qwen7b
runtime: nvidia
restart: always
environment:
- CUDA_VISIBLE_DEVICES=0
- NCCL_DEBUG=INFO
volumes:
- /data/models/Qwen2.5-7B-Instruct-AWQ:/models/qwen7b
- ~/.cache/huggingface:/root/.cache/huggingface
ports:
- "8000:8000"
ipc: host
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
command: >
--model /models/qwen7b
--served-model-name qwen2.5-7b
--quantization awq
--dtype half
--gpu-memory-utilization 0.90
--max-model-len 8192
--max-num-seqs 64
--enforce-eager
核心参数避坑解析:
--gpu-memory-utilization 0.90:告诉 vLLM 允许占用 90% 的显存(24GB * 0.9 ≈ 21.6GB)。留出 10% 避免因 CUDA Context 或偶发碎片导致整卡崩溃。--max-model-len 8192:根据真实业务设置上下文上限。很多开发者默认开 32k,结果 KV Cache 暴涨,直接导致支持的并发请求数(Slots)骤降。7B 模型在 8k 长度下,剩余显存足够容纳几十个并发会话。--max-num-seqs 64:限制最大并发推理数,防止突发流量直接冲垮显存,配合负载队列做平滑削峰。--enforce-eager:极其关键的参数。虽然 CUDA Graph 能够降低微秒级延迟,但在消费级 4090 卡上,开启图捕获偶尔会导致显存预占暴增甚至启动失败,加了这个参数可以绕过 Graph Capture,牺牲极低微的延迟换取极其稳定的显存容错率。
三、Nginx 反向代理配置与 SSE 流式防缓冲
模型启动后,前端或外部调用必须走网关层。大语言模型输出依赖 Server-Sent Events (SSE) 协议。如果不做针对性调整,Nginx 默认的 Proxy Buffer 会把模型的 token 全攒到缓冲区,直到填满或者连接关闭才一次性吐给客户端,完全破坏打字机体验。
在 Nginx 的 server 块中必须配置如下规则:
server {
listen 80;
server_name llm.nassky.internal;
client_max_body_size 64M;
location /v1/ {
proxy_pass http://127.0.0.1:8000/v1/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# 核心:关闭代理缓冲,保证打字机流式响应无延迟直达
proxy_buffering off;
proxy_cache off;
# 保持长连接
proxy_http_version 1.1;
proxy_set_header Connection "";
# LLM 推理长任务超时控制
proxy_connect_timeout 60s;
proxy_send_timeout 300s;
proxy_read_timeout 300s;
# 支持分块传输编码
chunked_transfer_encoding on;
}
}
注意看 proxy_buffering off;,这是流式输出不卡壳的生命线;同时 proxy_read_timeout 必须从默认的 60 秒上调到 300 秒,防止模型在处理数千字的长上下文提示词时,因 Prefill(预填充)阶段耗时过长被 Nginx 强行切断连接。
四、实操压测:单卡吞吐表现到底如何?
配置全部上线后,我使用开源的 benchmarks/benchmark_serving.py(vLLM 自带基准脚本)对这台 4090 进行了端到端的压力测试。输入 prompt 平均长度 1024 token,输出平均长度 512 token。
| 并发请求数 | 首字延迟 (TTFT) | 单 Token 生成延迟 | 系统总吞吐量 (tokens/s) |
|---|---|---|---|
| 1 (单用户) | 32 ms | 11.8 ms | 84.7 |
| 8 | 58 ms | 16.2 ms | 493.8 |
| 32 | 140 ms | 31.5 ms | 1015.8 |
实测数据非常惊艳:当并发数打到 32 时,总吞吐达到了惊人的 1000+ tokens/s,首字延迟(TTFT)依然能死死压在 150 毫秒以内。人眼对于文本的阅读速度大概在每秒 5~10 个 token,这种吞吐量支撑几十个同事日常同时调用绰绰有余。
总结与避坑心得
在消费级显卡部署大模型,本质上是一场在 上下文长度、并发请求槽位、显存占用 三者之间的端水游戏:
- 模型量化选型:在 RTX 4090 上,目前 AWQ 格式的吞吐表现和权重还原度综合性最强;如果显存依然告急,退一步选 GPTQ 也是完全可用的方案。
- 流式反代必须关缓冲:Nginx 忘了加
proxy_buffering off;,客户端看到的就永远不是流式,而是漫长的白屏等待。 - 监控不可少:宿主机上建议常驻
watch -n 1 nvidia-smi,重点关注 Volatile GPU-Util 是否在持续打满,以及显存分配是否平稳。
利用好 vLLM 的底层分页与动态批处理,一张 4090 的极限生产力绝对能超出绝大多数技术团队的预期。