共计 3657 个字符,预计需要花费 10 分钟才能阅读完成。
上个月帮朋友的小团队搭内网 AI 助手,图省事直接拉了个 Ollama 跑 DeepSeek-R1-Distill-Qwen-32B-Q4。刚开始单人测试岁月静好,等群里五六个人同时写代码抛长报错丢进去时,服务直接原地暴毙——要么出现长达十几秒的排队首字延迟(TTFT),要么就是显存碎片化直接 CUDA OOM。
Ollama 适合个人本地桌面玩票,但凡涉及到“多用户并发”、“生产级流式响应(SSE)”和“精确显存配额控制”,它的单批次执行策略和黑盒显存管理就是灾难。今天这篇文章,我复盘如何利用一块 RTX 4090(24GB 显存),通过 vLLM + LiteLLM + Nginx 搭建一套能够稳定承载 15~20 个中高频并发的生产级大模型私有网关。
一、架构选型与显存账本计算
在动手敲命令之前,必须先算清楚显存这笔账。跑本地推理,显存开销主要分为三块: 模型权重、KV Cache 缓存池、计算中间变量(Activation Memory)。
以 DeepSeek-R1-Distill-Qwen-32B-AWQ 为例:
- 模型权重占用 :32B 参数的 4-bit AWQ 量化版本,权重体积约为
32 * 0.5 GB ≈ 16~17 GB。 - 剩余显存空间 :24 GB – 17 GB = 约 7 GB。
- KV Cache 空间需求 :如果每个请求的上下文深度(Prompt + Completion)设为 8192 tokens,FP16 精度下,单请求单 token 占用的 KV Cache 约为几十 KB 到上百 KB。如果留给 KV Cache 的空间不足 4GB,并发请求瞬间就会触发排队甚至拒绝服务。
因此,对于单卡 24G 显存环境:
- 极力推荐 :
DeepSeek-R1-Distill-Qwen-14B(BF16 精度占用约 28GB 显存,单卡塞不下;建议跑 GPTQ-Int4 或 AWQ,权重只占 8~9GB,给 KV Cache 留下夸张的 13GB 显存空间,支持 30+ 稳定并发)。 - 折中方案 :
DeepSeek-R1-Distill-Qwen-32B-AWQ,压榨上下文长度到 8k,仅适合小并发场景。
二、vLLM 生产级启动参数调优
我们采用 Docker 部署 vLLM。很多人直接抄官方默认命令,往往会被 CUDA 捕获图(CUDA Graph)吃光显存导致崩溃。这里给出一套在 4090 上稳如磐石的启动脚本:
docker run -d \
--name vllm-deepseek-14b \
--gpus '"device=0"' \
-v /data/models:/root/.cache/huggingface \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:v0.7.2 \
--model casperhansen/deepseek-r1-distill-qwen-14b-awq \
--quantization awq \
--dtype half \
--gpu-memory-utilization 0.92 \
--max-model-len 8192 \
--max-num-seqs 32 \
--enforce-eager \
--trust-remote-code
核心参数避坑解析:
--gpu-memory-utilization 0.92:默认是 0.90。在纯无图形界面的 Ubuntu Server 上,可以大胆拉到 0.92。不要拉到 0.98,给 PyTorch 运行时算子留出 1~2GB 的缓冲区,否则必出CUDA error: out of memory during memory buffer allocation。--max-model-len 8192:千万不要放任模型默认的 32k/64k。如果不显式限制,vLLM 会按照单请求最大长度来保留 KV Cache 插槽,瞬间吃干抹净你的显存。--enforce-eager: 非常关键! vLLM 默认开启 CUDA Graph 捕获加速推理,但在显存吃紧的家用卡上,CUDA Graph 本身就会额外侵占数百 MB 显存导致初始化失败。加上这个参数虽然会微幅牺牲 3~5% 的峰值 TPS,但换来了极强的显存稳定性。--ipc=host:解决 PyTorch 内部共享内存不足(Bus error)的典型暗坑。
三、上层集成:LiteLLM 实现多租户鉴权与限流
vLLM 自身虽然提供了兼容 OpenAI 的接口,但在小团队内部暴露原生端口是个危险操作——无法限速、无法统计 Token 消耗,更做不了负载均衡与多模型回退。
我们在架构前置一层 LiteLLM Proxy。编写 config.yaml:
model_list:
- model_name: deepseek-r1-local
litellm_params:
model: openai/casperhansen/deepseek-r1-distill-qwen-14b-awq
api_base: http://vllm-deepseek-14b:8000/v1
api_key: "none"
tpm: 60000
rpm: 120
general_settings:
master_key: sk-MasterSecretPass2025
database_url: "sqlite:////data/litellm.db"
litellm_settings:
drop_params: true
set_verbose: false
request_timeout: 300
通过 Docker Compose 将其编排:
services:
litellm:
image: ghcr.io/berriai/litellm:main-latest
container_name: litellm-proxy
ports:
- "4000:4000"
volumes:
- ./config.yaml:/app/config.yaml
- ./data:/data
command: ["--config", "/app/config.yaml", "--port", "4000", "--num_workers", "4"]
restart: unless-stopped
现在,我们可以通过 http://ip:4000 分发具有自定义额度(Budget)和速率限制(Rate Limit)的独立 API Key 给团队成员,同时无缝接入各种 IDE 插件(如 Continue、Cursor)和 Web 客户端(如 Open-WebUI)。
四、Nginx 流式代理(SSE)断连巨坑
很多人配置了网关后发现: 客户端打字机效果卡顿,甚至在长思考模型输出思维链(<think> 标签)时,等待超过 30 秒客户端直接抛出 504 Gateway Timeout 或连接中断。
这是因为 DeepSeek-R1 类的推理模型在思考复杂逻辑时,可能长达数十秒只在后端逐步吐出少量 Token,或者被中间反向代理的 Buffer 积攒成一个大包一次性输出。必须对 Nginx 进行强制关闭缓冲配置:
server {
listen 80;
server_name ai.nassky.internal;
location /v1/ {
proxy_pass http://127.0.0.1:4000/v1/;
# 核心防卡死与流式配置
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
# 彻底关闭缓冲,保证打字机逐字输出
proxy_buffering off;
proxy_cache off;
proxy_set_header X-Accel-Buffering no;
chunked_transfer_encoding on;
# 思考模型生成往往极长,大幅提高超时时限
proxy_read_timeout 600s;
proxy_send_timeout 600s;
}
}
其中 proxy_buffering off; 与 X-Accel-Buffering no 是确保大模型流式传输(Server-Sent Events)毫秒级透传至客户端的绝对核心,漏掉任何一个都会导致用户体验断崖式下跌。
五、实测基准对比:vLLM vs Ollama
我在本地采用 locust 对同一张 RTX 4090 下的部署方案进行了并发压测(Prompt 长度约 500 tokens,生成长度约 300 tokens,模型均为 DeepSeek-R1-Distill-Qwen-14B):
| 指标维度 | Ollama (默认配置) | vLLM (PagedAttention 调优) | 极客点评 |
|---|---|---|---|
| 单并发吞吐 (TPS) | ~48 tokens/s | ~52 tokens/s | 单请求差距不大,都是 CUDA 算力上限 |
| 10 并发总吞吐 (Aggregate TPS) | ~56 tokens/s (严重阻塞) | ~310 tokens/s | Continuous Batching 带来将近 6 倍差距 |
| 10 并发平均 TTFT (首字延迟) | 4.2 秒 | 0.48 秒 | 动态批处理优势尽显,无需等待前车跑完 |
| 高负载 OOM 发生率 | 偶发崩溃,无显存预留保护 | 0 故障 (触发队列机制排队) | 生产级稳定,调度器行为可预测 |