共计 3708 个字符,预计需要花费 10 分钟才能阅读完成。
上周团队把内部的代码辅助与知识库 Agent 迁移到本地硬件节点上,硬件配置是一台双卡 RTX 4090(24G × 2)配合 AMD EPYC 7002 的机架服务器。业务端提的需求很直白:要跑 Qwen2.5-32B 这种级别的开源主力模型,同时后端并发量上来时不能卡死,不能出现前端打字机“打到一半突然掐断”的玄学 Bug。
很多刚入门的同学第一反应是直接拉个 Ollama 跑起来,但只要稍微上点并发,Ollama 内部粗暴的队列机制和较弱的显存上下文调度策略就会露怯。对于真正要给内网几十号人或者业务系统调用的场景,vLLM + LiteLLM 才是个人开发者和小团队最具性价比的生产级技术栈。这篇博文把整套部署链路、显存微调参数以及我踩过的一堆网络代理和 CUDA IPC 坑原汁原味整理出来。
一、架构选型与底座拓扑
先抛弃那些虚头巴脑的微服务架构图,最小可用且高可用的拓扑就两层:
- 推理引擎层(vLLM):负责模型权重加载、PagedAttention 显存管理、Continuous Batching 调度与张量并行(Tensor Parallelism)。
- 网关与代理层(LiteLLM):负责统一封装为 OpenAI 兼容接口,处理 Token 鉴权、速率限制(Rate Limit)、异常降级,以及最关键的 流式数据缓冲与长连接保活。
直接在宿主机裸机跑容易污染环境,且 PyTorch 与 CUDA 版本的微小差异会导致显卡 P2P 通信失败。强烈建议使用 Docker 容器化方案,但网络部分务必走 host 模式,避免多卡 NCCL 走虚拟网桥产生额外的显存复制延迟。
二、vLLM 多卡张量并行实操配置
在双卡 4090 上跑 32B 模型,未量化权重(FP16/BF16)大约需要 64GB 显存,双卡共 48GB 显然装不下。这里我们选用了社区经过大规模验证的 AWQ 4-bit 量化版本(Qwen/Qwen2.5-32B-Instruct-AWQ),模型权重仅占约 20GB,剩下的显存全部分配给 KV Cache。
编写 docker-compose.yml 启动推理服务:
version: '3.8'
services:
vllm-node:
image: vllm/vllm-openai:v0.6.3.post1
container_name: vllm-qwen-32b
runtime: nvidia
network_mode: host
environment:
- CUDA_VISIBLE_DEVICES=0,1
- NCCL_DEBUG=INFO
- NCCL_IB_DISABLE=1 # 消费级显卡关闭 InfiniBand
- NCCL_P2P_DISABLE=0 # 启用 NVLink 或 PCIe P2P 通信
volumes:
- /data/huggingface_cache:/root/.cache/huggingface
- /dev/shm:/dev/shm # 解决多卡通信 IPC 共享内存不足问题
command: >
--model Qwen/Qwen2.5-32B-Instruct-AWQ
--tensor-parallel-size 2
--gpu-memory-utilization 0.92
--max-model-len 8192
--max-num-batched-tokens 8192
--enforce-eager
--trust-remote-code
--port 8000
restart: unless-stopped
踩坑高能预警:
/dev/shm必须挂载宿主机:vLLM 使用 Ray 或 PyTorch 原生 DDP/NCCL 做多卡张量并行时,卡间频繁交换张量梯度和状态。Docker 默认给容器分配的共享内存只有 64MB,一旦并发请求上下文较长,容器会直接被系统 SIGKILL(抛出 Bus error 且没有任何 Python Traceback)。--gpu-memory-utilization参数别直接拉满:不少人盲目设成0.98,结果启动阶段显存分配没问题,一旦连续高并发跑满,CUDA Context 发生内存碎片整理,程序直接 OOM。4090 保守建议设在0.90 - 0.93之间。--enforce-eager的取舍:vLLM 默认开启 CUDA Graph 捕获优化,能降低 CPU 调用开销提升 15% 吞吐,但在多进程切换或上下文突增时可能触发未捕获尺寸的崩溃。追求极致稳定建议初次上线加上--enforce-eager,等系统稳定后再去掉测试 CUDA Graph。
三、前置 LiteLLM 统一代理与反向流式优化
很多开发者把 vLLM 裸接口直接暴露给前端应用,这是极其危险的。vLLM 专注于高吞吐计算,但对恶意打断请求、心跳保活、连接池重试支持薄弱。前端用户经常有“点一下暂停生成”、“关掉网页”的习惯,裸露的 vLLM 会因为 TCP RST 信号处理不当,继续在后台计算并占用显存,造成“幽灵负载”。
引入 LiteLLM 作为网关层。新建 litellm_config.yaml:
model_list:
- model_name: local-qwen-32b
litellm_params:
model: openai/Qwen/Qwen2.5-32B-Instruct-AWQ
api_base: http://127.0.0.1:8000/v1
api_key: "EMPTY"
timeout: 120
max_retries: 2
litellm_settings:
drop_params: true # 丢弃下游模型不支持的非标准字段
request_timeout: 180
set_verbose: false
general_settings:
master_key: "sk-nassky-admin-token-2025" # 你的网关调用密钥
启动 LiteLLM 容器(轻量、单核 CPU 即可吃满几千 QPS):
docker run -d \
--name litellm-gateway \
--network host \
-v $(pwd)/litellm_config.yaml:/app/config.yaml \
ghcr.io/berriai/litellm:main-v1.52.0 \
--config /app/config.yaml --port 4000
Nginx 反向代理层配置优化(SSE 流式传输)
如果前面还要挂一层 Nginx 做域名解析和 HTTPS 终结,切记关闭 proxy_buffering,否则客户端拿不到流式打字效果,必须等所有 Token 生成完才一次性喷涌而出:
location /v1/chat/completions {
proxy_pass http://127.0.0.1:4000;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
# 核心流式参数
proxy_buffering off;
proxy_cache off;
chunked_transfer_encoding on;
# 超时保活,防止复杂推理长思考断流
proxy_read_timeout 600s;
proxy_send_timeout 600s;
}
四、实测吞吐压测与效果对比
我们在双卡 4090 节点上,使用自定义 Python 脚本通过多线程模拟了 20 个并发用户发起请求,输入 Prompt 长度约 500 tokens,要求输出 1024 tokens。
| 部署形态方案 | 并发规模 (Concurrency) | 首字延迟 (TTFT) | 系统总吞吐 (Tokens/s) | 显存占用状态 |
|---|---|---|---|---|
| Ollama (默认调度) | 8 并发 | 1840 ms | ~42 tps (发生严重排队) | 卡 0 跑满,卡 1 闲置 |
| vLLM (单卡 AWQ) | 8 并发 | 420 ms | ~165 tps | 单卡 23GB / 显存碎片高 |
| vLLM TP=2 + LiteLLM | 20 并发 | 210 ms | ~385 tps | 双卡均衡 21.5GB / 极稳 |
实测数据表明,在张量并行加持下,不仅上下文显存空间增加了一倍,更重要的是显存带宽得到了并发聚合,多用户的首字延迟(TTFT)大幅缩短。在代码补全场景下,200ms 的首字延迟已经可以达到接近肉眼无感的交互体验。
总结与避坑心得
很多极客在折腾私有化部署时,往往把时间耗费在不断对比不同的量化格式(GGUF、EXL2、AWQ)上,但在真正的生产与高并发场景下,底层的内存池化(PagedAttention)与并发批处理机制才是决定可用性的分水岭。
针对我们这套方案,最后提炼三条关键工程建议:
- 如果服务器插的是两张没有 NVLink 的普通消费级游戏卡(如 4090),主板的 PCIe 插槽切记要工作在
x16 + x16或x8 + x8 (PCIe 4.0/5.0)模式下,如果其中一张掉到了PCIe 3.0 x4,张量并行的 NCCL 同步延迟会直接拖垮整套系统。 - 别盲目上 70B 模型。在 48GB 显存边界内,用满血的 32B-AWQ 模型换取更大的上下文窗口(8k~16k)和更充足的并发 KV Cache,实际业务产出远远优于严重量化、卡顿卡死的 70B 模型。
- 务必用 LiteLLM 管理 Token 消费与访问权限,这能在后续多模型混合调度(比如小任务切 Qwen-7B,复杂代码任务切 32B)时,保持前端业务配置零改动。
EOF