共计 3559 个字符,预计需要花费 9 分钟才能阅读完成。
上个月我们在把一套基于 AutoGen 的多 Agent 工作流推向预发布环境时,后端承接推理任务的单机 Ollama 节点直接被打趴下了——8 个并发 Agent 同时调用工具并回传几千 Token 的调用链路,首字延迟(TTFT)从几百毫秒飙升到 9.4 秒,显卡利用率像过山车一样在 0% 和 100% 之间剧烈抖动,最终以经典的 CUDA Out of Memory 惨烈收场。
很多开发者在本地跑个 Demo 习惯了直接 ollama run,但一旦进入多用户、高并发或者多 Agent 嵌套调用的真实场景,基于 llama.cpp 内核的 Ollama 在并发批处理(Batching)与显存动态管理上的短板就会暴露无遗。这篇文章记录了我将后端彻底重构为 vLLM + Tensor Parallelism + 生产级流式反代 的实战全过程,顺便扒一扒里面的关键参数调优与踩坑细节。
一、为什么 Ollama 扛不住高并发 Agent?
问题不在模型,而在内存分配策略与批处理机制。LLM 推理的显存开销大头除了模型权重本身,就是随序列长度线性膨胀的 KV Cache。
- 显存碎片化严重: 传统的推理框架通常为每个请求预先分配一段连续的显存空间来存放 KV Cache。如果一个请求最大长度设为 8K,即使当前只生成了 500 Token,框架也会锁死 8K 的显存,导致大量的“显存气泡”(Virtual Fragmentation)。并发稍微一高,显存明明还有空余,新请求却进不来。
- 调度策略过于初级: Ollama 本质上为单机、轻量级交互设计,缺乏真正的连续批处理(Continuous Batching)调度。当一个长文本请求和一个短文本请求同时到达时,短请求会被迫等待长请求完成 Prefill 阶段,造成首字延迟雪崩。
而 vLLM 核心引入了操作系统的分页虚拟内存思想(PagedAttention),将 KV Cache 切分成固定大小的物理 Block,允许非连续存储。这就意味着并发请求不需要提前锁定大段显存,实测将显存浪费率从接近 70% 压缩到了 4% 以内。
二、双卡 RTX 4090 / A100 实战:vLLM 生产级启动拓扑
以我们生产环境部署 Qwen2.5-32B-Instruct-AWQ 为例,32B 经过 4-bit 量化后权重约 20GB,但如果算上并发时的 KV Cache,单张 24GB 的 RTX 4090 根本没有施展空间,必须做双卡张量并行(Tensor Parallelism, TP=2)。
1. 容器化部署脚本
放弃通过宿主机 pip 安装,环境依赖冲突会让你头大。直接上官方 Docker,注意必须挂载共享内存(--shm-size),否则 NCCL 在跨卡通信时会直接崩溃:
docker run --runtime nvidia --gpus all \
-d --name vllm-qwen32b \
-v /data/models:/models \
-p 8000:8000 \
--ipc=host \
--shm-size="16gb" \
vllm/vllm-openai:latest \
--model /models/Qwen2.5-32B-Instruct-AWQ \
--tensor-parallel-size 2 \
--quantization awq \
--max-model-len 8192 \
--gpu-memory-utilization 0.90 \
--max-num-seqs 64 \
--enforce-eager \
--trust-remote-code \
--port 8000
2. 致命参数深度拆解(避坑关键)
--gpu-memory-utilization 0.90:这个参数告诉 vLLM 拿 90% 的可用显存来用(包含模型权重和 KV Cache)。 千万不要设成 0.98 或更大 ,因为 PyTorch 底层分配器和 CUDA Context 还需要额外的工作显存,设得太满极易在长文本突然爆量时引发 C10::CUDAOutOfMemoryError。--max-num-seqs 64:最大并发处理序列数。设太大容易把显存中的 KV Block 榨干导致请求被频繁抢占(Preemption)重算;设太小则吃不满 GPU Compute Core。对于双卡 4090 跑 32B,64 是个吞吐与延迟平衡的甜点位。--enforce-eager:如果你遇到 CUDA Graph 初始化阶段耗时极长、甚至显存直接吃爆的问题,开启此选项跳过 CUDA Graph 的预捕捉阶段。在长上下文动态变长(如 Agent 对话)场景下,Eager 模式反而更稳定。
三、网关层:Nginx 反向代理 SSE 流式的“吞字断流”排坑
vLLM 跑起来后暴露的是标准的 OpenAI 兼容接口(/v1/chat/completions)。很多架构师习惯性地在前面套一层默认配置的 Nginx,结果客户端在消费流式输出(Server-Sent Events, SSE)时,发现文字不是一个个吐出来的,而是一大坨一大坨地卡顿输出,甚至超过 60 秒没有响应直接被反代掐断。
这是因为 Nginx 默认开启了 HTTP Buffer 缓冲,把 vLLM 吐出来的 token 数据块存起来攒大包。以下是我打磨后的生产级 Nginx 配置:
upstream vllm_backend {
server 127.0.0.1:8000 max_fails=3 fail_timeout=10s;
keepalive 32; # 保持长连接池,降低握手开销
}
server {
listen 80;
server_name llm.internal.nassky.top;
client_max_body_size 64M;
location /v1/ {
proxy_pass http://vllm_backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
# 核心:彻底关闭缓冲,保障 SSE 秒级推流
proxy_buffering off;
proxy_cache off;
chunked_transfer_encoding on;
# 超时时间调整:长文本 Prefill 和高并发排队时极耗时
proxy_connect_timeout 60s;
proxy_read_timeout 600s;
proxy_send_timeout 600s;
}
}
四、压测实测:Ollama vs vLLM 真实吞吐对比
我们在相同的物理机环境(2x RTX 4090 24G,AMD EPYC 7542,128G RAM)下,使用 locust 发起模拟并发。测试场景设定:并发客户端数设置为 20,Prompt 长度 1500 Tokens,要求生成 300 Tokens。
| 压测指标 | Ollama (默认并行) | vLLM (TP=2, PagedAttention) | 提升幅度 |
|---|---|---|---|
| 吞吐量 (Tokens/s) | 84.2 tok/s | 526.8 tok/s | 6.25 倍 |
| 首字延迟 (TTFT P95) | 6,840 ms | 1,120 ms | 降幅 83.6% |
| 显存碎片率 (估计) | ~42% | < 3% | 大幅优化 |
| 请求失败率 (OOM/ 超时) | 18.5% | 0% | 业务级可用 |
从监控上看,Ollama 在 10 个并发之后显存就已经处于危险水位,随着几个 Agent 请求携带的上下文拉长,显存无法弹性调配,排队延迟呈指数级攀升。而 vLLM 靠连续批处理把双卡的算力几乎压榨到了 95% 以上,且全程没有出现单次请求崩盘。
五、老极客的避坑心得清单
最后提炼几条踩过雷才买来的经验:
- 模型权重的格式选择: 在算力卡(如 A10/A100)上首选 FP8 或 GPTQ/AWQ 量化版,比未量化的 BF16 能节省一倍显存,省出来的空间全部分配给 KV Cache 做并发支撑。但在消费级卡(如 RTX 4090)上,由于 FP8 没有硬件加速单元,优先选
AWQ格式,推理速度比未经优化的 GGUF 要稳定得多。 - 处理长上下文的“断头斩”: 业务层一定要对用户的 Prompt 长度做严格的 Token 截断(Token Truncation),不要盲目相信前端传过来的 context。单次请求若把
max-model-len顶满到 32K,会瞬间锁死数十个 KV Block,立刻拖慢同一个批次内其他所有请求的解码速度。 - Ray 进程孤儿化: 当使用多机或多卡 Ray 调度时,如果你强杀(kill -9)vLLM 主进程,底层的 Ray Worker 往往不会退出,继续霸占显卡显存。遇到启动报错
CUDA error: out of memory但nvidia-smi没看到进程时,执行ps aux | grep ray并全部清理掉。
工具选型决定了架构的天花板。Ollama 是本地体验开源生态的瑞士军刀,但要想让 Agent、私有知识库在局域网内跑出工业级的高性能表现,踏踏实实上 vLLM + PagedAttention 才是唯一的正解。