共计 3670 个字符,预计需要花费 10 分钟才能阅读完成。
上周我们小团队内部的代码补全和知识库 Agent 彻底崩了。起因是团队成员从 4 个人激增到 15 人,原本跑在一台 RTX 4090 深度学习主机上的 Ollama 实例,在早高峰几个人同时请求时,首字延迟(TTFT,Time to First Token)直接飙到了 35 秒,甚至频繁报 CUDA out of memory 崩溃退出。
Ollama 对单人日常开发确实开箱即用,底层基于 llama.cpp,轻量且跨平台。但在多用户并发场景下,它的吞吐能力和批处理(Batching)调度策略非常原始。为了榨干这颗 24GB 显存的 Ada 架构显卡,我花了一个周末彻底推倒重构,切换至 vLLM + LiteLLM Proxy 架构。实测在相同硬件条件下,并发吞吐量直接提升了 4.2 倍。
一、为什么 Ollama 在并发面前不堪一击?
要解决并发吞吐问题,必须先看清底层的显存瓶颈:
- 显存碎片与静态分配: 传统的推理框架在请求到达前,往往根据
max_tokens预先分配静态显存来存放 KV Cache。一个生成任务即使只输出了 20 个 token,也会占满 4096 长度的显存空间,导致显存利用率长期低于 40%。 - Continuous Batching(连续批处理)的缺失: Ollama 默认的批处理较为粗糙。新请求进来时,往往需要等待当前批次全部完成才能插队,导致请求队列严重堆积。
而 vLLM 引入了操作系统虚拟内存分页的思想(PagedAttention),将 KV Cache 切片分散存储在非连续物理块中,显存浪费率直接降到 4% 以下;配合动态连续批处理,让 GPU 的 Tensor Core 始终处于吃饱状态。单卡 4090 跑 Qwen2.5-Coder-14B-Instruct-AWQ,vLLM 才是工业级的选择。
二、vLLM 底座实战:参数压榨与显存精细化配置
这是我反复压测后,为 24G 显存打磨出的一套生产级 Docker Compose 启动配置:
services:
vllm:
image: vllm/vllm-openai:v0.6.3.post1
container_name: vllm-server
runtime: nvidia
restart: unless-stopped
environment:
- CUDA_VISIBLE_DEVICES=0
- NCCL_DEBUG=INFO
volumes:
- /root/.cache/huggingface:/root/.cache/huggingface
ports:
- "8000:8000"
ipc: host
command: >
--model Qwen/Qwen2.5-Coder-14B-Instruct-AWQ
--quantization awq
--dtype half
--gpu-memory-utilization 0.94
--max-model-len 8192
--max-num-seqs 64
--enforce-eager
--trust-remote-code
踩坑核心参数解析:
--gpu-memory-utilization 0.94:默认是 0.90。在 24GB 显存下,调高到 0.94 能为 KV Cache 多抠出近 1GB 空间,多支撑 4~6 个长上下文并发。但切忌设为 0.98,PyTorch 运行时动态分配开销容易导致偶发 OOM。--max-model-len 8192:根据真实业务裁剪。模型标称支持 32K 甚至 128K,但在单卡并发场景下,盲目开启 32K 上下文会迅速挤爆显存。裁剪为 8K,既能覆盖 95% 的代码审查场景,又能成倍提升并发池容量。--enforce-eager:在 4090 这类消费级显卡上,默认的 CUDA Graph 捕获机制偶尔会出现初始化显存暴涨导致崩溃。加上这个参数虽然会损耗约 3% 的理论峰值性能,但能确保高负载下的绝对稳定。
三、血泪排障:Nginx 流式代理中的“假死”现象
服务跑起来后,接入前端 Web 和 Cursor 插件时,我们遇到了极其恶心的问题: 流式输出(SSE)完全不生效 。前端页面卡住 10 秒毫无反应,随后整个答案瞬间“Duang”地一下全弹出来,首字流式体验彻底失效。
排查了一圈代码,最后发现坑在反向代理层(Nginx)。Nginx 默认开启了 Proxy Buffering,它把 vLLM 逐字吐出来的 chunk 全缓存到了自己的 buffer 里,直到缓冲区满了或者请求结束才一次性发给客户端。
必须在 Nginx 的站点配置中强制关闭缓存与缓冲,特别是针对大模型 SSE 路由:
server {
listen 443 ssl http2;
server_name ai.nassky.top;
location /v1/ {
proxy_pass http://127.0.0.1:4000; # 转发给 LiteLLM 网关
proxy_http_version 1.1;
# 核心修复配置:关闭反代缓存,禁用分块缓冲
proxy_set_header Connection '';
proxy_buffering off;
proxy_cache off;
chunked_transfer_encoding on;
# 防止长文本生成时 Nginx 提前切断连接
proxy_read_timeout 600s;
proxy_send_timeout 600s;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
四、网关层落地:用 LiteLLM 统一鉴权、限流与 Fallback
我们不能直接把 vLLM 裸暴露给内部业务,因为单卡总有算力上限。引入 LiteLLM Proxy 作为统一 API 聚合网关,实现了三个关键能力:
- 生成多租户 API Key 并限制调用速率(RPM/TPM)。
- 统一兼容 OpenAI 协议。
- 自动 Fallback(降级熔断): 当本地 4090 显卡因为并发过高被打满报错(503/429)时,无缝降级切换到 DeepSeek 官方 API 或 Azure 兜底,业务无感知。
编写 config.yaml:
model_list:
- model_name: coder-pro
litellm_params:
model: openai/Qwen/Qwen2.5-Coder-14B-Instruct-AWQ
api_base: http://vllm-server:8000/v1
api_key: "EMPTY"
- model_name: coder-pro-fallback
litellm_params:
model: deepseek/deepseek-coder
api_key: os.environ/DEEPSEEK_API_KEY
router_settings:
routing_strategy: "usage-based-routing"
fallbacks:
- coder-pro: ["coder-pro-fallback"]
allowed_fails: 2
cooldown_time: 30
general_settings:
master_key: "sk-nassky-master-key-888"
启动 LiteLLM 代理:
docker run -d \
--name litellm-proxy \
-v $(pwd)/config.yaml:/app/config.yaml \
-p 4000:4000 \
-e DEEPSEEK_API_KEY="sk-xxxxxx" \
ghcr.io/berriai/litellm:main-latest \
--config /app/config.yaml --port 4000
五、实测压测数据:Ollama vs vLLM
我在本地使用 Python 编写异步压测脚本,模拟 30 个并发客户端,连续发送 150 条上下文长度在 1.5K Token 的代码重构 Prompt,输出长度锁定 512 Token。硬件环境:i9-13900K / 64G DDR5 / RTX 4090 24G。
| 测试指标 | Ollama (Qwen-2.5-14B-Q4_K_M) | vLLM (Qwen-2.5-14B-AWQ) | 性能提升倍数 |
|---|---|---|---|
| 并发量 (Concurrent) | 30 并发 | 30 并发 | – |
| 平均首字延迟 (TTFT) | 18.4 秒 | 1.8 秒 | 10.2x |
| 整体验证吞吐 (Tokens/s) | 46.2 tokens/s | 214.5 tokens/s | 4.6x |
| 显存溢出错误率 | 13.3% (部分报 500) | 0% (自动排队) | 完美稳定 |
数据是不会说谎的。Ollama 在单并发时表现良好,但在 30 并发下由于没有高效的动态批处理,显存排队严重恶化;而 vLLM 的 PagedAttention 机制几乎把这块 4090 的显存利用率恒定压在 93%~94% 的健康区间,整机功耗拉满 450W,榨干了最后一丝算力。
总结与避坑心得
极客折腾私有算力,最忌讳拿着玩具级工具去硬扛生产级场景。经过这次改造,有几点核心心得:
- 单机尝鲜选 Ollama,多用户 / 流水线必上 vLLM: 只要请求数超过 3 个,llama.cpp 架构的批处理劣势就会被放大数十倍。
- 量