共计 4472 个字符,预计需要花费 12 分钟才能阅读完成。
上周给团队内部搭建一套代码审查与问答 Agent,最初图省事直接起了一个 Ollama 跑 Qwen2.5-14B-Instruct。内部测试时体验还算流畅,但当 10 个开发同时触发 PR 审查时,首字延迟(TTFT)直接飙到了 8 秒以上,请求队列甚至被直接打崩超时断流。单 worker 的串行调度模式在多用户、长上下文的高并发场景下,根本无法胜任生产环境。
为了榨干手头两张 RTX 3090(24G × 2)的显存,我重构了整套架构:底层采用 vLLM 做多卡张量并行(Tensor Parallelism)与动态批处理(Continuous Batching),上层挂载 LiteLLM Proxy 提供 OpenAI 兼容协议、流式降延时、API Key 权限分配以及自动负载均衡。经过两天的压测与参数调优,并发吞吐量相比单实例方案提升了近 5 倍。下面把这套验证过的生产级部署与参数调优细节完整分享出来。
一、架构设计:为什么是 vLLM + LiteLLM 组合?
在工程选型阶段,很多人纠结是选 HuggingFace TGI、vLLM 还是轻量级的 Ollama。我的判断逻辑非常直接:
- 并发核心(vLLM): 核心是其 PagedAttention 技术,把传统 KV Cache 造成的显存碎片率从 60%-80% 压到了 4% 以内。此外原生支持 Continuous Batching(动态请求插队)和 Chunked Prefill(分块预填充),能大幅抹平长 prompt 对短生成请求的阻塞。
- 网关治理(LiteLLM): vLLM 本身自带 OpenAI 兼容接口,但非常原始,缺乏限流、鉴权、多模型路由与故障转移能力。LiteLLM 充当了“大模型 API 网关”的角色,不仅提供统一的 Key 计费与权限体系,其原生异步流式转发对 SSE(Server-Sent Events)的开销极低。
二、底层编排:vLLM 部署与显存“防爆”调优
在多卡环境下,最忌讳让 vLLM 默认跑自动配置。这里我编写了生产级 Docker Compose 编排文件,显式控制张量并行数与显存配额。
services:
vllm-qwen:
image: vllm/vllm-openai:v0.6.3.post1
container_name: vllm-qwen-service
runtime: nvidia
restart: always
environment:
- CUDA_VISIBLE_DEVICES=0,1
- HUGGINGFACE_HUB_CACHE=/root/.cache/huggingface
volumes:
- /data/models/cache:/root/.cache/huggingface
- /data/models/Qwen2.5-14B-Instruct:/models/Qwen2.5-14B-Instruct
ports:
- "8000:8000"
ipc: host
command: >
--model /models/Qwen2.5-14B-Instruct
--served-model-name qwen-14b
--tensor-parallel-size 2
--max-model-len 8192
--gpu-memory-utilization 0.92
--enforce-eager
--enable-prefix-caching
--enable-chunked-prefill
--max-num-seqs 64
--trust-remote-code
踩坑与关键参数解析:
--tensor-parallel-size 2:将 14B 模型按层级切分部署在两张显卡上。单卡显存开销降为原先的一半左右,留出足够空间分配 KV Cache。--gpu-memory-utilization 0.92:默认 0.9 稍微偏保守,但千万别贪心设 0.98!PyTorch 运行时的临时激活值(Activation Memory)需要弹性空间,留 8% 显存能彻底避免 CUDA OOM 事故。--enable-prefix-caching: 本套架构的核心优化点 。Agent 场景中有大量重复的 System Prompt 和工具定义(Functions/Tools)。开启该选项后,命中前缀缓存的请求预填充阶段耗时直降 70% 以上,直接省去重复的前向推理计算。--enforce-eager:在 Ampere 架构(如 3090/A10)下,CUDA Graph 编译虽然能提升一点点吞吐,但会额外多吃约 1.5G 到 2G 的固定显存。显存吃紧时,强制启用 Eager 模式能换来容纳更多并发连接的 Cache 空间。ipc: host:多进程 PyTorch 共享内存通信必需,否则张量并行进程在重负载下极易发生 IPC 锁死崩溃。
三、顶层网关:LiteLLM 接入与流式路由配置
后端推理引擎就绪后,使用 LiteLLM 搭建统一网关。新建 litellm_config.yaml:
model_list:
- model_name: custom-qwen
litellm_params:
model: openai/qwen-14b
api_base: http://vllm-qwen:8000/v1
api_key: "EMPTY"
stream_timeout: 30
router_settings:
routing_strategy: "least-busy"
timeout: 60
num_retries: 2
general_settings:
master_key: "sk-nassky-admin-secure-key"
database_url: "sqlite:////data/litellm.db"
通过命令行拉起网关容器,映射在宿主机的 4000 端口:
docker run -d \
--name litellm-gateway \
--network host \
-v $(pwd)/litellm_config.yaml:/app/config.yaml \
-v /data/litellm:/data \
ghcr.io/berriai/litellm:main-latest \
--config /app/config.yaml --port 4000
现在,你的外部服务(无论是 NextChat、Dify、Cursor 还是内部自动化 Python 脚本),都可以像调用原生 OpenAI 接口一样调用 http://<YOUR_IP>:4000/v1/chat/completions。
四、压测实战:Locust 并发评测与数据验证
为了验证这套架构的真实抗压能力,我写了一个 Locust 压测脚本,重点监控 TTFT(首字延迟) 与 吞吐量(Tokens Per Second)。测试 Prompt 包含 1500 字的固定开发规范(System Prompt)以及 100 字的动态提问,模拟 50 个用户并发访问:
import time
from locust import HttpUser, task, between
class LLMUser(HttpUser):
wait_time = between(0.5, 2.0)
@task
def chat_stream(self):
headers = {"Authorization": "Bearer sk-nassky-admin-secure-key"}
payload = {
"model": "custom-qwen",
"messages": [{"role": "system", "content": "You are a professional Python engineer... [1500 tokens of rules]"},
{"role": "user", "content": "帮我写一个基于 asyncio 的高性能连接池代码并解释细节。"}
],
"stream": True,
"max_tokens": 512
}
start_time = time.time()
first_token_time = None
with self.client.post("/v1/chat/completions", json=payload, headers=headers, stream=True, catch_response=True) as resp:
if resp.status_code != 200:
resp.failure(f"Status code: {resp.status_code}")
return
for line in resp.iter_lines():
if line and first_token_time is None:
first_token_time = time.time()
ttft = (first_token_time - start_time) * 1000 if first_token_time else 0
self.environment.events.request.fire(
request_type="SSE",
name="TTFT",
response_time=ttft,
response_length=0,
exception=None,
context={})
resp.success()
实测数据对比(50 并发请求):
| 部署方案 | 平均 TTFT (首字) | P95 TTFT | 系统总输出吞吐 (Tokens/s) | 失败率 |
|---|---|---|---|---|
| Ollama (原生单实例) | 6,840 ms | 12,300 ms | 84 tok/s | 14.2% (超时) |
| vLLM (关闭 Prefix Caching) | 1,280 ms | 2,450 ms | 380 tok/s | 0.0% |
| vLLM + Prefix Caching + 调优后 | 260 ms | 480 ms | 610 tok/s | 0.0% |
可以看到, 开启前缀缓存是解决 Agent 类长 System Prompt 业务场景的关键胜负手 。由于 50 个请求的前 1500 tokens 命中同一份 KV 缓存,系统跳过了大量重复的前向矩阵乘法,首字延时从 1 秒以上瞬间压缩至 260 毫秒以内,体验提升极为直观。
总结与避坑心得
如果你正准备为团队落地自建 LLM 推理集群,有以下三条血泪经验值得在上线前检查:
- 不要迷信量化精度压缩: 能跑
bfloat16尽量跑bfloat16。在 14B 以下模型上使用 AWQ/GPTQ 确实可以节省显存,但在复杂指令遵循和代码生成任务上,极端用例的逻辑退化依然存在。优先通过张量并行拆分显存,而不是盲目压缩精度。 - 清理 Ray 的幽灵内存: 如果你在脚本中频繁热重启 vLLM,PyTorch 显存有时不会被操作系统立即回收。遇到显存被未知进程占用,执行
ray stop --force并检查fuser -v /dev/nvidia*,干掉僵尸进程后再启动。 - 流式反向代理的 Buffer 陷阱: 如果在 LiteLLM 前面还挂了一层 Nginx,切记在 location 配置中加上
proxy_buffering off;。否则 Nginx 会把流式 SSE 的 chunk 缓存到一定大小后才一次性冲刷给前端,导致客户端依然感觉“卡顿半天后突然喷出一堆字”。
这套方案目前在我们的内部生产环境中稳定运行了两周,显存分配平稳,无一例 OOM 崩溃。有条件的团队完全可以按此路线平替昂贵的第三方商业 API。