生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

5次阅读
没有评论

共计 4472 个字符,预计需要花费 12 分钟才能阅读完成。

上周给团队内部搭建一套代码审查与问答 Agent,最初图省事直接起了一个 Ollama 跑 Qwen2.5-14B-Instruct。内部测试时体验还算流畅,但当 10 个开发同时触发 PR 审查时,首字延迟(TTFT)直接飙到了 8 秒以上,请求队列甚至被直接打崩超时断流。单 worker 的串行调度模式在多用户、长上下文的高并发场景下,根本无法胜任生产环境。

为了榨干手头两张 RTX 3090(24G × 2)的显存,我重构了整套架构:底层采用 vLLM 做多卡张量并行(Tensor Parallelism)与动态批处理(Continuous Batching),上层挂载 LiteLLM Proxy 提供 OpenAI 兼容协议、流式降延时、API Key 权限分配以及自动负载均衡。经过两天的压测与参数调优,并发吞吐量相比单实例方案提升了近 5 倍。下面把这套验证过的生产级部署与参数调优细节完整分享出来。

一、架构设计:为什么是 vLLM + LiteLLM 组合?

在工程选型阶段,很多人纠结是选 HuggingFace TGI、vLLM 还是轻量级的 Ollama。我的判断逻辑非常直接:

  • 并发核心(vLLM): 核心是其 PagedAttention 技术,把传统 KV Cache 造成的显存碎片率从 60%-80% 压到了 4% 以内。此外原生支持 Continuous Batching(动态请求插队)和 Chunked Prefill(分块预填充),能大幅抹平长 prompt 对短生成请求的阻塞。
  • 网关治理(LiteLLM): vLLM 本身自带 OpenAI 兼容接口,但非常原始,缺乏限流、鉴权、多模型路由与故障转移能力。LiteLLM 充当了“大模型 API 网关”的角色,不仅提供统一的 Key 计费与权限体系,其原生异步流式转发对 SSE(Server-Sent Events)的开销极低。

二、底层编排:vLLM 部署与显存“防爆”调优

在多卡环境下,最忌讳让 vLLM 默认跑自动配置。这里我编写了生产级 Docker Compose 编排文件,显式控制张量并行数与显存配额。

services:
  vllm-qwen:
    image: vllm/vllm-openai:v0.6.3.post1
    container_name: vllm-qwen-service
    runtime: nvidia
    restart: always
    environment:
      - CUDA_VISIBLE_DEVICES=0,1
      - HUGGINGFACE_HUB_CACHE=/root/.cache/huggingface
    volumes:
      - /data/models/cache:/root/.cache/huggingface
      - /data/models/Qwen2.5-14B-Instruct:/models/Qwen2.5-14B-Instruct
    ports:
      - "8000:8000"
    ipc: host
    command: >
      --model /models/Qwen2.5-14B-Instruct
      --served-model-name qwen-14b
      --tensor-parallel-size 2
      --max-model-len 8192
      --gpu-memory-utilization 0.92
      --enforce-eager
      --enable-prefix-caching
      --enable-chunked-prefill
      --max-num-seqs 64
      --trust-remote-code

踩坑与关键参数解析:

  • --tensor-parallel-size 2:将 14B 模型按层级切分部署在两张显卡上。单卡显存开销降为原先的一半左右,留出足够空间分配 KV Cache。
  • --gpu-memory-utilization 0.92:默认 0.9 稍微偏保守,但千万别贪心设 0.98!PyTorch 运行时的临时激活值(Activation Memory)需要弹性空间,留 8% 显存能彻底避免 CUDA OOM 事故。
  • --enable-prefix-caching: 本套架构的核心优化点 。Agent 场景中有大量重复的 System Prompt 和工具定义(Functions/Tools)。开启该选项后,命中前缀缓存的请求预填充阶段耗时直降 70% 以上,直接省去重复的前向推理计算。
  • --enforce-eager:在 Ampere 架构(如 3090/A10)下,CUDA Graph 编译虽然能提升一点点吞吐,但会额外多吃约 1.5G 到 2G 的固定显存。显存吃紧时,强制启用 Eager 模式能换来容纳更多并发连接的 Cache 空间。
  • ipc: host:多进程 PyTorch 共享内存通信必需,否则张量并行进程在重负载下极易发生 IPC 锁死崩溃。

三、顶层网关:LiteLLM 接入与流式路由配置

后端推理引擎就绪后,使用 LiteLLM 搭建统一网关。新建 litellm_config.yaml:

model_list:
  - model_name: custom-qwen
    litellm_params:
      model: openai/qwen-14b
      api_base: http://vllm-qwen:8000/v1
      api_key: "EMPTY"
      stream_timeout: 30

router_settings:
  routing_strategy: "least-busy"
  timeout: 60
  num_retries: 2

general_settings:
  master_key: "sk-nassky-admin-secure-key"
  database_url: "sqlite:////data/litellm.db"

通过命令行拉起网关容器,映射在宿主机的 4000 端口:

docker run -d \
  --name litellm-gateway \
  --network host \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -v /data/litellm:/data \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --port 4000

现在,你的外部服务(无论是 NextChat、Dify、Cursor 还是内部自动化 Python 脚本),都可以像调用原生 OpenAI 接口一样调用 http://<YOUR_IP>:4000/v1/chat/completions。

四、压测实战:Locust 并发评测与数据验证

为了验证这套架构的真实抗压能力,我写了一个 Locust 压测脚本,重点监控 TTFT(首字延迟) 与 吞吐量(Tokens Per Second)。测试 Prompt 包含 1500 字的固定开发规范(System Prompt)以及 100 字的动态提问,模拟 50 个用户并发访问:

import time
from locust import HttpUser, task, between

class LLMUser(HttpUser):
    wait_time = between(0.5, 2.0)

    @task
    def chat_stream(self):
        headers = {"Authorization": "Bearer sk-nassky-admin-secure-key"}
        payload = {
            "model": "custom-qwen",
            "messages": [{"role": "system", "content": "You are a professional Python engineer... [1500 tokens of rules]"},
                {"role": "user", "content": "帮我写一个基于 asyncio 的高性能连接池代码并解释细节。"}
            ],
            "stream": True,
            "max_tokens": 512
        }

        start_time = time.time()
        first_token_time = None

        with self.client.post("/v1/chat/completions", json=payload, headers=headers, stream=True, catch_response=True) as resp:
            if resp.status_code != 200:
                resp.failure(f"Status code: {resp.status_code}")
                return
            
            for line in resp.iter_lines():
                if line and first_token_time is None:
                    first_token_time = time.time()
            
            ttft = (first_token_time - start_time) * 1000 if first_token_time else 0
            self.environment.events.request.fire(
                request_type="SSE",
                name="TTFT",
                response_time=ttft,
                response_length=0,
                exception=None,
                context={})
            resp.success()

实测数据对比(50 并发请求):

部署方案 平均 TTFT (首字) P95 TTFT 系统总输出吞吐 (Tokens/s) 失败率
Ollama (原生单实例) 6,840 ms 12,300 ms 84 tok/s 14.2% (超时)
vLLM (关闭 Prefix Caching) 1,280 ms 2,450 ms 380 tok/s 0.0%
vLLM + Prefix Caching + 调优后 260 ms 480 ms 610 tok/s 0.0%

可以看到, 开启前缀缓存是解决 Agent 类长 System Prompt 业务场景的关键胜负手 。由于 50 个请求的前 1500 tokens 命中同一份 KV 缓存,系统跳过了大量重复的前向矩阵乘法,首字延时从 1 秒以上瞬间压缩至 260 毫秒以内,体验提升极为直观。

总结与避坑心得

如果你正准备为团队落地自建 LLM 推理集群,有以下三条血泪经验值得在上线前检查:

  1. 不要迷信量化精度压缩: 能跑 bfloat16 尽量跑 bfloat16。在 14B 以下模型上使用 AWQ/GPTQ 确实可以节省显存,但在复杂指令遵循和代码生成任务上,极端用例的逻辑退化依然存在。优先通过张量并行拆分显存,而不是盲目压缩精度。
  2. 清理 Ray 的幽灵内存: 如果你在脚本中频繁热重启 vLLM,PyTorch 显存有时不会被操作系统立即回收。遇到显存被未知进程占用,执行 ray stop --force 并检查 fuser -v /dev/nvidia*,干掉僵尸进程后再启动。
  3. 流式反向代理的 Buffer 陷阱: 如果在 LiteLLM 前面还挂了一层 Nginx,切记在 location 配置中加上 proxy_buffering off;。否则 Nginx 会把流式 SSE 的 chunk 缓存到一定大小后才一次性冲刷给前端,导致客户端依然感觉“卡顿半天后突然喷出一堆字”。

这套方案目前在我们的内部生产环境中稳定运行了两周,显存分配平稳,无一例 OOM 崩溃。有条件的团队完全可以按此路线平替昂贵的第三方商业 API。

正文完
 0
评论(没有评论)