自建生产级LLM网关:vLLM + LiteLLM 搭建高并发流式代理与避坑实录

2次阅读
没有评论

共计 3831 个字符,预计需要花费 10 分钟才能阅读完成。

在本地机器或私有云跑大模型,很多人的第一反应是装个 Ollama。对于个人本地玩玩、跑个终端交互,Ollama 确实开箱即用体验极佳;但上个月我们工作室把一组 Agent 自动化工作流接入基于 Ollama 的后端时,并发请求瞬间将服务打到假死——TTFT(Time To First Token)飙到 10 秒以上,流式连接疯狂被中断,显存分配策略更是粗放得让人头疼。

生产环境不需要玩具,需要的是高吞吐、严格的显存连续空间管理以及标准的多租户路由机制。折腾了整整一周后,我把推理链路彻底重构为 vLLM(底层推理引擎)+ LiteLLM Proxy(网关聚合与负载均衡) 架构。这套方案扛住了内网几十个爬虫与 Agent 节点每分钟数千次的高频流式调用。下面把这套架构的核心配置、调优细节和排障心得完整交出来。

一、架构拓扑与设计考量

自建 LLM 服务的核心矛盾在于: 显存带宽受限、长上下文 KV Cache 暴涨、以及客户端流式(SSE)慢连接对连接池的消耗 。为了避免推理引擎直面复杂的鉴权、限流和网络抖动,必须将“计算”与“网关路由”彻底解耦:

  • 推理底座(vLLM):专注于利用 PagedAttention 管理显存碎片,实现连续批处理(Continuous Batching),最大化 GPU 利用率。
  • 代理网关(LiteLLM Proxy):负责统一提供与 OpenAI 完全兼容的 API,处理鉴权、模型重命名、请求重试、Fallback 降级以及多卡 / 多节点健康检查。
  • 前置反代(Traefik / Nginx):关闭缓冲,专门护航 HTTP/2 与长连接流式 SSE。

二、底层引擎:vLLM 生产级启动与显存压榨

我使用的测试节点是一台双卡 RTX 4090(24G x 2)的工作站,推理主力模型选择 Qwen2.5-14B-Instruct-AWQ 和小巧耐造的 DeepSeek-R1-Distill-Qwen-8B。在启动 vLLM 时,直接用默认参数基本等于“裸奔”,极其容易因为上下文突增直接 CUDA OOM。

以下是我多次调优后写进 Docker Compose 的启动参数:

services:
  vllm-qwen14b:
    image: vllm/vllm-openai:v0.6.6.post1
    runtime: nvidia
    environment:
      - CUDA_VISIBLE_DEVICES=0
    volumes:
      - /data/models:/root/.cache/huggingface
    ports:
      - "8001:8000"
    command: >
      --model Qwen/Qwen2.5-14B-Instruct-AWQ
      --quantization awq
      --served-model-name qwen-14b
      --max-model-len 8192
      --gpu-memory-utilization 0.90
      --max-num-seqs 64
      --block-size 16
      --trust-remote-code
      --disable-log-requests
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: always

核心参数排坑:

  • --gpu-memory-utilization 0.90:别填 1.0!给 PyTorch 内部激活状态和临时计算预留至少 10% 的显存安全冗余,否则突发大 Batch 时驱动直接报 CUDA out of memory。
  • --max-model-len 8192:根据真实业务截断。默认很多模型支持 32K 甚至 128K,如果不做限制,vLLM 会按照长上下文初始化 KV Cache 块,导致并发请求并发数(Slot)断崖式下跌。
  • --max-num-seqs 64:设置并发序列数上限。必须结合你业务的单次输入长度测算,防止请求排队超时。

三、网关层:LiteLLM 路由与故障转移配置

前端开发只要一个 OpenAI 接口,他们不想关心哪台机器挂了或者哪个模型跑在哪个端口。LiteLLM Proxy 在这里扮演了“软负载均衡器”的角色。

创建 config.yaml 配置文件:

model_list:
  - model_name: "production-model"
    litellm_params:
      model: "openai/qwen-14b"
      api_base: "http://127.0.0.1:8001/v1"
      api_key: "dummy-key"
      timeout: 30
      max_retries: 2
  - model_name: "production-model"
    litellm_params:
      model: "openai/deepseek-8b"
      api_base: "http://127.0.0.1:8002/v1"
      api_key: "dummy-key"
      timeout: 20

router_settings:
  routing_strategy: "least-busy" # 优先分发给当前负载最低的实例
  num_retries: 3
  timeout: 45
  enable_pre_call_checks: true

general_settings:
  master_key: "sk-MySuperSecureSecretKey9988"

启动 LiteLLM 容器,挂载上述配置:

docker run -d \
  --name litellm-proxy \
  -v $(pwd)/config.yaml:/app/config.yaml \
  -p 4000:4000 \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --port 4000 --num_workers 4

这样设置后,应用端只需配置基地址 http://proxy-ip:4000/v1 和主密钥,请求 production-model 时,网关会自动在两个实例间执行 least-busy(最少空闲)分流。如果 14B 实例显存被打满排队,LiteLLM 会触发重试降级到 8B 实例,保证链路可用性。

四、关键雷区:反向代理的流式截断与 Buffer 陷阱

如果你的架构在 LiteLLM 外层套了 Nginx 作为入口,部署后最常遇到的一个诡异 Bug 是: 前端拿不到流式打字效果,必须等整句话全推理完了,浏览器才“唰”的一下把整段吐出来;或者长响应生成到一半直接中断 。

原因出在 Nginx 默认开启了响应缓冲(Proxy Buffering),它在努力帮你拼齐一个完整 TCP 报文后再发给客户端。解决这个流式卡顿,必须强制对 SSE(Server-Sent Events)关闭缓存:

server {
    listen 80;
    server_name llm.nassky.local;

    location /v1/ {
        proxy_pass http://127.0.0.1:4000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;

        # 核心设置:干掉缓冲,确保流式 Token 实时吐出
        proxy_buffering off;
        proxy_cache off;
        proxy_set_header Connection '';
        proxy_http_version 1.1;
        chunked_transfer_encoding on;

        # 针对长文本 Agent,拉长超时时间,防止生成长文时被反代主动切断
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }
}

五、性能实测:Ollama 与 vLLM 的高并发对比

我用自写的 Python 异步压测脚本,模拟 32 个并发客户端向同一台机器请求生成 500 Token 长度的代码段,测试结果非常直观:

指标参数 Ollama (默认配置并发队列) vLLM (Continuous Batching)
吞吐量 (Throughput) ~42 Tokens/s (出现排队拥堵) ~318 Tokens/s
首字延迟 (Avg TTFT) 6.8 秒 0.42 秒
错误率 (Failure Rate) 18.7% (请求超时 / 连接重置) 0.00%
显存占用状态 固定预占,碎片率高 动态分页,利用率紧凑平稳

实测数据证明,当并发量大于 4 时,Ollama 的基于单序列轮询调度的短板完全暴露,大量时间被浪费在上下文反复切换上;而 vLLM 凭借底层 PagedAttention 的显存切片机制,在显存不爆的前提下,能把算力榨到极致。

总结与避坑心得

自建私有大模型服务不是简单的 docker run 跑个模型就完事了。在落地这套架构时,我建议牢记三条红线:

  1. 严格控制上下文上限 :绝大部分业务场景根本用不到 32K 这么长,盲目开放只会让你的 KV Cache 吃光可用显存,把 max-model-len 焊死在能覆盖业务的最小范围。
  2. 网关层必须做物理隔离 :严禁业务客户端直连 vLLM 容器。用 LiteLLM 挡在前面,除了鉴权限流,最核心的是它提供了 Fallback 机制,能在主力卡挂掉时瞬间把流量切给备用小型号,避免业务前端报警炸群。
  3. 反代配置死磕超时与缓冲 :无论使用 Nginx、Traefik 还是 Caddy,必须显式声明禁用反向代理缓冲,并把读写超时拉升到合理水平。

这套方案跑了三个月,基本没出现过模型挂死或进程僵死的情况。如果你也在为团队内部的模型服务被并发打崩而头疼,不妨直接扔掉单机简易方案,花半个下午把 vLLM 和 LiteLLM 网关搭起来。

正文完
 0
评论(没有评论)