压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

5次阅读
没有评论

共计 3670 个字符,预计需要花费 10 分钟才能阅读完成。

上周我们小团队内部的代码补全和知识库 Agent 彻底崩了。起因是团队成员从 4 个人激增到 15 人,原本跑在一台 RTX 4090 深度学习主机上的 Ollama 实例,在早高峰几个人同时请求时,首字延迟(TTFT,Time to First Token)直接飙到了 35 秒,甚至频繁报 CUDA out of memory 崩溃退出。

Ollama 对单人日常开发确实开箱即用,底层基于 llama.cpp,轻量且跨平台。但在多用户并发场景下,它的吞吐能力和批处理(Batching)调度策略非常原始。为了榨干这颗 24GB 显存的 Ada 架构显卡,我花了一个周末彻底推倒重构,切换至 vLLM + LiteLLM Proxy 架构。实测在相同硬件条件下,并发吞吐量直接提升了 4.2 倍。

一、为什么 Ollama 在并发面前不堪一击?

要解决并发吞吐问题,必须先看清底层的显存瓶颈:

  • 显存碎片与静态分配: 传统的推理框架在请求到达前,往往根据 max_tokens 预先分配静态显存来存放 KV Cache。一个生成任务即使只输出了 20 个 token,也会占满 4096 长度的显存空间,导致显存利用率长期低于 40%。
  • Continuous Batching(连续批处理)的缺失: Ollama 默认的批处理较为粗糙。新请求进来时,往往需要等待当前批次全部完成才能插队,导致请求队列严重堆积。

而 vLLM 引入了操作系统虚拟内存分页的思想(PagedAttention),将 KV Cache 切片分散存储在非连续物理块中,显存浪费率直接降到 4% 以下;配合动态连续批处理,让 GPU 的 Tensor Core 始终处于吃饱状态。单卡 4090 跑 Qwen2.5-Coder-14B-Instruct-AWQ,vLLM 才是工业级的选择。

二、vLLM 底座实战:参数压榨与显存精细化配置

这是我反复压测后,为 24G 显存打磨出的一套生产级 Docker Compose 启动配置:

services:
  vllm:
    image: vllm/vllm-openai:v0.6.3.post1
    container_name: vllm-server
    runtime: nvidia
    restart: unless-stopped
    environment:
      - CUDA_VISIBLE_DEVICES=0
      - NCCL_DEBUG=INFO
    volumes:
      - /root/.cache/huggingface:/root/.cache/huggingface
    ports:
      - "8000:8000"
    ipc: host
    command: >
      --model Qwen/Qwen2.5-Coder-14B-Instruct-AWQ
      --quantization awq
      --dtype half
      --gpu-memory-utilization 0.94
      --max-model-len 8192
      --max-num-seqs 64
      --enforce-eager
      --trust-remote-code

踩坑核心参数解析:

  • --gpu-memory-utilization 0.94:默认是 0.90。在 24GB 显存下,调高到 0.94 能为 KV Cache 多抠出近 1GB 空间,多支撑 4~6 个长上下文并发。但切忌设为 0.98,PyTorch 运行时动态分配开销容易导致偶发 OOM。
  • --max-model-len 8192:根据真实业务裁剪。模型标称支持 32K 甚至 128K,但在单卡并发场景下,盲目开启 32K 上下文会迅速挤爆显存。裁剪为 8K,既能覆盖 95% 的代码审查场景,又能成倍提升并发池容量。
  • --enforce-eager:在 4090 这类消费级显卡上,默认的 CUDA Graph 捕获机制偶尔会出现初始化显存暴涨导致崩溃。加上这个参数虽然会损耗约 3% 的理论峰值性能,但能确保高负载下的绝对稳定。

三、血泪排障:Nginx 流式代理中的“假死”现象

服务跑起来后,接入前端 Web 和 Cursor 插件时,我们遇到了极其恶心的问题: 流式输出(SSE)完全不生效 。前端页面卡住 10 秒毫无反应,随后整个答案瞬间“Duang”地一下全弹出来,首字流式体验彻底失效。

排查了一圈代码,最后发现坑在反向代理层(Nginx)。Nginx 默认开启了 Proxy Buffering,它把 vLLM 逐字吐出来的 chunk 全缓存到了自己的 buffer 里,直到缓冲区满了或者请求结束才一次性发给客户端。

必须在 Nginx 的站点配置中强制关闭缓存与缓冲,特别是针对大模型 SSE 路由:

server {
    listen 443 ssl http2;
    server_name ai.nassky.top;

    location /v1/ {
        proxy_pass http://127.0.0.1:4000; # 转发给 LiteLLM 网关
        proxy_http_version 1.1;

        # 核心修复配置:关闭反代缓存,禁用分块缓冲
        proxy_set_header Connection '';
        proxy_buffering off;
        proxy_cache off;
        chunked_transfer_encoding on;

        # 防止长文本生成时 Nginx 提前切断连接
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

四、网关层落地:用 LiteLLM 统一鉴权、限流与 Fallback

我们不能直接把 vLLM 裸暴露给内部业务,因为单卡总有算力上限。引入 LiteLLM Proxy 作为统一 API 聚合网关,实现了三个关键能力:

  1. 生成多租户 API Key 并限制调用速率(RPM/TPM)。
  2. 统一兼容 OpenAI 协议。
  3. 自动 Fallback(降级熔断): 当本地 4090 显卡因为并发过高被打满报错(503/429)时,无缝降级切换到 DeepSeek 官方 API 或 Azure 兜底,业务无感知。

编写 config.yaml:

model_list:
  - model_name: coder-pro
    litellm_params:
      model: openai/Qwen/Qwen2.5-Coder-14B-Instruct-AWQ
      api_base: http://vllm-server:8000/v1
      api_key: "EMPTY"
  - model_name: coder-pro-fallback
    litellm_params:
      model: deepseek/deepseek-coder
      api_key: os.environ/DEEPSEEK_API_KEY

router_settings:
  routing_strategy: "usage-based-routing"
  fallbacks:
    - coder-pro: ["coder-pro-fallback"]
  allowed_fails: 2
  cooldown_time: 30

general_settings:
  master_key: "sk-nassky-master-key-888"

启动 LiteLLM 代理:

docker run -d \
  --name litellm-proxy \
  -v $(pwd)/config.yaml:/app/config.yaml \
  -p 4000:4000 \
  -e DEEPSEEK_API_KEY="sk-xxxxxx" \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --port 4000

五、实测压测数据:Ollama vs vLLM

我在本地使用 Python 编写异步压测脚本,模拟 30 个并发客户端,连续发送 150 条上下文长度在 1.5K Token 的代码重构 Prompt,输出长度锁定 512 Token。硬件环境:i9-13900K / 64G DDR5 / RTX 4090 24G。

测试指标 Ollama (Qwen-2.5-14B-Q4_K_M) vLLM (Qwen-2.5-14B-AWQ) 性能提升倍数
并发量 (Concurrent) 30 并发 30 并发 –
平均首字延迟 (TTFT) 18.4 秒 1.8 秒 10.2x
整体验证吞吐 (Tokens/s) 46.2 tokens/s 214.5 tokens/s 4.6x
显存溢出错误率 13.3% (部分报 500) 0% (自动排队) 完美稳定

数据是不会说谎的。Ollama 在单并发时表现良好,但在 30 并发下由于没有高效的动态批处理,显存排队严重恶化;而 vLLM 的 PagedAttention 机制几乎把这块 4090 的显存利用率恒定压在 93%~94% 的健康区间,整机功耗拉满 450W,榨干了最后一丝算力。

总结与避坑心得

极客折腾私有算力,最忌讳拿着玩具级工具去硬扛生产级场景。经过这次改造,有几点核心心得:

  • 单机尝鲜选 Ollama,多用户 / 流水线必上 vLLM: 只要请求数超过 3 个,llama.cpp 架构的批处理劣势就会被放大数十倍。
  • 量
正文完
 0
评论(没有评论)