单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南

7次阅读
没有评论

共计 3891 个字符,预计需要花费 10 分钟才能阅读完成。

上周帮一个兄弟团队排查线上 AI 知识库系统的服务崩溃问题。架构很简单:前端通过 SSE(Server-Sent Events)拉取打字机效果,后端用 FastAPI 封装一层鉴权,底层直接打向用 Ollama 跑的 Qwen2.5-14B。结果业务方做了一次全员测试,50 个人同时提问,GPU 显存瞬间打爆 OOM,API 网关连接数迅速耗尽,直接全站白屏。

很多开发者在单机开发时觉得本地大模型跑得挺顺,但只要一接入生产级并发,就会发现单卡吞吐和延迟崩得一塌糊涂。今天直接掏干货,聊聊我们是如何基于 vLLM + 自研轻量异步网关 + Nginx 构建单机能抗住 100+ 持续流式并发的架构,并解决核心的显存和连接挂起陷阱。

一、为什么 Ollama/ 原生 HuggingFace 扛不住生产高并发?

开发阶段 Ollama 确实开箱即用,但其底层默认的并发调度队列极其保守,遇到请求堆积时显存分配容易剧烈抖动。原生 HuggingFace 的 pipeline 更是为批处理和离线任务设计的,完全没有现代推理框架必备的 Continuous Batching(连续批处理) 和 PagedAttention(分页注意力机制)。

当 50 个用户同时发来长度不一的 Prompt 时,传统做法要么排队(延迟拉满),要么按最大长度对齐 Padding(显存直接浪费 60% 以上)。想要高吞吐低延迟,必须切换到为并发推理而生的引擎——目前实测最稳、生态最好的依然是 vLLM(追求极限吞吐且模型算子支持允许的场景下也可选 SGLang)。

二、vLLM 生产级启动参数的黄金组合

光启动 vLLM 还不够,很多人用默认参数跑,要么浪费了显存,要么跑着跑着就爆显存退出了。以下是我在 2x RTX 4090(24G x 2)部署 Qwen2.5-14B-Instruct-AWQ 经过数轮压测得出的生产级启动命令:

python3 -m vllm.entrypoints.openai.api_server \
    --model /data/models/Qwen2.5-14B-Instruct-AWQ \
    --tensor-parallel-size 2 \
    --dtype half \
    --gpu-memory-utilization 0.92 \
    --max-model-len 8192 \
    --max-num-seqs 128 \
    --enable-prefix-caching \
    --disable-log-requests \
    --host 0.0.0.0 \
    --port 8000

核心参数排障与避坑细节:

  • --gpu-memory-utilization 0.92:默认是 0.9。如果你不跑其他进程,可以给到 0.92~0.95。但 绝对不要设为 1.0!CUDA runtime、NCCL 通信和上下文缓存激活需要留出至少 1~2GB 的显存弹性空间,设满必死于运行时 OOM。
  • --max-model-len 8192:强烈建议根据业务限制!哪怕模型标称支持 32K 甚至 128K,也别无脑开大。KV Cache 占用的显存与最大序列长度直接挂钩。如果设成 32768,留给并发槽位的 KV Cache 会被极度压缩,并发数直接从上百跌到个位数。
  • --max-num-seqs 128:同时处理的最大并发序列数。根据你的 GPU 显存压测决定,超过这个值的请求会在 vLLM 内部队列排队,避免把显存击穿。
  • --enable-prefix-caching(关键优化):针对 RAG 或 Agent 场景,所有用户的 System Prompt 和通用知识库引用是高度相似的。开启此前缀缓存后,重复的 Context Token 直接复用显存中的 KV Cache,首字延迟(TTFT)直接从 800ms 降至 80ms,实测吞吐提升 3 倍以上。

三、网关层改造:FastAPI 流式转发的致命陷阱

在推理引擎前面,我们通常会架一层 Python 网关用于鉴权、敏感词过滤和 Token 计费。大部分人写 SSE 转发时,最容易踩一个 “幽灵计算” 的大坑:客户端页面关闭或取消生成后,后端依然在疯狂推理!

如果用户点了“停止生成”或者直接关闭了浏览器标签页,前端断开了 HTTP 连接,而你的网关若未监听 request.is_disconnected(),底层 vLLM 会老老实实把这几千个 Token 生成完毕。并发一高,GPU 全在算“死人请求”,新请求全卡在队列里。

来看经过生产检验的异步流式转发模板:

import httpx
import json
from fastapi import FastAPI, Request, HTTPException
from fastapi.responses import StreamingResponse

app = FastAPI()

VLLM_API_URL = "http://127.0.0.1:8000/v1/chat/completions"

# 维持一个带连接池优化的异步客户端
client = httpx.AsyncClient(limits=httpx.Limits(max_keepalive_connections=200, max_connections=500),
    timeout=httpx.Timeout(connect=5.0, read=60.0, write=5.0, pool=10.0)
)

async def stream_generator(request: Request, payload: dict):
    try:
        async with client.stream("POST", VLLM_API_URL, json=payload) as response:
            if response.status_code != 200:
                error_body = await response.aread()
                yield f"data: {json.dumps({'error': error_body.decode()})}\n\n"
                return

            async for line in response.aiter_lines():
                # 关键:每次循环都检测前端连接状态
                if await request.is_disconnected():
                    # 客户端主动断开,立刻跳出,Python 上下文管理器会自动断开与 vLLM 的请求连接
                    # vLLM 收到 client disconnect 后会立即中止该 request 的生成序列
                    break
                
                if line:
                    yield f"{line}\n\n"
    except httpx.RequestError as exc:
        yield f"data: {json.dumps({'error': f'Upstream error: {str(exc)}'})}\n\n"

@app.post("/v1/chat/proxy")
async def chat_proxy(request: Request):
    body = await request.json()
    # 强制开启 stream
    body["stream"] = True 
    
    return StreamingResponse(stream_generator(request, body),
        media_type="text/event-stream",
        headers={
            "Cache-Control": "no-cache",
            "Connection": "keep-alive",
            "X-Accel-Buffering": "no" # 告诉 Nginx 不要缓冲!}
    )

四、网络层穿透:Nginx SSE 缓冲调优

很多开发者在本地跑流式打字机很流畅,一上生产部署了 Nginx,发现文字不是一个词一个词吐出来的,而是一下子卡住 5 秒,然后一大坨字突然喷出来,打字机直接变成了“呕吐机”。

罪魁祸首是 Nginx 的 proxy_buffering 机制。Nginx 默认会把后端返回的数据在内存里攒满一个 Buffer 块(通常是 4k/8k)才推送给客户端。对于 SSE 来说必须彻底关掉缓冲:

upstream ai_gateway {
    server 127.0.0.1:8080;
    keepalive 64; # 保持长连接池,避免频繁握手消耗端口
}

server {
    listen 80;
    server_name api.yourdomain.com;

    location /v1/chat/proxy {
        proxy_pass http://ai_gateway;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        
        # 核心防卡顿参数
        proxy_buffering off;
        proxy_cache off;
        chunked_transfer_encoding on;

        # 解决长文本推理导致的长连接超时掐断
        proxy_read_timeout 300s;
        proxy_send_timeout 300s;

        # 透传真实客户端 IP
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

五、压测结果与性能对比

我们在双卡 4090 机器上,使用 Locust 模拟 80 个虚拟用户以 512 Tokens 输入、256 Tokens 输出的混合场景进行压测,对比优化前后的指标:

正文完
 0
评论(没有评论)
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock
方案架构 首字延迟 (TTFT P99) 单秒生成 Token 数 (TPS) 并发承载上限 (无 OOM)
Ollama 原生部署 4200 ms 180 tokens/s ~18 并发(超额请求延迟飙升)
vLLM 默认参数 + FastAPI 简单代理 1100 ms 560 tokens/s ~60 并发(客户端断开造成计算挤压)