Caddy - Nas 的天空

技术前沿与洞察 自建高并发 LLM 流式代理：Nginx 与 Caddy 处理 SSE 长连接的避坑实录

在私有化部署 vLLM 或 Ollama 时，流式推理（SSE）经常遭遇打字机卡顿、Buffer 积压及长思维链超时断连。本文结合生产环境实测，详解 Nginx 与 Caddy 的反代调优、连接池保活、客户端中断显存释放及多实例负载均衡方案。

Nas 的天空

点亮思维火花，畅享数字世界

用户数

文章数

520

评论数

阅读量

191190

针对 Apple Silicon Mac 本地运行 32B/70B 级别大模型频繁 OOM 的痛点，本文实战演示如何突破 macOS 默认的 75% 显存上限，并结合 Apple 原生 MLX 框架与 launchd 守护进程，搭建高吞吐、低延迟的 OpenAI 兼容本地推理服务。

面对本地大模型高并发部署下的显存溢出与首字延迟（TTFT）瓶颈，本文基于双卡RTX 4090物理服务器，深度实操拆解vLLM高并发优化策略与PagedAttention调优。配套自研FastAPI双向异步流式代理，实现SSE保活、平滑熔断与动态降级，附全套可复用配置与实操避坑心得。

很多团队在将本地LLM从玩具推向内网生产环境时，常遭遇Ollama高并发排队与显存打爆的问题。本文详解基于vLLM与Ray构建生产级高并发流式LLM代理集群的全流程，涵盖PagedAttention参数调优、多GPU张量并行切分、流式SSE后端代理开发及locust高负载压测数据对比。

针对单卡RTX 4090/A100部署Qwen2.5-7B/14B大模型时常见的显存碎片、TTFT延迟高以及流式并发卡顿问题，本文详解基于vLLM构建高并发OpenAI兼容API网关的全套生产级实战方案，包含Chunked Prefill、Prefix Caching参数调优与Nginx反代配置。