很多极客将闲置显卡塞入NAS跑本地大模型，却频繁遭遇高并发显存OOM与流式响应卡顿。本文基于TrueNAS/Debian底座，通过vLLM与Ollama异构容器混搭方案，实测结合Open WebUI与LiteLLM反向代理，深度拆解显存切分、KV Cache极限调优与自动化冷热调度配置。

针对单机双卡或单卡高负载场景，详细记录从Ollama迁移至vLLM+LiteLLM架构的全过程。深入解析PagedAttention显存分配、KV Cache压缩、流式SSE断流排查及并发吞吐调优核心参数，提供完整的压测数据与Docker配置方案，彻底解决并发请求下的CUDA OOM与高延迟问题。

本文分享如何使用单张 24G 消费级显卡（RTX 3090/4090），借助 vLLM 搭配 LiteLLM 搭建生产级高并发流式推理网关。涵盖 PagedAttention 显存分配精算、多模型动态路由、异步 SSE 流式断连排障及真实压测数据，提供开箱即用的 Docker 编排配置，助你低成本压榨硬件性能。

面向个人与小团队的私有大模型落地指南，基于RTX 3090/4090单卡环境，深度拆解vLLM高吞吐参数调优、前缀缓存开启、LiteLLM网关编排及常见OOM排障经验。