GPU显存优化 - 第3页

极客折腾记 从显存OOM到千Token吞吐：单机部署vLLM与LiteLLM并发推理调优避坑实战

针对单机双卡或单卡高负载场景，详细记录从Ollama迁移至vLLM+LiteLLM架构的全过程。深入解析PagedAttention显存分配、KV Cache压缩、流式SSE断流排查及并发吞吐调优核心参数，提供完整的压测数据与Docker配置方案，彻底解决并发请求下的CUDA OOM与高延迟问题。

vLLM + LiteLLM 搭建生产级大模型流式网关：KV Cache 优化、并发压测与降级实战

针对本地部署大模型时 Ollama 并发阻塞、显存调度低效与接口生态割裂的问题，本文详解基于单卡 RTX 4090/3090 搭建 vLLM 高性能推理引擎配合 LiteLLM 网关的生产级方案。深入解析 PagedAttention 显存调优、SSE 流式代理防断连、多渠道 Fallback 容灾及真实并发压测对比。

拒绝算力空转与内存泄漏：用 FastAPI + AsyncIO 打造高并发 LLM 流式代理网关实战

很多团队在用 FastAPI 转发 vLLM、Ollama 或 DeepSeek 的流式响应时，极易忽略客户端主动断连检测与上游背压控制，导致 GPU 算力严重浪费与网关内存激增。本文深入解析基于 AsyncIO 与 HTTPX 的流式代理核心架构，手把手实现毫秒级断连感知、连接池优化及 Nginx 反向代理配置，附带生产级压测排障经验。

NAS 搭建本地私有大模型与知识库避坑：Docker 编排、核显透传与内存防爆实战

不少极客尝试在 NAS 上跑本地大模型和 RAG 私有知识库，却频繁遭遇内存雪崩触发 OOM、机械硬盘疯狂寻道无法休眠、GPU/核显未生效导致 CPU 满载等暗坑。本文基于实机生产环境，提供一套包含 Ollama、Qdrant 与 Open WebUI 的轻量 Docker 编排方案，深入剖析 NVMe 缓存分层、cgroups 资源硬限制与硬件加速调优。

榨干双卡RTX 4090：vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

拒绝玩具级方案，直面企业级私有化与极客Homelab核心痛点。本文基于双卡RTX 4090实机环境，详解vLLM部署Qwen-2.5-32B模型的张量并行切分、KV Cache优化与Chunked Prefill调优策略，并给出一套解决客户端断连与Backpressure的生产级异步流式代理网关实现。

极客折腾记 从显存OOM到千Token吞吐：单机部署vLLM与LiteLLM并发推理调优避坑实战

双卡RTX 3090榨干32B模型：vLLM多卡推理优化与流式反代避坑指南

vLLM + LiteLLM 搭建生产级大模型流式网关：KV Cache 优化、并发压测与降级实战

拒绝算力空转与内存泄漏：用 FastAPI + AsyncIO 打造高并发 LLM 流式代理网关实战

NAS 搭建本地私有大模型与知识库避坑：Docker 编排、核显透传与内存防爆实战

榨干双卡RTX 4090：vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析