GPU显存调优 - Nas 的天空

技术前沿与洞察 告别显存雪崩：vLLM + Ray 构建轻量级大模型流式网关与高并发压测实战

单张显卡跑大模型推理，并发一上来就显存溢出（OOM）或首字延迟（TTFT）飙到几秒开外？本文基于 vLLM 核心引擎与 FastAPI/Ray，手把手带你搭建生产级 LLM 流式转发网关。包含 PagedAttention 显存优化参数调优、SSE 流式中断处理、连接泄漏排障及真实 Locust 压测对比，助你压榨每一兆 GPU 算力。

实战踩坑：基于 Python + vLLM 搭建高并发 OpenAI 兼容流式 Agent 网关

很多团队用 FastAPI 直连 vLLM 暴露 OpenAI 兼容接口时，往往在多客户端并发流式传输（SSE）场景下遭遇 Event Loop 阻塞、连接泄漏与显存抖动。本文结合线上压测实操，详解如何用 Python 异步生成器、反向背压控制与 uvloop 构建高吞吐 LLM 代理层，附带完整代码与排障避坑指南。

告别显存雪崩：vLLM + Ray 构建轻量级大模型流式网关与高并发压测实战

MacBook 本地大模型开发环境调优：MLX、llama.cpp 与统一内存压榨实战

针对 Apple Silicon 统一内存架构，深度拆解在 Mac 本地部署与调优 LLM 的核心技术方案。对比 MLX 与 llama.cpp 的实际吞吐与显存占用，分享突破 75% 显存锁定上限、量化选型、长上下文显存压测及 launchd 后台守护服务的实战避坑指南。

单卡RTX4090跑通DeepSeek-R1量化蒸馏与vLLM流式代理实战

针对中小团队和个人开发者显存受限的痛点，本文详解如何在单张RTX 4090上使用vLLM部署DeepSeek-R1-Distill-Qwen-14B与AWQ/GPTQ量化模型。涵盖PagedAttention显存调优、FastAPI高并发异步流式代理编写、Token吞吐压测对比以及生产环境避坑实战。