LLM运维 - Nas 的天空

拒绝 Ollama 吞吞吐吐：在 NAS/HomeLab 用 vLLM 跑满单卡高并发流式推理踩坑记

极客折腾记 拒绝 Ollama 吞吞吐吐：在 NAS/HomeLab 用 vLLM 跑满单卡高并发流式推理踩坑记

记录在私有 HomeLab 服务器上从 Ollama 迁移到 vLLM 的深度实战。针对多 Agent 并发与内网多终端调用时显存碎片化与排队卡死痛点，详解 PagedAttention 调优、AWQ 8-bit 量化适配、Docker 显存编排及 FastAPI SSE 流式代理架构，附压测实测数据与避坑 Checklist。

Nas 的天空

点亮思维火花，畅享数字世界

用户数

1

文章数

500

评论数

21

阅读量

184126

Latest articles

实战打造高并发 LLM 流式网关：FastAPI + HTTPX 异步代理、背压与降本避坑指南

实战打造高并发 LLM 流式网关：FastAPI + HTTPX 异步代理、背压与降本避坑指南

在自建大模型服务或对接 DeepSeek/vLLM 等上游推理引擎时，中间网关的流式传输与并发性能至关重要。本文记录如何用 Python (FastAPI + httpx) 打造低延迟、高并发的 LLM 流式转发网关，深入剖析连接池调优、客户端断连取消推理（背压控流）以及流式 Token 计费的硬核实操经验。

自建NAS全天候AI私有知识库：Docker部署Ollama+Qdrant+Dify实战与内存调优避坑

自建NAS全天候AI私有知识库：Docker部署Ollama+Qdrant+Dify实战与内存调优避坑

详细记录在自建x86 NAS（Ubuntu/Unraid环境）上部署全天候私有AI知识库的完整方案。涵盖Nvidia GPU直通、Ollama驱动DeepSeek/Qwen量化模型、Qdrant向量检索持久化与Dify编排，包含显存占用实测及ZFS存储调优避坑经验。

榨干 Apple Silicon：基于 MLX 与 llama.cpp 的 Mac 本地大模型高吞吐调优实战

榨干 Apple Silicon：基于 MLX 与 llama.cpp 的 Mac 本地大模型高吞吐调优实战

拥有一台大内存的 Mac Studio 或 MacBook Pro 却还在用默认配置跑 Ollama？本文手把手带你破解 macOS 默认显存上限，深度对比 llama.cpp 与苹果原生 MLX 框架，榨干统一内存带宽，搭建低延迟、高并发的本地大模型推理服务。

拒绝 Ollama 吞吞吐吐：在 NAS/HomeLab 用 vLLM 跑满单卡高并发流式推理踩坑记

拒绝 Ollama 吞吞吐吐：在 NAS/HomeLab 用 vLLM 跑满单卡高并发流式推理踩坑记

记录在私有 HomeLab 服务器上从 Ollama 迁移到 vLLM 的深度实战。针对多 Agent 并发与内网多终端调用时显存碎片化与排队卡死痛点，详解 PagedAttention 调优、AWQ 8-bit 量化适配、Docker 显存编排及 FastAPI SSE 流式代理架构，附压测实测数据与避坑 Checklist。

Popular articles