LLM网关 - Nas 的天空

Python Python + FastAPI 搭建生产级 LLM 流式代理：连接池、背压与客户端断连排坑实战

直面 LLM 流式网关生产环境痛点：手把手用 Python 和 FastAPI 实现高性能 SSE 代理。深度拆解 httpx 异步连接池泄漏、客户端中途断连导致的算力空耗与 Token 浪费，配合 Nginx 零缓冲配置与 asyncio 任务生命周期管理，打造单机稳定承载数千并发流式响应的网关服务。

技术前沿与洞察 高并发 LLM 流式网关实战：彻底解决 SSE 假死、Prefix Cache 击穿与孤儿 Token 算力泄漏

搭建生产级大模型流式代理时，90% 的团队都会踩中客户端断连导致 GPU 空转、Nginx 缓冲引发首字延迟暴增、以及 Prompt 动态参数彻底摧毁 KV Cache 的深坑。本文结合作者在千万级 Token 业务中的实操经验，深度拆解异步 SSE 断流中断、RadixAttention 缓存亲和性路由与 Nginx 调优方案，附带可直接抄作业的生产级代码与压测排障清单。

单卡 RTX 4090 极限压榨：用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记

手把手记录在一台单卡 RTX 4090（24G 显存）主机上，通过 Docker 与 vLLM 部署 Qwen2.5-Coder-32B-Instruct-AWQ 模型，并无缝接入 VS Code Continue 插件的全过程。深度拆解 KV Cache 显存调优、PagedAttention 参数配置及高频踩坑点，实测代码补全首字延迟低于 200ms。

家庭NAS魔改AI推理中心：Docker直通GPU部署Ollama与向量知识库排坑指南

很多极客手里的大容量NAS往往面临“存储过剩、算力闲置”的尴尬。本文分享如何将一台普通x86 Linux/NAS改造为低延迟私有AI推演中枢：从NVIDIA Container Toolkit底层驱动直通、Docker Compose编排Ollama与Qdrant，到ZFS内存缓存（ARC）与LLM显存争抢的系统级调优，内附完整配置和实战避坑记录。

单卡vLLM高并发流式代理实战：Qwen2.5满血吞吐调优与生产级避坑指南

针对本地私有化大模型部署中单卡吞吐不足与首字延迟（TTFT）高的痛点，本文详解基于 vLLM + Qwen2.5-14B/32B-Instruct 的生产级流式推理网关搭建方案。深入剖析 PagedAttention 显存分配、vLLM 参数调优及反向代理 SSE 缓冲穿透配置，提供实测压测脚本与避坑技巧。