Agent开发 - Nas 的天空

AI工具与实战 单卡24G极限榨干：vLLM高吞吐部署与私有Agent网关避坑指南

面向个人与小团队的私有大模型落地指南，基于RTX 3090/4090单卡环境，深度拆解vLLM高吞吐参数调优、前缀缓存开启、LiteLLM网关编排及常见OOM排障经验。

NAS 搭建本地私有大模型与知识库避坑：Docker 编排、核显透传与内存防爆实战

不少极客尝试在 NAS 上跑本地大模型和 RAG 私有知识库，却频繁遭遇内存雪崩触发 OOM、机械硬盘疯狂寻道无法休眠、GPU/核显未生效导致 CPU 满载等暗坑。本文基于实机生产环境，提供一套包含 Ollama、Qdrant 与 Open WebUI 的轻量 Docker 编排方案，深入剖析 NVMe 缓存分层、cgroups 资源硬限制与硬件加速调优。

榨干双卡RTX 4090：vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

拒绝玩具级方案，直面企业级私有化与极客Homelab核心痛点。本文基于双卡RTX 4090实机环境，详解vLLM部署Qwen-2.5-32B模型的张量并行切分、KV Cache优化与Chunked Prefill调优策略，并给出一套解决客户端断连与Backpressure的生产级异步流式代理网关实现。

Python + FastAPI 搭建高性能 LLM 流式代理：异步分块、Token 计费与内存防爆实战

用 FastAPI 做大模型 SSE 流式转发看似只需几行代码，但在高并发长连接下极易踩中连接池耗尽、客户端断开未取消、Token 计数丢帧及内存缓慢泄漏的深坑。本文基于生产环境实战，提供一套包含背压控制、连接生命周期管理与异步分块计费的工业级 Python 流式网关方案。

实战避坑：双卡RTX 4090基于vLLM部署DeepSeek-R1蒸馏版与流式网关优化

针对DeepSeek-R1长思考链导致的显存爆炸与高并发超时痛点，本文详解如何在双卡RTX 4090物理机上利用vLLM完成DeepSeek-R1-Distill-Qwen-32B生产级部署。涵盖无NVLink下的NCCL通信调优、前缀缓存（APC）加速、以及用FastAPI编写具备断连熔断机制的流式代理，实测吞吐提升3倍。

打通本地LLM落地最后一公里：FastAPI + vLLM 流式网关生产级踩坑与调优实录

本地部署大模型时，很多团队都卡在流式输出（SSE）接入业务系统的阶段。本文记录作者在双卡 RTX 4090 节点上用 FastAPI + vLLM 搭建生产级代理网关时踩过的三个深坑：Nginx 缓冲导致打字机卡死、前端断连引发 GPU“幽灵推理”，以及高并发下的显存爆仓。附带完整网关源码与性能调优参数。

AI工具与实战 单卡24G极限榨干：vLLM高吞吐部署与私有Agent网关避坑指南

NAS 搭建本地私有大模型与知识库避坑：Docker 编排、核显透传与内存防爆实战

榨干双卡RTX 4090：vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

Python + FastAPI 搭建高性能 LLM 流式代理：异步分块、Token 计费与内存防爆实战

实战避坑：双卡RTX 4090基于vLLM部署DeepSeek-R1蒸馏版与流式网关优化

打通本地LLM落地最后一公里：FastAPI + vLLM 流式网关生产级踩坑与调优实录

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析