高并发Agent - Nas 的天空

技术前沿与洞察 告别显存焦虑：vLLM + SGLang 混合部署与多LoRA热加载实战调优

针对单卡24G显存下本地大模型高并发与多业务微调LoRA冲突的痛点，本文详解基于 vLLM 与 SGLang 的生产级部署实践。涵盖 RadixAttention 缓存复用、多 LoRA 无缝热挂载、PagedAttention 显存优化参数调优及压力测试对比，提供可直接落地的 Docker Compose 与 Python 客户端配置方案。

家用 NAS 爆改本地 AI 算力中心：Docker 容器化、向量检索与 ZFS 内存/IO 调优避坑实录

把 24 小时待机的家用 NAS 变成全天候本地大模型与 RAG 知识库节点，是很多极客的折腾方向。但在实际落地中，往往会遭遇 ZFS ARC 内存争抢导致 OOM、机械盘阵列被向量检索 4K 随机读写拖垮、容器 GPU 驱动透传异常等棘手问题。本文基于真实 Linux/TrueNAS 环境，详解存储分层、Docker 编排与底层内核参数调优方案。

榨干单卡24G显存：vLLM + LiteLLM 搭建生产级本地模型流式网关踩坑实录

嫌弃 Ollama 高并发性能拉胯？本文记录在单张 RTX 4090 工作站上，使用 vLLM 结合 LiteLLM 构建高并发、低延迟 OpenAI 兼容流式 API 网关的完整实战。涵盖 Continuous Batching 显存精细调优、SSE 流式反代截断排障、多 Key 鉴权与真实压测数据对比。

实战踩坑：基于 Python + vLLM 搭建生产级大模型流式网关与并发调优

在自建 LLM 服务落地过程中，直接暴露 vLLM 或 Ollama 端口往往导致请求雪崩与长连接泄漏。本文分享一套基于 FastAPI + HTTPX 异步流式代理的生产级 LLM 网关架构方案，深入剖析 Backpressure 背压控制、流式 Token 截断、连接池死锁与高并发压测调优实战，助你避开 90% 的工程落坑。

告别显存焦虑：vLLM + SGLang 混合部署与多LoRA热加载实战调优

技术前沿与洞察 告别显存焦虑：vLLM + SGLang 混合部署与多LoRA热加载实战调优

家用 NAS 爆改本地 AI 算力中心：Docker 容器化、向量检索与 ZFS 内存/IO 调优避坑实录

榨干单卡24G显存：vLLM + LiteLLM 搭建生产级本地模型流式网关踩坑实录

实战踩坑：基于 Python + vLLM 搭建生产级大模型流式网关与并发调优

告别显存焦虑：vLLM + SGLang 混合部署与多LoRA热加载实战调优

单卡RTX 4090跑满满血Agent：vLLM + DeepSeek多并发流式网关工程化实战

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析