Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
401
评论数
28
阅读量
157888
Latest articles
NAS打造私有云Agent算力中枢：vLLM与Ollama混搭架构实战
很多极客将闲置显卡塞入NAS跑本地大模型，却频繁遭遇高并发显存OOM与流式响应卡顿。本文基于TrueNAS/Debian底座，通过vLLM与Ollama异构容器混搭方案，实测结合Open WebUI与LiteLLM反向代理，深度拆解显存切分、KV Cache极限调优与自动化冷热调度配置。
从显存OOM到千Token吞吐：单机部署vLLM与LiteLLM并发推理调优避坑实战
针对单机双卡或单卡高负载场景，详细记录从Ollama迁移至vLLM+LiteLLM架构的全过程。深入解析PagedAttention显存分配、KV Cache压缩、流式SSE断流排查及并发吞吐调优核心参数，提供完整的压测数据与Docker配置方案，彻底解决并发请求下的CUDA OOM与高延迟问题。
实战踩坑：Python构建LLM高并发流式代理网关与背压治理
基于FastAPI与httpx构建轻量级大模型流式代理（SSE Proxy）网关。深入剖析生成式AI长连接下的连接池打满、客户端断开导致GPU显存空转、上游背压崩溃等高并发痛点，提供完整的异步流式转发、断连取消生命周期控制及生产级Gunicorn+Uvicorn调优配置。
单卡搞定大模型高并发：vLLM + LiteLLM 流式代理落地实战与调优避坑
本文分享如何使用单张 24G 消费级显卡（RTX 3090/4090），借助 vLLM 搭配 LiteLLM 搭建生产级高并发流式推理网关。涵盖 PagedAttention 显存分配精算、多模型动态路由、异步 SSE 流式断连排障及真实压测数据，提供开箱即用的 Docker 编排配置，助你低成本压榨硬件性能。
榨干Mac统一内存：MLX本地部署32B大模型与GPU显存锁突破实战
深度解析在Apple Silicon Mac上利用MLX框架高效运行Qwen2.5-Coder等32B大模型的完整工程化方案。解决macOS默认显存限制OOM、优化KV Cache长上下文，并实战对接开发工具流的硬核避坑指南。
Popular articles
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
基于 Flask 快速搭建 RESTful API：从完整项目结构到高效权限控制的生产级实践
引言：为何选择 Flask 构建高效 RESTful API？ 在当今的数字时代，应用程序之间的通信无处不在，...