Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
509
评论数
21
阅读量
186567
Latest articles
NAS深度改造：基于Docker与Ollama部署DeepSeek私有化RAG知识库实战
针对小团队与极客隐私数据流转痛点，本文记录将自建Debian/TrueNAS节点改造成高可用私有AI中枢的完整链路：从NVIDIA显卡容器穿透、DeepSeek-R1轻量模型微调推理，到结合Qdrant向量库与AnythingLLM构建本地RAG知识库，并附带ZFS存储IO调优与OOM防爆配置。
告别Ollama并发瓶颈：vLLM+LiteLLM搭建企业级大模型流式网关与显存压榨实录
实测解析从Ollama平滑迁移至vLLM+LiteLLM架构的全流程。针对团队多并发场景下的排队卡顿、TTFT过长与流式断流问题，提供Qwen2.5-14B/32B的AWQ量化部署配置、KV Cache显存精准调优公式及Nginx反代流式避坑方案。
单卡4090榨干vLLM：本地部署高并发代码大模型与流式代理踩坑记
告别吞吐受限的Ollama，本文记录在Ubuntu单卡RTX 4090上利用vLLM部署Qwen2.5-Coder-32B-AWQ的硬核实战。包含显存精确分配、Chunked Prefill调优、LiteLLM流式代理网关搭建及Nginx反代SSE防卡顿排障，实测多并发吞吐提升4倍以上。
告别显存溢出：单卡部署 Qwen2.5-Coder-32B 与 vLLM 高并发实战指南
单张消费级显卡部署 32B 大模型究竟卡在哪里？本文详解使用 vLLM 配合 AWQ 4-bit 量化，在单张 RTX 4090 或 A100 (40G) 上高效跑通 Qwen2.5-Coder-32B 的全流程。包含 PagedAttention 显存调优、OpenAI 兼容流式 API 接入以及压测数据对比，附踩坑排障指南。
踩坑实录：基于 FastAPI 构建高并发 LLM 流式代理网关（背压控制与连接池调优）
针对自建大模型流式代理在并发压测下频繁出现的 SSE 内存泄漏、慢客户端背压失控及 HTTP/2 连接池耗尽等生产痛点，本文分享一套高可用 FastAPI + HTTPX 异步流式转发架构及实测调优经验。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...