Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
509
评论数
21
阅读量
185788
Latest articles
NAS深度改造:基于Docker与Ollama部署DeepSeek私有化RAG知识库实战
针对小团队与极客隐私数据流转痛点,本文记录将自建Debian/TrueNAS节点改造成高可用私有AI中枢的完整链路:从NVIDIA显卡容器穿透、DeepSeek-R1轻量模型微调推理,到结合Qdrant向量库与AnythingLLM构建本地RAG知识库,并附带ZFS存储IO调优与OOM防爆配置。
告别Ollama并发瓶颈:vLLM+LiteLLM搭建企业级大模型流式网关与显存压榨实录
实测解析从Ollama平滑迁移至vLLM+LiteLLM架构的全流程。针对团队多并发场景下的排队卡顿、TTFT过长与流式断流问题,提供Qwen2.5-14B/32B的AWQ量化部署配置、KV Cache显存精准调优公式及Nginx反代流式避坑方案。
单卡4090榨干vLLM:本地部署高并发代码大模型与流式代理踩坑记
告别吞吐受限的Ollama,本文记录在Ubuntu单卡RTX 4090上利用vLLM部署Qwen2.5-Coder-32B-AWQ的硬核实战。包含显存精确分配、Chunked Prefill调优、LiteLLM流式代理网关搭建及Nginx反代SSE防卡顿排障,实测多并发吞吐提升4倍以上。
告别显存溢出:单卡部署 Qwen2.5-Coder-32B 与 vLLM 高并发实战指南
单张消费级显卡部署 32B 大模型究竟卡在哪里?本文详解使用 vLLM 配合 AWQ 4-bit 量化,在单张 RTX 4090 或 A100 (40G) 上高效跑通 Qwen2.5-Coder-32B 的全流程。包含 PagedAttention 显存调优、OpenAI 兼容流式 API 接入以及压测数据对比,附踩坑排障指南。
踩坑实录:基于 FastAPI 构建高并发 LLM 流式代理网关(背压控制与连接池调优)
针对自建大模型流式代理在并发压测下频繁出现的 SSE 内存泄漏、慢客户端背压失控及 HTTP/2 连接池耗尽等生产痛点,本文分享一套高可用 FastAPI + HTTPX 异步流式转发架构及实测调优经验。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南
引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成
在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦
在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...