Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
514
评论数
21
阅读量
187143
Latest articles
NAS玩转本地私有AI:从Ollama+Docker部署到GPU直通与内存分配优化指南
本文记录了在自建TrueNAS/Unraid家庭NAS服务器上,利用Docker与Nvidia GPU直通部署本地大模型(Ollama + Open-WebUI)的实战全流程。涵盖Container Toolkit踩坑记录、上下文窗口显存挤占优化及真实推理Tokens测速。
告别 Ollama 并发瓶颈:vLLM + LiteLLM 搭建生产级本地大模型高并发网关实战
在面对多 Agent 协同与批量推理场景时,Ollama 极易遭遇显存阻塞与并发队列停滞。本文分享如何基于 vLLM 的 PagedAttention 显存优化技术,搭配 LiteLLM 构建高吞吐、低延迟且全兼容 OpenAI 协议的私有大模型 API 网关,内含生产级 Docker Compose 配置、核心参数调优与压测对比。
榨干双卡算力:基于 vLLM + DeepSeek 蒸馏模型的私有化高吞吐部署与显存压榨实战
记录在双卡工作站上利用 vLLM 部署 DeepSeek-R1-Distill 模型的全流程。深入分析 PCIe 带宽瓶颈、NCCL 通信踩坑、KV Cache 内存碎片与 Chunked Prefill 调优,附带生产级 Docker Compose 配置与真实压测吞吐对比。
榨干 Apple Silicon:Mac 本地大模型高并发推理与统一内存调优实战
针对 Apple Silicon (M系列) 统一内存架构,深度评测与调优 llama.cpp (Metal) 与 Apple 原生 MLX 运行 Qwen2.5/DeepSeek 的实战表现。解析突破 macOS 默认 75% 显存配额限制、编译优化、高并发连续批处理(Continuous Batching)流式部署及排坑指南。
本地部署 DeepSeek-R1 32B 踩坑实录:双卡 RTX 3090 + vLLM 高并发推理调优指南
针对个人实验室与中小团队部署推理大模型的显存瓶颈,本文记录了在双卡 RTX 3090(48G 显存)环境下,使用 vLLM 部署 DeepSeek-R1-Distill-Qwen-32B AWQ 量化版的完整实战过程。涵盖 Docker 容器化配置、KV Cache 显存分配调优、Nginx 流式反代超时断流排障及 Ollama 与 vLLM 的并发压测数据对比。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南
引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成
在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦
在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...