Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
566
评论数
21
阅读量
206953
Latest articles
拒绝OOM:单卡RTX 4090利用vLLM+Ray部署DeepSeek-R1蒸馏版全流程压测
单张消费级显卡如何榨干DeepSeek-R1-Distill的吞吐潜力?本文基于Ubuntu 22.04与RTX 4090实战环境,手把手拆解vLLM高并发推理引擎部署、PagedAttention显存优化、Ray分布式调度接入与流式API高并发压测,附带踩坑配置与生产级监控指标方案。
单卡RTX 4090跑满:vLLM多并发流式API部署与生产级反代实战
如何榨干单张RTX 4090运行开源大模型(Qwen2.5/DeepSeek)的并发潜力?本文基于真实生产与私有化环境,详细拆解vLLM高吞吐部署、PagedAttention显存调优、Nginx流式SSE反代防缓冲配置及排障全流程,提供可复现的Docker编排与压测对比。
M系列Mac本地部署高吞吐LLM:MLX服务化、统一内存极限压榨与launchd守护实战
拆解如何在Apple Silicon Mac上压榨统一内存架构,打造高吞吐、零噪音的本地大模型私有节点。实测MLX与llama.cpp性能差异,详解突破macOS系统显存配额锁定的核心参数,提供基于mlx-lm构建OpenAI标准流式服务并结合launchd实现7x24小时常驻的完整工程方案。
x86 NAS 进阶:Docker 部署 Ollama + Open-WebUI 本地大模型与存储层性能调优实战
许多玩家给 NAS 塞入闲置显卡跑本地大模型时,常遇到模型加载慢、机械盘 IOPS 锁死、ZFS ARC 内存争抢和容器直通失败等深坑。本文基于 TrueNAS SCALE 与通用 Debian/Ubuntu 环境,详解 Docker 部署 Ollama 与 Open-WebUI 的全套架构配置,重点拆解冷热存储分层、显卡驱动容器穿透及系统级核心调优。
SGLang 对决 vLLM:双卡 4090 部署 DeepSeek-R1-Distill 极限压测与显存避坑
针对本地私有化部署 DeepSeek-R1 推理痛点,本文基于双路 RTX 4090 搭建实测环境,横向对比 SGLang 与 vLLM 在长上下文思考链推理、RadixAttention 缓存复用与高并发吞吐下的真实表现,并附赠 NCCL 互联避坑指南与生产级 Docker 编排配置。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南
引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成
在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦
在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...