Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  1. 首页
  2. 标签
  3. MLX
Mac Studio/MacBook 榨干 Apple Silicon:破解统一内存限制与 MLX 搭建本地大模型服务

Mac Mac Studio/MacBook 榨干 Apple Silicon:破解统一内存限制与 MLX 搭建本地大模型服务

针对 Apple Silicon Mac 本地运行 32B/70B 级别大模型频繁 OOM 的痛点,本文实战演示如何突破 macOS 默认的 75% 显存上限,并结合 Apple 原生 MLX 框架与 launchd 守护进程,搭建高吞吐、低延迟的 OpenAI 兼容本地推理服务。

30次阅读 0个评论
Mac 五天前
榨干 Apple Silicon:Mac 本地大模型高并发推理与统一内存调优实战

Mac 榨干 Apple Silicon:Mac 本地大模型高并发推理与统一内存调优实战

针对 Apple Silicon (M系列) 统一内存架构,深度评测与调优 llama.cpp (Metal) 与 Apple 原生 MLX 运行 Qwen2.5/DeepSeek 的实战表现。解析突破 macOS 默认 75% 显存配额限制、编译优化、高并发连续批处理(Continuous Batching)流式部署及排坑指南。

32次阅读 0个评论
Mac 2026-11-04
榨干 Apple Silicon:基于 MLX 与 llama.cpp 的 Mac 本地大模型高吞吐调优实战

Mac 榨干 Apple Silicon:基于 MLX 与 llama.cpp 的 Mac 本地大模型高吞吐调优实战

拥有一台大内存的 Mac Studio 或 MacBook Pro 却还在用默认配置跑 Ollama?本文手把手带你破解 macOS 默认显存上限,深度对比 llama.cpp 与苹果原生 MLX 框架,榨干统一内存带宽,搭建低延迟、高并发的本地大模型推理服务。

44次阅读 0个评论
Mac 2026-11-01
MacBook 本地大模型开发终极指南:MLX 架构、量化压测与后台常驻 Agent 实战

Mac MacBook 本地大模型开发终极指南:MLX 架构、量化压测与后台常驻 Agent 实战

针对 Apple Silicon 统一内存架构,本文深入剖析基于苹果官方 MLX 框架的大模型本地推理与微调工程实践。涵盖 Ollama/llama.cpp 与 MLX 的吞吐实测对比、macOS 统一内存超额分配机制调优、4-bit 量化实战,以及用 launchd 将本地大模型封装为开机自启 OpenAI 兼容 API 服务的完整极客方案。

71次阅读 0个评论
Mac 2026-10-30
M2 Pro Mac 本地跑大模型实测:Ollama 与 MLX 对比、显存调优与踩坑

Mac M2 Pro Mac 本地跑大模型实测:Ollama 与 MLX 对比、显存调优与踩坑

在 32GB 统一内存的 M2 Pro MacBook 上本地部署 7B/14B 量化大模型,实测 Ollama(GGUF+Metal) 与 Apple MLX 两套方案的生成速度与内存占用,附 Modelfile 参数解析、iogpu.wired_limit_mb 显存上限调整、KV Cache 计算、热降频排障和 launchd 常驻配置,给出个人开发者与小队场景下的选型建议。

50次阅读 0个评论
Mac 2026-10-29
Mac本地跑大模型显存崩了?MLX + llama.cpp双引擎调优与驻留运维实战

Mac Mac本地跑大模型显存崩了?MLX + llama.cpp双引擎调优与驻留运维实战

针对Apple Silicon统一内存架构,深度对比MLX与llama.cpp本地推理吞吐表现。提供macOS环境下突破内存锁死限制(iogpu.wired_mem_limit)、4-bit量化精度选型、Launchd后台无感驻留与高并发OpenAI兼容API封装的完整极客实操方案。

65次阅读 0个评论
Mac 2026-10-26
榨干Apple Silicon:Mac用MLX与llama.cpp本地跑大模型深度调优与避坑实录

Mac 榨干Apple Silicon:Mac用MLX与llama.cpp本地跑大模型深度调优与避坑实录

手把手教你在 Apple Silicon(M系列芯片)Mac 上榨干统一内存性能。本文对比评测 llama.cpp 与 Apple 原生 MLX 框架在 4-bit 量化、KV Cache 与长上下文并发下的推理表现,深入拆解 macOS 统一内存显存分配锁、Metal 算子加速配置与 launchd 无头后台服务化部署,附全套实操脚本与避坑指南。

170次阅读 0个评论
Mac 2026-10-24
榨干 Mac 统一内存:基于 MLX 与 llama.cpp 的本地大模型高并发部署与避坑指南

Mac 榨干 Mac 统一内存:基于 MLX 与 llama.cpp 的本地大模型高并发部署与避坑指南

深入剖析 Apple Silicon 统一内存机制与 macOS 显存分配策略。实测如何突破系统默认的 75% 显存锁定限制,对比 MLX 与 llama.cpp 在 M 系列芯片上的真实吞吐表现,并附带 production-ready 的 launchd 常驻服务与温控优化配置。

75次阅读 0个评论
Mac 2026-10-23
榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

Mac 榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

打破 macOS 默认 75% 显存配额锁死限制,深度调优 Apple Silicon 统一内存带宽。本文基于 M 系列芯片实测,对比 MLX 与 llama.cpp 在高上下文下的吞吐表现,分享绕过 OOM 的 sysctl 内核调优、KV Cache 量化技巧,并使用 launchd 将 Mac 打造成低功耗、全天候响应的本地 OpenAI 兼容推理网关。

129次阅读 0个评论
Mac 2026-10-21
Mac本地AI工程化:MLX部署DeepSeek与统一内存调优避坑实战

Mac Mac本地AI工程化:MLX部署DeepSeek与统一内存调优避坑实战

针对苹果统一内存架构,本文实操分享基于Apple MLX框架在MacBook与Mac Studio上高吞吐部署DeepSeek及LLaMA等开源大模型的完整方案。涵盖MLX引擎选型、系统显存限制突破(sysctl破解默认内存锁)、多并发流式API代理封装与量化精度实测压测数据,助你榨干Apple Silicon每一分算力。

103次阅读 0个评论
Mac 2026-10-13
  • 1
  • 2
  • »
Nas 的天空
Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
537
评论数
21
阅读量
196439
Latest articles
双卡RTX 3090榨干32B模型:vLLM多卡推理优化与流式反代避坑指南

双卡RTX 3090榨干32B模型:vLLM多卡推理优化与流式反代避坑指南

记录在Ubuntu工作站利用双路RTX 3090(24G×2)通过vLLM+Ray部署DeepSeek-R1-Distill-Qwen-32B的完整实操。深入拆解NCCL通信死锁、KV Cache显存调优、Nginx流式代理断流截断排查,并附真实并发压力测试数据。
vLLM + LiteLLM 搭建生产级大模型流式网关:KV Cache 优化、并发压测与降级实战

vLLM + LiteLLM 搭建生产级大模型流式网关:KV Cache 优化、并发压测与降级实战

针对本地部署大模型时 Ollama 并发阻塞、显存调度低效与接口生态割裂的问题,本文详解基于单卡 RTX 4090/3090 搭建 vLLM 高性能推理引擎配合 LiteLLM 网关的生产级方案。深入解析 PagedAttention 显存调优、SSE 流式代理防断连、多渠道 Fallback 容灾及真实并发压测对比。
拒绝算力空转与内存泄漏:用 FastAPI + AsyncIO 打造高并发 LLM 流式代理网关实战

拒绝算力空转与内存泄漏:用 FastAPI + AsyncIO 打造高并发 LLM 流式代理网关实战

很多团队在用 FastAPI 转发 vLLM、Ollama 或 DeepSeek 的流式响应时,极易忽略客户端主动断连检测与上游背压控制,导致 GPU 算力严重浪费与网关内存激增。本文深入解析基于 AsyncIO 与 HTTPX 的流式代理核心架构,手把手实现毫秒级断连感知、连接池优化及 Nginx 反向代理配置,附带生产级压测排障经验。
NAS 搭建本地私有大模型与知识库避坑:Docker 编排、核显透传与内存防爆实战

NAS 搭建本地私有大模型与知识库避坑:Docker 编排、核显透传与内存防爆实战

不少极客尝试在 NAS 上跑本地大模型和 RAG 私有知识库,却频繁遭遇内存雪崩触发 OOM、机械硬盘疯狂寻道无法休眠、GPU/核显未生效导致 CPU 满载等暗坑。本文基于实机生产环境,提供一套包含 Ollama、Qdrant 与 Open WebUI 的轻量 Docker 编排方案,深入剖析 NVMe 缓存分层、cgroups 资源硬限制与硬件加速调优。
榨干双卡RTX 4090:vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

榨干双卡RTX 4090:vLLM部署Qwen-2.5-32B与长文本流式网关架构实战

拒绝玩具级方案,直面企业级私有化与极客Homelab核心痛点。本文基于双卡RTX 4090实机环境,详解vLLM部署Qwen-2.5-32B模型的张量并行切分、KV Cache优化与Chunked Prefill调优策略,并给出一套解决客户端断连与Backpressure的生产级异步流式代理网关实现。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock