Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  1. 首页
  2. 标签
  3. Mac运维
榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

Mac 榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

打破 macOS 默认 75% 显存配额锁死限制,深度调优 Apple Silicon 统一内存带宽。本文基于 M 系列芯片实测,对比 MLX 与 llama.cpp 在高上下文下的吞吐表现,分享绕过 OOM 的 sysctl 内核调优、KV Cache 量化技巧,并使用 launchd 将 Mac 打造成低功耗、全天候响应的本地 OpenAI 兼容推理网关。

5次阅读 0个评论
Mac 近一天内
Nas 的天空
Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
460
评论数
21
阅读量
176331
Latest articles
拒绝OOM!双卡RTX 4090用vLLM+Ray部署DeepSeek满血蒸馏版实战踩坑记

拒绝OOM!双卡RTX 4090用vLLM+Ray部署DeepSeek满血蒸馏版实战踩坑记

本文记录在双卡RTX 4090(48GB显存)工作站上,利用Ray配合vLLM多卡张量并行(TP=2)部署DeepSeek-R1蒸馏70B大模型与长上下文并发优化的完整实操记录。包含显存精确切分、PagedAttention参数调优、流式代理高并发压测及显存泄漏与NCCL通信死锁排障方案,干货拉满,拿来即用。
自建生产级高并发 LLM 推理网关:vLLM + LiteLLM 架构调优与实战避坑

自建生产级高并发 LLM 推理网关:vLLM + LiteLLM 架构调优与实战避坑

抛弃玩具级的本地推理方案,基于消费级与企业级 GPU 搭建高并发大模型流式代理网关。深度解析 vLLM 关键显存分配、Prefix Caching 提速、LiteLLM 统一鉴权路由与 Nginx 反向代理 SSE 长连接踩坑经验,附真实压测对比数据。
单卡4090跑满32K长上下文:vLLM与FastAPI构建企业级高并发流式中转架构实战

单卡4090跑满32K长上下文:vLLM与FastAPI构建企业级高并发流式中转架构实战

针对单卡RTX 4090在长上下文场景下显存暴涨与流式响应卡顿问题,本文详解如何基于vLLM深度调优PagedAttention与Chunked Prefill,结合FastAPI与异步生成器构建支持SSE协议的高并发大模型网关,附生产级Docker配置与实测压测数据。
单卡跑满!vLLM高并发流式推理与反向代理实战调优指南

单卡跑满!vLLM高并发流式推理与反向代理实战调优指南

本文手把手拆解如何在单张消费级或专业显卡上,利用 vLLM 极限榨干显存,并结合 OpenResty/Nginx 搭建高并发流式 API 网关。涵盖 PagedAttention 显存参数深度调优、SSE 粘包断流排坑、SSE 负载均衡配置及生产级压测实测数据,帮你的自建大模型服务扛住高并发长文本场景。
NAS玩转本地大模型与RAG:ollama配合Qdrant搭建私有知识库避坑指南

NAS玩转本地大模型与RAG:ollama配合Qdrant搭建私有知识库避坑指南

在自建NAS上跑本地大模型和知识库检索,常遭遇CPU过载、iGPU直通失败及内存泄漏问题。本文基于真实NAS运维环境,详解如何在Docker/Portainer中打通Ollama的核显加速,并搭配轻量向量数据库Qdrant与Dify,打造低功耗、高性能的个人私有数据检索系统,附完整Compose配置与调优实测。
Popular articles
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock