Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
436
评论数
28
阅读量
169483
Latest articles
Mac本地AI工程化：MLX部署DeepSeek与统一内存调优避坑实战
针对苹果统一内存架构，本文实操分享基于Apple MLX框架在MacBook与Mac Studio上高吞吐部署DeepSeek及LLaMA等开源大模型的完整方案。涵盖MLX引擎选型、系统显存限制突破（sysctl破解默认内存锁）、多并发流式API代理封装与量化精度实测压测数据，助你榨干Apple Silicon每一分算力。
NAS低功耗运行Local Agent：llama.cpp RPC集群与NAS私有知识库落地方案
很多NAS玩家想在私有存储上跑本地大模型和Agent工作流，却苦于低功耗CPU算力羸弱。本文实录如何利用NAS的NVMe存储与Docker底座，通过llama.cpp分布式RPC协议将NAS与局域网闲置GPU打通，结合轻量向量引擎构建低功耗、全天候可用的私有化Local Agent流水线。
单卡搞定大模型高并发：vLLM与LiteLLM反向代理生产级压测与避坑指南
单台RTX 4090或A100部署开源大模型时，如何扛住几十人并发请求且不爆显存？本文记录了我用vLLM配合LiteLLM构建高并发流式推理网关的完整实战。涵盖PagedAttention内核调优、流式SSE代理丢包排查、Docker容器化落地方案以及真实的并发压测数据，助你用极简架构搭建生产级LLM API服务。
单卡搞定多Agent并发：vLLM + LiteLLM 生产级流式高可用代理实战
本文手把手带你搭建单卡高吞吐本地LLM网关。针对多Agent并发时显存炸裂、TTFT延迟暴增及SSE流式连接中断痛点，详解vLLM PagedAttention显存优化、LiteLLM高并发路由配置、动态Fallback与Prometheus监控落地，附全套Docker Compose与压测调优参数。
NAS玩转本地私有Agent：vLLM + Open WebUI高吞吐流式架构与踩坑调优
很多极客给家庭或团队NAS插上RTX 4090/3090后，直接跑Ollama搞AI助手，并发稍高或长上下文时常卡顿甚至爆显存。本文基于自建NAS（Debian/TrueNAS），分享一套生产级本地私有LLM推理与Agent工作流搭建方案：采用vLLM作为高性能推理后端，接入Open WebUI与SearXNG构建联网搜索Agent，详解PagedAttention显存分配、跨容器直连优化及长上下文压测踩坑实战。
Popular articles
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...