Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
478
评论数
21
阅读量
179403
Latest articles
Mac本地跑大模型显存崩了？MLX + llama.cpp双引擎调优与驻留运维实战
针对Apple Silicon统一内存架构，深度对比MLX与llama.cpp本地推理吞吐表现。提供macOS环境下突破内存锁死限制（iogpu.wired_mem_limit）、4-bit量化精度选型、Launchd后台无感驻留与高并发OpenAI兼容API封装的完整极客实操方案。
单卡扛住百人并发：vLLM + LiteLLM 搭建生产级私有大模型代理实战
本文手把手拆解如何用单张 RTX 4090 或云端 A10 搭建支持高并发、Token计费与自动故障转移的私有 AI 网关。深入剖析 vLLM 的 PagedAttention 显存调优参数、LiteLLM 路由降级配置，并彻底排查 Nginx 反代 SSE 流式响应被缓冲卡死的深水区大坑。
实战踩坑：基于 FastAPI 与 Asyncio 构建高并发 LLM 流式代理网关
许多团队在用 Python 转发大模型流式 SSE 接口时，常遇到并发骤降、内存泄漏或客户端断连后后端仍在空转计费的痛点。本文深入拆解 FastAPI + httpx 流式代理的生产级工程实现，涵盖背压控制、断连异常捕获、连接池调优及压测避坑指南，打造稳定抗造的 AI 聚合代理。
NAS打造私有代码大脑：基于Qdrant与bge-m3的个人知识库RAG实战与避坑指南
许多玩家在群晖或TrueNAS等设备上跑 Ollama 很容易，但一接入私有代码库和海量 Markdown 文档时，内存爆炸、检索语义失真、响应超时等问题接踵而至。本文记录我使用 Docker 在 NAS（x86架构）上搭建轻量级私有语义代码检索系统的完整过程，采用 Qdrant 向量数据库配合跨语言检索模型 bge-m3，优化挂载、分块算法和批处理写入，助你榨干家用 NAS 性能打造真正的本地代码助手。
生产级高并发 LLM 推理网关实战：vLLM 与 SGLang 压测选型与长上下文显存避坑
长文本多轮对话与高并发场景下，PagedAttention 与 RadixAttention 到底怎么选？本文结合两台 8×A100 集群实测，详解 vLLM 与 SGLang 吞吐瓶颈、SSE 流式连接泄漏治理及生产级反向代理核心调优经验。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...