Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
482
评论数
21
阅读量
180306
Latest articles
单卡爆改私有模型网关：vLLM + LiteLLM 生产级并发与流式降本实战
面对业务高并发请求与高昂的商业 API 成本，如何用单张消费级显卡搭建高吞吐、兼容 OpenAI 协议的私有模型网关？本文基于真实压测场景，深入拆解 vLLM 的 PagedAttention 显存调优、LiteLLM 动态负载路由以及 SSE 流式转发中的背压与断连问题，提供开箱即用的 Docker Compose 生产配置与避坑指南。
单卡RTX 4090跑满并发：vLLM量化部署与Prefix Caching生产调优实战
单张RTX 4090跑大模型API经常遭遇OOM或首字延迟爆炸？本文基于真实生产压测场景，拆解vLLM在AWQ/FP8量化、PagedAttention显存规划、自动前缀缓存（Prefix Caching）及Chunked Prefill上的关键配置，助你榨干消费级显卡潜能，搞定百级并发流式吞吐。
告别OOM与高延迟：基于vLLM与Prefix Caching的高并发流式Agent代理实战
面对多Agent协同与长上下文对话场景，自建LLM网关经常遭遇显存溢出与首字延迟（TTFT）飙升问题。本文记录了一套基于vLLM深度调优、结合Prompt Cache与FastAPI流式代理的高并发落地架构，涵盖关键启动参数拆解、SSE背压控制及单卡实测数据，帮你在有限显存内榨干算力。
NAS玩转本地私有知识库：Docker轻量部署Ollama+Qdrant+Dify实战调优
本文手把手记录在家庭/工作室NAS环境（群晖/Unraid/TrueNAS/自建Debian）下，利用Docker Compose全容器化部署Ollama、Qdrant向量数据库与Dify构建私有本地知识库的完整流程。深入剖析内存溢出排查、CPU/GPU量化选型、混合检索调优及多节点内网穿透实战，提供生产级配置模板，打造安全、低延迟且零订阅成本的个人AI生产力中枢。
Mac本地跑大模型显存崩了？MLX + llama.cpp双引擎调优与驻留运维实战
针对Apple Silicon统一内存架构，深度对比MLX与llama.cpp本地推理吞吐表现。提供macOS环境下突破内存锁死限制（iogpu.wired_mem_limit）、4-bit量化精度选型、Launchd后台无感驻留与高并发OpenAI兼容API封装的完整极客实操方案。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...