Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
470
评论数
21
阅读量
178241
Latest articles
单卡跑满Qwen2.5-72B量化版：vLLM多并发流式推理与显存压榨实录
单张消费级或入门级算力卡如何跑满开源顶流大模型？本文记录了基于 vLLM 部署 Qwen2.5-72B-Instruct-GPTQ-Int4 的全流程。包含 PagedAttention 显存优化参数深度拆解、高并发 Server-Sent Events（SSE）流式网关配置、TTFT 延迟压测数据对比及生产级 OOM 避坑调优指南。
实测LiteLLM高并发流式网关落地：负载均衡、语义缓存与降级容灾全攻略
面对多模型API成本飙升、厂商网络偶发抖动以及流式传输（SSE）连接泄露痛点，本文详解如何基于LiteLLM构建高可用统一LLM API网关。涵盖Docker生产级部署、Redis语义缓存降本、自适应重试与降级路由配置，附真实压测数据与排障避坑记录。
NAS玩转本地私有大模型与RAG知识库：Ollama+AnythingLLM+Docker硬核部署与GPU直通踩坑
手把手教你利用家用或小型工作室NAS打造专属私有化AI知识库。详解Docker环境下Ollama与AnythingLLM的部署链路，实战解析Intel核显QAT/N卡GPU驱动直通、向量数据库本地嵌入选型优化，以及遭遇显存溢出与高延迟响应时的系统级调优技巧。
实战踩坑：用 Python + FastAPI 打造生产级 LLM 流式代理网关（SSE断流重试与背压治理）
在给生产环境接入 DeepSeek、vLLM 或 OpenAI 等大模型接口时，原生流式（SSE）极易遭遇客户端异常断开导致 GPU 显存空转、长连接背压阻塞以及敏感词实时拦截截断等工程痛点。本文基于 Python 3.12 与 FastAPI，从底层异步迭代器、断连信号监听、滑动窗口流式审计到生产级 Nginx 反向代理配置，提供一套拿来即用的高性能大模型流式代理网关架构方案。
榨干Apple Silicon：Mac用MLX与llama.cpp本地跑大模型深度调优与避坑实录
手把手教你在 Apple Silicon（M系列芯片）Mac 上榨干统一内存性能。本文对比评测 llama.cpp 与 Apple 原生 MLX 框架在 4-bit 量化、KV Cache 与长上下文并发下的推理表现，深入拆解 macOS 统一内存显存分配锁、Metal 算子加速配置与 launchd 无头后台服务化部署，附全套实操脚本与避坑指南。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...