Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
524
评论数
21
阅读量
192626
Latest articles
双卡3090榨干指南：vLLM + DeepSeek-R1-32B 高并发流式推理私有化实操
记录在双路 RTX 3090（48GB 显存）服务器上，基于 vLLM 部署 DeepSeek-R1-Distill-32B 的硬核实操。实测解决多卡 NCCL 互联抖动、FP8 KV Cache 显存压缩、Nginx 反代 SSE 流式截断三大痛点，附压测数据与生产级 Docker Compose 配置。
Python + FastAPI 搭建生产级 LLM 流式代理：连接池、背压与客户端断连排坑实战
直面 LLM 流式网关生产环境痛点：手把手用 Python 和 FastAPI 实现高性能 SSE 代理。深度拆解 httpx 异步连接池泄漏、客户端中途断连导致的算力空耗与 Token 浪费，配合 Nginx 零缓冲配置与 asyncio 任务生命周期管理，打造单机稳定承载数千并发流式响应的网关服务。
榨干单卡24G显存：vLLM + Qwen2.5-32B 生产级高并发API搭建与压测排坑
放弃开箱即用但并发吞吐受限的Ollama，本文手把手教你基于RTX 3090/4090搭建基于vLLM与Qwen2.5-32B-AWQ的生产级LLM接口。涵盖Docker编排、Prefix Caching开启、Nginx流式代理断流避坑以及真实压测数据对比。
告别 OOM 与断流：vLLM + Caddy 搭建生产级高并发流式推理网关实战
针对本地部署开源大模型在高并发场景下频发的 KV Cache 显存溢出、SSE 流式输出截断与首字延迟（TTFT）飙高问题，本文深入解析 vLLM 关键底层参数调优与 Caddy 反代配置实战，提供双卡 RTX 4090/A100 环境下的即插即用生产级部署架构方案。
Mac Studio/MacBook 榨干 Apple Silicon：破解统一内存限制与 MLX 搭建本地大模型服务
针对 Apple Silicon Mac 本地运行 32B/70B 级别大模型频繁 OOM 的痛点，本文实战演示如何突破 macOS 默认的 75% 显存上限，并结合 Apple 原生 MLX 框架与 launchd 守护进程，搭建高吞吐、低延迟的 OpenAI 兼容本地推理服务。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...