Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
504
评论数
21
阅读量
184976
Latest articles
双卡4090折腾记:基于vLLM+LiteLLM搭建高并发本地大模型聚合网关实战
拒绝单并发玩具!本文基于双卡RTX 4090服务器,手把手记录如何使用vLLM充分释放Qwen2.5与DeepSeek模型的批处理潜能,并结合LiteLLM构建兼容OpenAI协议的企业级高并发、多租户流式网关。包含NCCL多卡互联暗坑、KV Cache显存精细化调优与真实压测数据。
单卡 RTX 4090 极限压榨 DeepSeek-R1 蒸馏版:vLLM 显存调优与 LiteLLM 流式代理实战
记录在家用工作站与私有算力节点上,基于单张 RTX 4090 部署 DeepSeek-R1 蒸馏模型的硬核调优实战。深度拆解 vLLM PagedAttention 显存分配机制、KV-Cache FP8 压缩技巧与 LiteLLM 高并发流式反代避坑方案,附压测数据与生产级 Docker 配置。
单卡4090跑满32B!vLLM + LiteLLM 搭建高并发流式大模型网关实战
告别Ollama在多并发场景下的卡顿短板,本文手把手拆解基于单张RTX 4090通过vLLM部署DeepSeek-R1-Distill-32B(AWQ量化)的完整方案。结合LiteLLM构建支持OpenAI标准协议、流式传输、多租户鉴权与故障降级的高性能推理网关,详解KV Cache分配与防OOM排障实录。
单卡4090跑满极限:vLLM高并发流式推理架构调优与避坑实战
很多团队把开源大模型拉起来跑Demo很顺,但在多并发流式请求下,TTFT骤增、显存直接CUDA OOM。本文基于单张RTX 4090(24G)实测,详解vLLM+FastAPI异步架构落地细节,剖析PagedAttention显存分配、KV Cache压缩及连续批处理参数调优,助你将单卡吞吐拉满到工业级并发水准。
实战打造高并发 LLM 流式网关:FastAPI + HTTPX 异步代理、背压与降本避坑指南
在自建大模型服务或对接 DeepSeek/vLLM 等上游推理引擎时,中间网关的流式传输与并发性能至关重要。本文记录如何用 Python (FastAPI + httpx) 打造低延迟、高并发的 LLM 流式转发网关,深入剖析连接池调优、客户端断连取消推理(背压控流)以及流式 Token 计费的硬核实操经验。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南
引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成
在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦
在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...