Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  1. 首页
  2. 标签
  3. LiteLLM
双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

极客折腾记 双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

记录将两台不同物理机上的3块RTX 3090显卡整合成高可用算力池的完整历程。深入剖析跨机Ray集群与独立实例方案的取舍、LiteLLM动态负载路由、Nginx反向代理SSE流式断流排坑,以及针对DeepSeek和Qwen2.5的实测TPS/TTFT压测调优。

4次阅读 0个评论
极客折腾记 近一天内
单卡搞定大模型并发与降本:vLLM + LiteLLM 生产级流式网关搭建实战

AI工具与实战 单卡搞定大模型并发与降本:vLLM + LiteLLM 生产级流式网关搭建实战

针对单卡 GPU 部署本地开源大模型(如 Qwen2.5/DeepSeek)时的吞吐量低、API 兼容差及流式并发阻塞问题,本文基于 vLLM PagedAttention 核心机制与 LiteLLM 网关,手把手教你搭建一套支持高并发、降级路由与 Token 计费监控的生产级 OpenAI 兼容流式代理系统。

5次阅读 0个评论
AI工具与实战 近一天内
vLLM + LiteLLM 搭建生产级大模型流式网关:KV Cache 优化、并发压测与降级实战

AI工具与实战 vLLM + LiteLLM 搭建生产级大模型流式网关:KV Cache 优化、并发压测与降级实战

针对本地部署大模型时 Ollama 并发阻塞、显存调度低效与接口生态割裂的问题,本文详解基于单卡 RTX 4090/3090 搭建 vLLM 高性能推理引擎配合 LiteLLM 网关的生产级方案。深入解析 PagedAttention 显存调优、SSE 流式代理防断连、多渠道 Fallback 容灾及真实并发压测对比。

18次阅读 0个评论
AI工具与实战 四天前
告别 Ollama 并发瓶颈:vLLM + LiteLLM 搭建生产级本地大模型高并发网关实战

AI工具与实战 告别 Ollama 并发瓶颈:vLLM + LiteLLM 搭建生产级本地大模型高并发网关实战

在面对多 Agent 协同与批量推理场景时,Ollama 极易遭遇显存阻塞与并发队列停滞。本文分享如何基于 vLLM 的 PagedAttention 显存优化技术,搭配 LiteLLM 构建高吞吐、低延迟且全兼容 OpenAI 协议的私有大模型 API 网关,内含生产级 Docker Compose 配置、核心参数调优与压测对比。

37次阅读 0个评论
AI工具与实战 2026-11-04
告别Ollama并发瓶颈:vLLM+LiteLLM搭建企业级大模型流式网关与显存压榨实录

AI工具与实战 告别Ollama并发瓶颈:vLLM+LiteLLM搭建企业级大模型流式网关与显存压榨实录

实测解析从Ollama平滑迁移至vLLM+LiteLLM架构的全流程。针对团队多并发场景下的排队卡顿、TTFT过长与流式断流问题,提供Qwen2.5-14B/32B的AWQ量化部署配置、KV Cache显存精准调优公式及Nginx反代流式避坑方案。

47次阅读 0个评论
AI工具与实战 2026-11-03
单卡4090榨干vLLM:本地部署高并发代码大模型与流式代理踩坑记

极客折腾记 单卡4090榨干vLLM:本地部署高并发代码大模型与流式代理踩坑记

告别吞吐受限的Ollama,本文记录在Ubuntu单卡RTX 4090上利用vLLM部署Qwen2.5-Coder-32B-AWQ的硬核实战。包含显存精确分配、Chunked Prefill调优、LiteLLM流式代理网关搭建及Nginx反代SSE防卡顿排障,实测多并发吞吐提升4倍以上。

61次阅读 0个评论
极客折腾记 2026-11-03
双卡4090折腾记:基于vLLM+LiteLLM搭建高并发本地大模型聚合网关实战

AI工具与实战 双卡4090折腾记:基于vLLM+LiteLLM搭建高并发本地大模型聚合网关实战

拒绝单并发玩具!本文基于双卡RTX 4090服务器,手把手记录如何使用vLLM充分释放Qwen2.5与DeepSeek模型的批处理潜能,并结合LiteLLM构建兼容OpenAI协议的企业级高并发、多租户流式网关。包含NCCL多卡互联暗坑、KV Cache显存精细化调优与真实压测数据。

59次阅读 0个评论
AI工具与实战 2026-11-02
单卡 RTX 4090 极限压榨 DeepSeek-R1 蒸馏版:vLLM 显存调优与 LiteLLM 流式代理实战

极客折腾记 单卡 RTX 4090 极限压榨 DeepSeek-R1 蒸馏版:vLLM 显存调优与 LiteLLM 流式代理实战

记录在家用工作站与私有算力节点上,基于单张 RTX 4090 部署 DeepSeek-R1 蒸馏模型的硬核调优实战。深度拆解 vLLM PagedAttention 显存分配机制、KV-Cache FP8 压缩技巧与 LiteLLM 高并发流式反代避坑方案,附压测数据与生产级 Docker 配置。

63次阅读 0个评论
极客折腾记 2026-11-02
单卡4090跑满32B!vLLM + LiteLLM 搭建高并发流式大模型网关实战

Ai-Studio 单卡4090跑满32B!vLLM + LiteLLM 搭建高并发流式大模型网关实战

告别Ollama在多并发场景下的卡顿短板,本文手把手拆解基于单张RTX 4090通过vLLM部署DeepSeek-R1-Distill-32B(AWQ量化)的完整方案。结合LiteLLM构建支持OpenAI标准协议、流式传输、多租户鉴权与故障降级的高性能推理网关,详解KV Cache分配与防OOM排障实录。

81次阅读 0个评论
Ai-Studio 2026-11-02
榨干单卡24G显存:vLLM + LiteLLM 搭建生产级本地模型流式网关踩坑实录

极客折腾记 榨干单卡24G显存:vLLM + LiteLLM 搭建生产级本地模型流式网关踩坑实录

嫌弃 Ollama 高并发性能拉胯?本文记录在单张 RTX 4090 工作站上,使用 vLLM 结合 LiteLLM 构建高并发、低延迟 OpenAI 兼容流式 API 网关的完整实战。涵盖 Continuous Batching 显存精细调优、SSE 流式反代截断排障、多 Key 鉴权与真实压测数据对比。

67次阅读 0个评论
极客折腾记 2026-10-31
  • 1
  • 2
  • 3
  • »
Nas 的天空
Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
548
评论数
21
阅读量
199785
Latest articles
Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

本文记录了一台 64G 内存的 M3 Max Mac 从 Ollama 迁移到原生 llama-server 的调优历程。深入剖析 Apple Silicon 统一内存的显存分配机制,通过破解 wired_mem_limit 突破显存阈值,结合 KV Cache 量化、连续批处理(Continuous Batching)与多 Slot 并发配置,实现长上下文与多 Agent 并发场景下的推理吞吐翻倍。
告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

单张消费级显卡跑大模型经常爆显存?本文记录在Ubuntu自建算力节点上,使用vLLM配合Ray实现多卡张量并行(TP)与PagedAttention优化的高并发部署方案。涵盖显存碎片优化、流式SSE代理中转、生产级Docker Compose配置与真实压测排坑指南,助你打造极低延迟的自建LLM服务。
双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

记录将两台不同物理机上的3块RTX 3090显卡整合成高可用算力池的完整历程。深入剖析跨机Ray集群与独立实例方案的取舍、LiteLLM动态负载路由、Nginx反向代理SSE流式断流排坑,以及针对DeepSeek和Qwen2.5的实测TPS/TTFT压测调优。
单卡搞定大模型并发与降本:vLLM + LiteLLM 生产级流式网关搭建实战

单卡搞定大模型并发与降本:vLLM + LiteLLM 生产级流式网关搭建实战

针对单卡 GPU 部署本地开源大模型(如 Qwen2.5/DeepSeek)时的吞吐量低、API 兼容差及流式并发阻塞问题,本文基于 vLLM PagedAttention 核心机制与 LiteLLM 网关,手把手教你搭建一套支持高并发、降级路由与 Token 计费监控的生产级 OpenAI 兼容流式代理系统。
单卡 RTX 4090 极限压榨:用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记

单卡 RTX 4090 极限压榨:用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记

手把手记录在一台单卡 RTX 4090(24G 显存)主机上,通过 Docker 与 vLLM 部署 Qwen2.5-Coder-32B-Instruct-AWQ 模型,并无缝接入 VS Code Continue 插件的全过程。深度拆解 KV Cache 显存调优、PagedAttention 参数配置及高频踩坑点,实测代码补全首字延迟低于 200ms。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

Python 正则表达式完全指南:掌握复杂匹配,解锁高级数据处理能力 | 实战案例解析

在 Python 的世界里,正则表达式(Regular Expressions,简称 RegEx)是处理字符串...
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock