Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  1. 首页
  2. 标签
  3. Qwen2.5
vLLM 部署 Qwen2.5-14B 实测:单卡 4090 本地大模型吞吐翻 6 倍

极客折腾记 vLLM 部署 Qwen2.5-14B 实测:单卡 4090 本地大模型吞吐翻 6 倍

Ollama 单并发够用,一到多人同时提问就排队到怀疑人生。这篇记录我在单卡 RTX 4090 上用 vLLM 部署 Qwen2.5-14B-Instruct-AWQ 的完整过程:显存预算怎么算、KV Cache 参数怎么调、Nginx 反代流式响应为什么不吐字,以及 vLLM/Ollama/llama.cpp 三方案的真实压测数据对比。

108次阅读 0个评论
极客折腾记 2026年10月29日
vLLM + LiteLLM 实战:单卡 4090 部署 Qwen2.5-14B 流式推理网关

Ai-Studio vLLM + LiteLLM 实战:单卡 4090 部署 Qwen2.5-14B 流式推理网关

记录一次真实的内网大模型部署改造:从 Ollama 换到 vLLM,用 LiteLLM 做统一 OpenAI 兼容网关,Nginx 反代 SSE 流式输出。包含启动参数逐项解析、显存与 KV Cache 的估算公式、Nginx 缓冲导致的”假流式”坑,以及 8 并发下的实测吞吐对比数据。

95次阅读 0个评论
Ai-Studio 2026年10月29日
vLLM高并发流式推理实战:Qwen2.5多卡部署、PagedAttention调优与Nginx SSE排坑

Ai-Studio vLLM高并发流式推理实战:Qwen2.5多卡部署、PagedAttention调优与Nginx SSE排坑

记录一次私有化算力节点部署Qwen-2.5-32B并接入生产级API网关的硬核实操。深入拆解vLLM多卡Tensor Parallelism配置、KV Cache显存极限压榨技巧,并彻底解决Nginx流式响应(SSE)缓冲导致的卡顿深坑,附完整Docker编排与压测对比。

81次阅读 0个评论
Ai-Studio 2026年10月25日
单卡跑满Qwen2.5-72B量化版:vLLM多并发流式推理与显存压榨实录

技术前沿与洞察 单卡跑满Qwen2.5-72B量化版:vLLM多并发流式推理与显存压榨实录

单张消费级或入门级算力卡如何跑满开源顶流大模型?本文记录了基于 vLLM 部署 Qwen2.5-72B-Instruct-GPTQ-Int4 的全流程。包含 PagedAttention 显存优化参数深度拆解、高并发 Server-Sent Events(SSE)流式网关配置、TTFT 延迟压测数据对比及生产级 OOM 避坑调优指南。

111次阅读 0个评论
技术前沿与洞察 2026年10月24日
NAS玩转本地私有大模型与知识库:vLLM+Qwen2.5+Dify低显存高并发榨干实录

Nas NAS玩转本地私有大模型与知识库:vLLM+Qwen2.5+Dify低显存高并发榨干实录

许多人在群晖、TrueNAS等私有存储上部署本地大模型时,常卡在显存爆满、吞吐极低或RAG检索缓慢的痛点。本文分享一套在自建NAS/Linux宿主机上,基于Docker部署vLLM驱动Qwen2.5与Dify私有知识库的极客实战架构。涵盖显存分配、PagedAttention量化参数调优与Docker GPU直通踩坑总结。

123次阅读 0个评论
Nas 2026年9月28日
  • «
  • 1
  • 2
Nas 的天空
Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
556
评论数
21
阅读量
205896
Latest articles
别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

单卡跑 Ollama 体验模型很方便,但当多 Agent 节点同时并发请求长上下文时,排队崩塌和显存碎片化 OOM 便会如期而至。本文分享从单机 Ollama 迁移至生产级 vLLM 集群的完整实战,详解 PagedAttention 显存优化、多卡张量并行(TP)部署、Nginx 反代 SSE 流式断流避坑指南及 Locust 真实压测数据对比。
生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

单机跑 Ollama 遇到并发瓶颈和排队延迟?本文记录在私有化硬件环境下,使用 vLLM 构建高性能张量并行服务,并结合 LiteLLM 构建具备负载均衡、鉴权与流式代理能力的工程实践。实测开启 Prefix Caching 与 Chunked Prefill 后的显存利用率及 TTFT 优化经验。
压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

弃用 Ollama 拥抱生产级推理栈。本文记录在单张 RTX 4090 上利用 vLLM 与 LiteLLM 搭建支持 50+ 团队并发私有大模型网关的全流程,深入剖析 PagedAttention 显存分配策略、Nginx 流式 SSE 截断排障、LiteLLM 熔断降级与真实压测对比。
单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

嫌公有云大模型API太贵或代码隐私受限?本文记录在单台 Ubuntu 服务器(配备 RTX 4090 或 A100)上,通过 vLLM 配合 AWQ 量化部署 Qwen2.5-Coder-32B-Instruct 的完整实战过程,包含显存占用控制、并发参数调优与 Open WebUI 接入方案,压测吞吐达 65+ tokens/s。
NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

在x86 NAS上自建私有LLM知识库是极客玩家的热门选择。本文结合Debian/TrueNAS环境,手把手记录部署Ollama与Dify全家桶的实操全流程,重点拆解核显iGPU透传加速向量计算、ZFS ARC与模型内存竞争导致系统OOM崩溃的底层排障方案,并给出生产级Docker Compose配置与存储优化参数。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略

在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南

引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成

在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦

在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
基于OpenCV深度实战:人脸检测与图像分割技术详解及应用

基于OpenCV深度实战:人脸检测与图像分割技术详解及应用

引言:解锁图像世界的“火眼金睛” 在数字化的浪潮中,图像和视频数据已成为信息洪流的重要组成部分。从智能手机的美...
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock