极客折腾记 vLLM 部署 Qwen2.5-14B 实测:单卡 4090 本地大模型吞吐翻 6 倍 Ollama 单并发够用,一到多人同时提问就排队到怀疑人生。这篇记录我在单卡 RTX 4090 上用 vLLM 部署 Qwen2.5-14B-Instruct-AWQ 的完整过程:显存预算怎么算、KV Cache 参数怎么调、Nginx 反代流式响应为什么不吐字,以及 vLLM/Ollama/llama.cpp 三方案的真实压测数据对比。
Ai-Studio vLLM + LiteLLM 实战:单卡 4090 部署 Qwen2.5-14B 流式推理网关 记录一次真实的内网大模型部署改造:从 Ollama 换到 vLLM,用 LiteLLM 做统一 OpenAI 兼容网关,Nginx 反代 SSE 流式输出。包含启动参数逐项解析、显存与 KV Cache 的估算公式、Nginx 缓冲导致的”假流式”坑,以及 8 并发下的实测吞吐对比数据。
Ai-Studio vLLM高并发流式推理实战:Qwen2.5多卡部署、PagedAttention调优与Nginx SSE排坑 记录一次私有化算力节点部署Qwen-2.5-32B并接入生产级API网关的硬核实操。深入拆解vLLM多卡Tensor Parallelism配置、KV Cache显存极限压榨技巧,并彻底解决Nginx流式响应(SSE)缓冲导致的卡顿深坑,附完整Docker编排与压测对比。
技术前沿与洞察 单卡跑满Qwen2.5-72B量化版:vLLM多并发流式推理与显存压榨实录 单张消费级或入门级算力卡如何跑满开源顶流大模型?本文记录了基于 vLLM 部署 Qwen2.5-72B-Instruct-GPTQ-Int4 的全流程。包含 PagedAttention 显存优化参数深度拆解、高并发 Server-Sent Events(SSE)流式网关配置、TTFT 延迟压测数据对比及生产级 OOM 避坑调优指南。
Nas NAS玩转本地私有大模型与知识库:vLLM+Qwen2.5+Dify低显存高并发榨干实录 许多人在群晖、TrueNAS等私有存储上部署本地大模型时,常卡在显存爆满、吞吐极低或RAG检索缓慢的痛点。本文分享一套在自建NAS/Linux宿主机上,基于Docker部署vLLM驱动Qwen2.5与Dify私有知识库的极客实战架构。涵盖显存分配、PagedAttention量化参数调优与Docker GPU直通踩坑总结。