4090 推理优化 - Nas 的天空

极客折腾记 vLLM 部署 Qwen2.5-14B 实测：单卡 4090 本地大模型吞吐翻 6 倍

Ollama 单并发够用，一到多人同时提问就排队到怀疑人生。这篇记录我在单卡 RTX 4090 上用 vLLM 部署 Qwen2.5-14B-Instruct-AWQ 的完整过程：显存预算怎么算、KV Cache 参数怎么调、Nginx 反代流式响应为什么不吐字，以及 vLLM/Ollama/llama.cpp 三方案的真实压测数据对比。

单卡 4090 实战：vLLM 部署 Qwen2.5-14B-AWQ 并发压测与避坑

给团队搭内部 AI 问答时用 Ollama 撞上并发瓶颈，切到 vLLM 后单张 4090 输出吞吐从 70 tokens/s 抬到 500+。本文记录了 Qwen2.5-14B-Instruct-AWQ 的完整部署命令、KV Cache 显存算账、启动报错排查、aiohttp 压测脚本与 Nginx 流式代理配置，附并发 1/4/8/16/32 的实测 TTFT 与 TPOT 数据。

vLLM 部署 Qwen2.5-14B 实测：单卡 4090 本地大模型吞吐翻 6 倍

uv 替换 pip+poetry 实测：Python 工程化提速 20 倍的配置与踩坑

用 Rust 写的 uv 已经把 pip/poetry 的依赖解析按在地上摩擦。这篇记录我如何在真实生产项目里把 Python 依赖链从 poetry 全量迁到 uv，包含 pyproject.toml 配置、Docker 多阶段构建片段、GitHub Actions 缓存策略，以及五个体感最痛的踩坑点（uv sync 删包、UV_LINK_MODE、lock 漂移等），附带本机实测耗时对比表。

vLLM + LiteLLM 实战：单卡 4090 部署 Qwen2.5-14B 流式推理网关

记录一次真实的内网大模型部署改造：从 Ollama 换到 vLLM，用 LiteLLM 做统一 OpenAI 兼容网关，Nginx 反代 SSE 流式输出。包含启动参数逐项解析、显存与 KV Cache 的估算公式、Nginx 缓冲导致的"假流式"坑，以及 8 并发下的实测吞吐对比数据。

M2 Pro Mac 本地跑大模型实测：Ollama 与 MLX 对比、显存调优与踩坑

在 32GB 统一内存的 M2 Pro MacBook 上本地部署 7B/14B 量化大模型，实测 Ollama(GGUF+Metal) 与 Apple MLX 两套方案的生成速度与内存占用，附 Modelfile 参数解析、iogpu.wired_limit_mb 显存上限调整、KV Cache 计算、热降频排障和 launchd 常驻配置，给出个人开发者与小队场景下的选型建议。

极客折腾记 vLLM 部署 Qwen2.5-14B 实测：单卡 4090 本地大模型吞吐翻 6 倍

单卡 4090 实战：vLLM 部署 Qwen2.5-14B-AWQ 并发压测与避坑

vLLM 部署 Qwen2.5-14B 实测：单卡 4090 本地大模型吞吐翻 6 倍

uv 替换 pip+poetry 实测：Python 工程化提速 20 倍的配置与踩坑

vLLM + LiteLLM 实战：单卡 4090 部署 Qwen2.5-14B 流式推理网关

M2 Pro Mac 本地跑大模型实测：Ollama 与 MLX 对比、显存调优与踩坑

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析