Nas的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
561
评论数
21
阅读量
206850
One Word
-「」
Latest articles
单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战
摒弃低效的Ollama,本文手把手拆解如何用一块RTX 4090(24G)搭建支持多用户并发调用的DeepSeek-R1私有大模型服务。涵盖vLLM核心参数调优、LiteLLM网关路由鉴权、Nginx流式传输防断连踩坑配置及真实的并发压测指标。
NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录
详解在Linux/TrueNAS NAS宿主机上通过Docker构建DeepSeek私有化AI知识库的硬核实战。深入解析Intel核显及Nvidia显卡直通、ZFS文件系统针对向量库Qdrant的Recordsize底层调优、Ollama模型调度优化与完整docker-compose编排避坑指南。
单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南
许多团队在将本地大模型推向生产环境时,常遭遇高并发下显存OOM、流式连接打满网络以及首字延迟(TTFT)飙升等问题。本文基于真实业务压测场景,深入剖析 vLLM 底层调度参数调优、FastAPI 异步流式网关的连接泄漏陷阱、以及 Nginx 针对 SSE 长连接的调优配置,提供一套可落地的生产级高吞吐大模型代理方案。
M系列Mac本地跑大模型极限压榨:突破统一内存限制与MLX/llama.cpp实战调优
Apple Silicon统一内存架构让Mac成为极客本地部署大模型的神器,但系统默认的显存分配上限和调度机制常让硬件性能大打折扣。本文实测剖析如何通过调整内核参数突破wired_mem显存上限,深度对比MLX与llama.cpp性能吞吐,并构建一套开机自启的高并发OpenAI兼容网关。
单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战
记录将 Qwen2.5-32B 与 DeepSeek 系列模型落地至双卡 RTX 4090 节点的真实踩坑记录。深入拆解 vLLM 显存分配策略、PagedAttention 调优、张量并行细节,结合 LiteLLM 构建支持高并发、多 API 聚合与流式防断连的轻量级生产推理网关。
Latest Comments
热评文章
单卡4090跑满32K长上下文:vLLM与FastAPI构建企业级高并发流式中转架构实战
针对单卡RTX 4090在长上下文场景下显存暴涨与流式响应卡顿问题,本文详解如何基于vLLM深度调优PagedAttention与Chunked Prefill,结合FastAPI与异步生成器构建支持SSE协议的高并发大模型网关,附生产级Docker配置与实测压测数据。
自建生产级高并发 LLM 推理网关:vLLM + LiteLLM 架构调优与实战避坑
抛弃玩具级的本地推理方案,基于消费级与企业级 GPU 搭建高并发大模型流式代理网关。深度解析 vLLM 关键显存分配、Prefix Caching 提速、LiteLLM 统一鉴权路由与 Nginx 反向代理 SSE 长连接踩坑经验,附真实压测对比数据。
拒绝OOM!双卡RTX 4090用vLLM+Ray部署DeepSeek满血蒸馏版实战踩坑记
本文记录在双卡RTX 4090(48GB显存)工作站上,利用Ray配合vLLM多卡张量并行(TP=2)部署DeepSeek-R1蒸馏70B大模型与长上下文并发优化的完整实操记录。包含显存精确切分、PagedAttention参数调优、流式代理高并发压测及显存泄漏与NCCL通信死锁排障方案,干货拉满,拿来即用。