Nas 的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
556
评论数
21
阅读量
205887
Latest articles
别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战
单卡跑 Ollama 体验模型很方便,但当多 Agent 节点同时并发请求长上下文时,排队崩塌和显存碎片化 OOM 便会如期而至。本文分享从单机 Ollama 迁移至生产级 vLLM 集群的完整实战,详解 PagedAttention 显存优化、多卡张量并行(TP)部署、Nginx 反代 SSE 流式断流避坑指南及 Locust 真实压测数据对比。
生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战
单机跑 Ollama 遇到并发瓶颈和排队延迟?本文记录在私有化硬件环境下,使用 vLLM 构建高性能张量并行服务,并结合 LiteLLM 构建具备负载均衡、鉴权与流式代理能力的工程实践。实测开启 Prefix Caching 与 Chunked Prefill 后的显存利用率及 TTFT 优化经验。
压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记
弃用 Ollama 拥抱生产级推理栈。本文记录在单张 RTX 4090 上利用 vLLM 与 LiteLLM 搭建支持 50+ 团队并发私有大模型网关的全流程,深入剖析 PagedAttention 显存分配策略、Nginx 流式 SSE 截断排障、LiteLLM 熔断降级与真实压测对比。
单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录
嫌公有云大模型API太贵或代码隐私受限?本文记录在单台 Ubuntu 服务器(配备 RTX 4090 或 A100)上,通过 vLLM 配合 AWQ 量化部署 Qwen2.5-Coder-32B-Instruct 的完整实战过程,包含显存占用控制、并发参数调优与 Open WebUI 接入方案,压测吞吐达 65+ tokens/s。
NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化
在x86 NAS上自建私有LLM知识库是极客玩家的热门选择。本文结合Debian/TrueNAS环境,手把手记录部署Ollama与Dify全家桶的实操全流程,重点拆解核显iGPU透传加速向量计算、ZFS ARC与模型内存竞争导致系统OOM崩溃的底层排障方案,并给出生产级Docker Compose配置与存储优化参数。
Popular articles
Python 高效爬虫实战:requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代,从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据:高效解析与灵活转换的实践指南
引言:数据时代的基石——JSON 与 XML 在当今信息爆炸的时代,数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配:让重要任务先完成
在上一节中,我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上,继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心:消息队列思想与异步解耦
在完成异步任务平台的基本架构之后,我们会很快遇到一个系统级瓶颈:组件之间的耦合开始限制系统扩展能力 。本篇将围...
基于OpenCV深度实战:人脸检测与图像分割技术详解及应用
引言:解锁图像世界的“火眼金睛” 在数字化的浪潮中,图像和视频数据已成为信息洪流的重要组成部分。从智能手机的美...