Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
Mac快捷键使用技巧

置顶 Mac Mac快捷键使用技巧

        Mac 电脑的快捷键可以显著提升工作效率,特别是在文字处理、多任务操作和系统操作上。如果你经常…

3,490次阅读 0个评论
Mac 2024-11-06
自建生产级LLM网关:vLLM + LiteLLM 搭建高并发流式代理与避坑实录

AI工具与实战 自建生产级LLM网关:vLLM + LiteLLM 搭建高并发流式代理与避坑实录

单台工作站或多卡服务器如何抗住高并发流式推理?本文基于真实踩坑记录,深度拆解使用 vLLM 搭配 LiteLLM 构建私有高可用模型网关的完整链路,涵盖 PagedAttention 调优、流式 SSE 缓冲防断连、多节点故障转移与压测实测数据。

1次阅读 0个评论
AI工具与实战 近一天内
榨干 Apple Silicon 统一内存:Mac 部署本地大模型与长文本吞吐调优实战

Mac 榨干 Apple Silicon 统一内存:Mac 部署本地大模型与长文本吞吐调优实战

实测 Apple Silicon M系列芯片统一内存潜能,详解如何突破 macOS 默认 75% 显存分配硬限制,深度对比 llama.cpp 与 Apple 原生 MLX 引擎在长上下文与高量化下的推理吞吐,包含 KV Cache 量化、Metal 编译调优与生产级常驻脚本全配置。

1次阅读 0个评论
Mac 近一天内
单卡4090榨干指南:vLLM与LiteLLM部署DeepSeek-R1蒸馏版及高并发网关实战

Ai-Studio 单卡4090榨干指南:vLLM与LiteLLM部署DeepSeek-R1蒸馏版及高并发网关实战

单张RTX 4090跑32B大模型如何避免OOM?本文深入实测vLLM底层显存控制、PagedAttention机制调优,结合LiteLLM搭建支持流式SSE高并发代理与自动降级容灾网关,给出可直接抄作业的Docker配置与压测避坑方案。

1次阅读 0个评论
Ai-Studio 近一天内
Python构建高并发LLM流式网关:FastAPI与HTTPX背压与内存泄露避坑实录

Python Python构建高并发LLM流式网关:FastAPI与HTTPX背压与内存泄露避坑实录

在自建大模型API聚合网关时,很多开发者用Python转发SSE流都会踩入内存暴涨与断流的坑。本文实测剖析FastAPI配合HTTPX构建零拷贝流式管道的关键技术,解决慢客户端背压失控、连接池泄漏与反代超时三大痛点。

1次阅读 0个评论
Python 近一天内
FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

Python FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

在用 FastAPI 搭建 LLM 聚合网关或转发流式响应(SSE)时,常会遭遇连接池耗尽、客户端提前断开导致后台空转、Nginx 缓冲吃掉首字延迟等暗坑。本文记录从事故排查到架构重构的完整过程,提供带断连检测与连接复用的工业级代码方案。

8次阅读 0个评论
Python 近一天内
告别 Ollama 并发瓶颈:单卡 4090 基于 SGLang 极致榨干 DeepSeek-R1 吞吐踩坑实录

Ai-Studio 告别 Ollama 并发瓶颈:单卡 4090 基于 SGLang 极致榨干 DeepSeek-R1 吞吐踩坑实录

很多同学在私有化部署开源大模型时第一反应是 Ollama,但在并发多轮长文本或多 Agent 协作场景下,Ollama 的吞吐和排队延迟极易雪崩。本文记录我将单卡 4090 机器上的模型推理后端从 Ollama 迁移到 SGLang 的全过程,详解 RadixAttention 缓存复用、Docker 部署配置、Nginx SSE 流式防缓冲,以及真实高并发压测指标。

11次阅读 0个评论
Ai-Studio 近一天内
单卡榨干并发极限:vLLM与SGLang本地推理实战与流式网关压测避坑指南

技术前沿与洞察 单卡榨干并发极限:vLLM与SGLang本地推理实战与流式网关压测避坑指南

拒绝理论空谈,记录在单张RTX 4090/A10D显卡上部署Qwen2.5与DeepSeek蒸馏模型的工程实操。深度对比vLLM与SGLang在高并发流式推理下的吞吐与TTFT表现,提供完整的Nginx SSE流式反向代理配置、显存碎片排障及并发压测脚本。

9次阅读 0个评论
技术前沿与洞察 近一天内
Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

Mac Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

本文记录了一台 64G 内存的 M3 Max Mac 从 Ollama 迁移到原生 llama-server 的调优历程。深入剖析 Apple Silicon 统一内存的显存分配机制,通过破解 wired_mem_limit 突破显存阈值,结合 KV Cache 量化、连续批处理(Continuous Batching)与多 Slot 并发配置,实现长上下文与多 Agent 并发场景下的推理吞吐翻倍。

13次阅读 0个评论
Mac 近两天内
告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

Ai-Studio 告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

单张消费级显卡跑大模型经常爆显存?本文记录在Ubuntu自建算力节点上,使用vLLM配合Ray实现多卡张量并行(TP)与PagedAttention优化的高并发部署方案。涵盖显存碎片优化、流式SSE代理中转、生产级Docker Compose配置与真实压测排坑指南,助你打造极低延迟的自建LLM服务。

16次阅读 0个评论
Ai-Studio 近两天内
双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

极客折腾记 双机3张RTX 3090算力池化实录:基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

记录将两台不同物理机上的3块RTX 3090显卡整合成高可用算力池的完整历程。深入剖析跨机Ray集群与独立实例方案的取舍、LiteLLM动态负载路由、Nginx反向代理SSE流式断流排坑,以及针对DeepSeek和Qwen2.5的实测TPS/TTFT压测调优。

15次阅读 0个评论
极客折腾记 近两天内
  • 1
  • 2
  • 3
  • ...
  • 56
  • »
Nas的天空
Nas的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
555
评论数
21
阅读量
202466
One Word
-「」
Latest articles
自建生产级LLM网关:vLLM + LiteLLM 搭建高并发流式代理与避坑实录

自建生产级LLM网关:vLLM + LiteLLM 搭建高并发流式代理与避坑实录

单台工作站或多卡服务器如何抗住高并发流式推理?本文基于真实踩坑记录,深度拆解使用 vLLM 搭配 LiteLLM 构建私有高可用模型网关的完整链路,涵盖 PagedAttention 调优、流式 SSE 缓冲防断连、多节点故障转移与压测实测数据。
榨干 Apple Silicon 统一内存:Mac 部署本地大模型与长文本吞吐调优实战

榨干 Apple Silicon 统一内存:Mac 部署本地大模型与长文本吞吐调优实战

实测 Apple Silicon M系列芯片统一内存潜能,详解如何突破 macOS 默认 75% 显存分配硬限制,深度对比 llama.cpp 与 Apple 原生 MLX 引擎在长上下文与高量化下的推理吞吐,包含 KV Cache 量化、Metal 编译调优与生产级常驻脚本全配置。
单卡4090榨干指南:vLLM与LiteLLM部署DeepSeek-R1蒸馏版及高并发网关实战

单卡4090榨干指南:vLLM与LiteLLM部署DeepSeek-R1蒸馏版及高并发网关实战

单张RTX 4090跑32B大模型如何避免OOM?本文深入实测vLLM底层显存控制、PagedAttention机制调优,结合LiteLLM搭建支持流式SSE高并发代理与自动降级容灾网关,给出可直接抄作业的Docker配置与压测避坑方案。
Python构建高并发LLM流式网关:FastAPI与HTTPX背压与内存泄露避坑实录

Python构建高并发LLM流式网关:FastAPI与HTTPX背压与内存泄露避坑实录

在自建大模型API聚合网关时,很多开发者用Python转发SSE流都会踩入内存暴涨与断流的坑。本文实测剖析FastAPI配合HTTPX构建零拷贝流式管道的关键技术,解决慢客户端背压失控、连接池泄漏与反代超时三大痛点。
FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

在用 FastAPI 搭建 LLM 聚合网关或转发流式响应(SSE)时,常会遭遇连接池耗尽、客户端提前断开导致后台空转、Nginx 缓冲吃掉首字延迟等暗坑。本文记录从事故排查到架构重构的完整过程,提供带断连检测与连接复用的工业级代码方案。
Latest Comments
macau18 link alternatif macau18 link alternatif Thanks for any other fantastic article. Where else may anyone get that type of information in such an ideal method of writing? I have a presentation subsequent week, and I am at the look for such information.
all about casino comped cruises all about casino comped cruises Hi, i read your blog from time to time and i own a similar one and i was just curious if you get a lot of spam comments? If so how do you reduce it, any plugin or anything you can recommend? I get so much lately it's driving me insane so any help is very much appreciated.
medical boric powder medical boric powder I'm not sure why but this site is loading very slow for me. Is anyone else having this issue or is it a problem on my end? I'll check back later and see if the problem still exists.
best leather conditioner best leather conditioner I have been surfing on-line more than three hours nowadays, yet I never found any attention-grabbing article like yours. It is lovely price sufficient for me. In my view, if all web owners and bloggers made excellent content material as you did, the net can be much more useful than ever before.
projector screen hyderabad projector screen hyderabad Ꭺt Nissi Offife Systems, we specialize іn providing top-of-thе-line projectors, interactive panels, аnd comprehensive hone theater solutions tߋ transform youг vierwing experience.
using gain in audio mix using gain in audio mix Your method of explaining the whole thing in this article is really good, all be capable of effortlessly understand it, Thanks a lot.
artistas femeninas de música techno artistas femeninas de música techno Simply wish to say your article is as astonishing. The clarity in your post is just spectacular and i could assume you are an expert on this subject. Well with your permission let me to grab your RSS feed to keep updated with forthcoming post. Thanks a million and please keep up the enjoyable work.
阿滨 阿滨 在安装Qb所欲依赖时报错:pkg install qt5-base qt5-qmake libtorrent-rasterbar
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day08: Python 数据分析 […]
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day01: Python 基础入门 […]
热评文章
单卡搞定大模型并发:vLLM + Ray 流式推理服务架构实战与踩坑记录

单卡搞定大模型并发:vLLM + Ray 流式推理服务架构实战与踩坑记录

面对本地大模型推理服务中显存利用率低、首字延迟(TTFT)高和并发吞吐差的痛点,本文以单张 RTX 4090 / A10 搭建生产级流式推理服务为背景,详解 vLLM 的 PagedAttention 机制、Chunked Prefill 调优、Ray 负载均衡与 Nginx SSE 流式转发配置,附压测数据与避坑指南。
单卡爆改自建LLM网关:vLLM多模型热切+LiteLLM流式负载调优全流程实录

单卡爆改自建LLM网关:vLLM多模型热切+LiteLLM流式负载调优全流程实录

面对多模型切换爆显存、流式并发延迟高与成本失控等痛点,本文基于单张RTX 4090/A100环境,详解使用vLLM PagedAttention调优搭配LiteLLM构建高可用本地API网关的实战方案。包含动态权重切分、流式TTFT调优、Docker多实例热备与降级容灾全流程配置代码。
手搓企业级LLM流式网关:基于FastAPI的高并发SSE中继与断流熔断实践

手搓企业级LLM流式网关:基于FastAPI的高并发SSE中继与断流熔断实践

在给生产环境接入DeepSeek与自建vLLM集群时,直接暴露上游推理接口往往会导致客户端断连雪崩与Token泄漏。本文分享一套经受住千级并发压测的Python流式网关架构,涵盖FastAPI异步生成器流控、SSE响应劫持、ClientDisconnect断流检测与连接池调优,文末附完整可落地源码。
友情链接
Practical Workplace English Hub
Tag Cloud
__init__.py@classmethod@语法**enter****exit**\*\*kwargs\*args4090 推理优化4090 部署Advanced Mac TipsAdvanced PythonAdvanced QueriesAgent工作流Agent开发Agent架构Agent网关AIAI DeploymentAIGCaiohttpAI入门androidAnti-blockingAnti-ScrapingAnythingLLMAPIAPI DevelopmentAPI SecurityAPI接口API文档
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock