大模型工程化 - Nas 的天空

Python 实战踩坑：用 Python + vLLM 搭建生产级大模型流式网关（高并发+SSE+背压控制）

当大模型推理服务面对突发流量时，单纯依靠 FastAPI 原生流式响应很容易导致下游客户端断联或显存堆积崩溃。本文基于真实压测场景，深入拆解基于 Python 与 vLLM 的高并发流式代理架构，涵盖 SSE 协议优化、TCP 背压控制与连接泄漏防护实操方案。

实战踩坑：用 Python + vLLM 搭建生产级大模型流式网关（高并发+SSE+背压控制）

告别OOM与长首字延迟：vLLM与FastAPI构建企业级高并发流式LLM网关实战

单台双卡A6000服务器如何在并发暴增时扛住流式LLM请求？本文从第一人称生产踩坑视角出发，详解基于vLLM推理引擎与FastAPI异步架构的高性能流式网关构建。涵盖PagedAttention内存优化、SSE断连优雅终止、KV Cache调优以及实测抗并发压测数据，提供直接可用的工程化配置方案。

MacBook 本地大模型开发终极指南：MLX 架构、量化压测与后台常驻 Agent 实战

针对 Apple Silicon 统一内存架构，本文深入剖析基于苹果官方 MLX 框架的大模型本地推理与微调工程实践。涵盖 Ollama/llama.cpp 与 MLX 的吞吐实测对比、macOS 统一内存超额分配机制调优、4-bit 量化实战，以及用 launchd 将本地大模型封装为开机自启 OpenAI 兼容 API 服务的完整极客方案。

单卡 4090 实战：vLLM 部署 Qwen2.5-14B-AWQ 并发压测与避坑

给团队搭内部 AI 问答时用 Ollama 撞上并发瓶颈，切到 vLLM 后单张 4090 输出吞吐从 70 tokens/s 抬到 500+。本文记录了 Qwen2.5-14B-Instruct-AWQ 的完整部署命令、KV Cache 显存算账、启动报错排查、aiohttp 压测脚本与 Nginx 流式代理配置，附并发 1/4/8/16/32 的实测 TTFT 与 TPOT 数据。

Python 实战踩坑：用 Python + vLLM 搭建生产级大模型流式网关（高并发+SSE+背压控制）

单卡RTX 4090跑满满血Agent：vLLM + DeepSeek多并发流式网关工程化实战

实战踩坑：用 Python + vLLM 搭建生产级大模型流式网关（高并发+SSE+背压控制）

告别OOM与长首字延迟：vLLM与FastAPI构建企业级高并发流式LLM网关实战

MacBook 本地大模型开发终极指南：MLX 架构、量化压测与后台常驻 Agent 实战

单卡 4090 实战：vLLM 部署 Qwen2.5-14B-AWQ 并发压测与避坑

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析