Python - 第31页 - Nas 的天空

Python Python中with语句的使用技巧与上下文管理器原理解析

在 Python 中，with 语句是用于管理资源的强大工具，能够有效避免忘记释放资源（如关闭文件、断开网络连…

Python 深入理解Python中的可变与不可变对象

在 Python 编程中，“一切皆对象”是一个核心理念，而“可变对象”和“不可变对象”的区别则是许多初学者和中…

Python Python基础入门 Day60：使用 SQLModel 实现联合查询与分页查询

在使用 SQLModel 操作数据库时，除了基本的增删改查，实际应用中常常需要跨表联合查询和分页功能。今天我们…

Python Python基础入门 Day59：SQLModel 中的关系映射（Relationship）

关系型数据库的核心之一就是“关系”。在 SQLModel 中，我们可以方便地定义实体之间的多种关系，比如一对多…

Python Python基础入门 Day58：使用 SQLModel 实现增删改查（CRUD）操作

在前一节中我们学习了 SQLModel 的基本用法与数据库连接方式，今天我们将继续深入，演示如何通过 SQLM…

Python Python基础入门 Day57：SQLModel 简介与数据库连接配置

SQLModel 是一个结合了 SQLAlchemy 和 Pydantic 优势的库，用于更简洁地定义数据库模…

Python Python基础入门 Day56：FastAPI 中的异常处理与全局错误响应机制

在 Web 开发中，合理的异常处理机制能显著提升接口的健壮性和用户体验。FastAPI 提供了多种方式来处理局…

Python Python基础入门 Day55：FastAPI 中间件的使用与全局请求处理

中间件（Middleware）是介于请求和响应之间的一层，用于对请求 / 响应进行统一处理，例如记录日志、处理…

Python Python基础入门 Day54：FastAPI 中的权限控制与作用域

在实现用户身份验证后，我们常常还需对不同用户角色或权限范围做更细致的限制。本节将介绍如何在 FastAPI 中…

Python 编程世界的基石：全面解析面向对象编程（OOP）核心概念

在当今复杂多变的软件开发领域，我们每天都在与庞大的代码库和不断变化的需求打交道。如何有效地组织代码、提高开发效…

Nas 的天空

点亮思维火花，畅享数字世界

用户数

文章数

474

评论数

阅读量

179114

NAS 性能榨汁：ZFS Special VDEV 元数据加速实操，解救 Docker 与向量库小文件 IOPS 瓶颈

机械硬盘池跑 Docker、海量相册和本地 RAG 向量库时，IOPS 瓶颈常导致磁头疯狂寻道。本文详解如何在 Linux/TrueNAS ZFS 池中无损挂载 NVMe Special Metadata VDEV，实现元数据与指定大小文件的固态分流加速，附实测 fio 数据与存量迁移避坑指南。

vLLM高并发流式推理实战：Qwen2.5多卡部署、PagedAttention调优与Nginx SSE排坑

记录一次私有化算力节点部署Qwen-2.5-32B并接入生产级API网关的硬核实操。深入拆解vLLM多卡Tensor Parallelism配置、KV Cache显存极限压榨技巧，并彻底解决Nginx流式响应（SSE）缓冲导致的卡顿深坑，附完整Docker编排与压测对比。

Python高并发LLM流式代理实战：基于FastAPI与httpx解决SSE背压与内存泄露

在给内部搭建大模型API聚合网关或转发流式响应（SSE）时，直接透传数据流极易踩中连接池耗尽、客户端非正常断开导致协程泄露与内存暴涨的暗坑。本文记录我用FastAPI与httpx构建高并发LLM流式网关的生产级方案，包含异步生成器背压处理、客户端断开即时中断以及Uvicorn调优实测。

单卡跑满Qwen2.5-72B量化版：vLLM多并发流式推理与显存压榨实录

单张消费级或入门级算力卡如何跑满开源顶流大模型？本文记录了基于 vLLM 部署 Qwen2.5-72B-Instruct-GPTQ-Int4 的全流程。包含 PagedAttention 显存优化参数深度拆解、高并发 Server-Sent Events（SSE）流式网关配置、TTFT 延迟压测数据对比及生产级 OOM 避坑调优指南。