显卡显存优化 - Nas 的天空

Ai-Studio 告别Ollama单卡瓶颈：基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

单张消费级显卡跑大模型经常爆显存？本文记录在Ubuntu自建算力节点上，使用vLLM配合Ray实现多卡张量并行（TP）与PagedAttention优化的高并发部署方案。涵盖显存碎片优化、流式SSE代理中转、生产级Docker Compose配置与真实压测排坑指南，助你打造极低延迟的自建LLM服务。

Mac 压榨 Apple Silicon 统一内存：从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

本文记录了一台 64G 内存的 M3 Max Mac 从 Ollama 迁移到原生 llama-server 的调优历程。深入剖析 Apple Silicon 统一内存的显存分配机制，通过破解 wired_mem_limit 突破显存阈值，结合 KV Cache 量化、连续批处理（Continuous Batching）与多 Slot 并发配置，实现长上下文与多 Agent 并发场景下的推理吞吐翻倍。

告别Ollama单卡瓶颈：基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

单卡搞定大模型并发与降本：vLLM + LiteLLM 生产级流式网关搭建实战

针对单卡 GPU 部署本地开源大模型（如 Qwen2.5/DeepSeek）时的吞吐量低、API 兼容差及流式并发阻塞问题，本文基于 vLLM PagedAttention 核心机制与 LiteLLM 网关，手把手教你搭建一套支持高并发、降级路由与 Token 计费监控的生产级 OpenAI 兼容流式代理系统。

单卡 RTX 4090 极限压榨：用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记

手把手记录在一台单卡 RTX 4090（24G 显存）主机上，通过 Docker 与 vLLM 部署 Qwen2.5-Coder-32B-Instruct-AWQ 模型，并无缝接入 VS Code Continue 插件的全过程。深度拆解 KV Cache 显存调优、PagedAttention 参数配置及高频踩坑点，实测代码补全首字延迟低于 200ms。

Ai-Studio 告别Ollama单卡瓶颈：基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

Mac 压榨 Apple Silicon 统一内存：从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

告别Ollama单卡瓶颈：基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

双机3张RTX 3090算力池化实录：基于vLLM+LiteLLM搭建低延迟私有模型聚合网关

单卡搞定大模型并发与降本：vLLM + LiteLLM 生产级流式网关搭建实战

单卡 RTX 4090 极限压榨：用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记

Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略

用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南

Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成

Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦

Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析