Nas 的天空
点亮思维火花，畅享数字世界
用户数
1
文章数
544
评论数
21
阅读量
198394
Latest articles
单卡 RTX 4090 极限压榨：用 vLLM + Qwen2.5-Coder-32B 搭建低延迟私有 Coding Copilot 避坑记
手把手记录在一台单卡 RTX 4090（24G 显存）主机上，通过 Docker 与 vLLM 部署 Qwen2.5-Coder-32B-Instruct-AWQ 模型，并无缝接入 VS Code Continue 插件的全过程。深度拆解 KV Cache 显存调优、PagedAttention 参数配置及高频踩坑点，实测代码补全首字延迟低于 200ms。
家庭NAS魔改AI推理中心：Docker直通GPU部署Ollama与向量知识库排坑指南
很多极客手里的大容量NAS往往面临“存储过剩、算力闲置”的尴尬。本文分享如何将一台普通x86 Linux/NAS改造为低延迟私有AI推演中枢：从NVIDIA Container Toolkit底层驱动直通、Docker Compose编排Ollama与Qdrant，到ZFS内存缓存（ARC）与LLM显存争抢的系统级调优，内附完整配置和实战避坑记录。
单卡vLLM高并发流式代理实战：Qwen2.5满血吞吐调优与生产级避坑指南
针对本地私有化大模型部署中单卡吞吐不足与首字延迟（TTFT）高的痛点，本文详解基于 vLLM + Qwen2.5-14B/32B-Instruct 的生产级流式推理网关搭建方案。深入剖析 PagedAttention 显存分配、vLLM 参数调优及反向代理 SSE 缓冲穿透配置，提供实测压测脚本与避坑技巧。
单卡4090搭建极速大模型网关：vLLM前缀缓存优化与流式反代避坑实录
许多人在本地或私有云跑大模型时，常遇到首字延迟高、长上下文爆显存以及反代流式卡顿的问题。本文基于单卡RTX 4090/A10G实测环境，详解如何利用vLLM的Chunked Prefill与Prefix Caching压榨推理性能，并提供一套生产级Nginx流式代理避坑配置。
压榨 Apple Silicon 统一内存：MLX 与 llama.cpp 吞吐实测、显存破解与 Agent 部署
实战拆解 Apple Silicon (M系列) 统一内存运行本地大模型的性能极限。本文详解如何破解 macOS 默认 75% GPU 显存限制，横向压测 llama.cpp 与 MLX 在 Qwen2.5/DeepSeek 上的真实吞吐，并提供基于 FastAPI 的生产级流式 Agent 代理与避坑配置。
Popular articles
Python 高效爬虫实战：requests+BeautifulSoup 避坑与优化全攻略
在数字信息爆炸的时代，从海量互联网数据中提取有价值信息已成为许多领域的核心需求。Python 以其简洁、强大的...
用 Python 驾驭 JSON/XML 数据：高效解析与灵活转换的实践指南
引言：数据时代的基石——JSON 与 XML 在当今信息爆炸的时代，数据是驱动一切的核心。无论是 Web AP...
Python基础入门 Day141 异步系统中的优先级调度与资源分配：让重要任务先完成
在上一节中，我们系统梳理了异步任务从创建到完成的完整生命周期。本篇将在此基础上，继续解决一个在真实工程中必然出...
Python基础入门 Day136 高并发系统核心：消息队列思想与异步解耦
在完成异步任务平台的基本架构之后，我们会很快遇到一个系统级瓶颈：组件之间的耦合开始限制系统扩展能力 。本篇将围...
Python 正则表达式完全指南：掌握复杂匹配，解锁高级数据处理能力 | 实战案例解析
在 Python 的世界里，正则表达式（Regular Expressions，简称 RegEx）是处理字符串...