共计 3469 个字符,预计需要花费 9 分钟才能阅读完成。
很多极客在折腾 NAS 到一定阶段后,都会琢磨着把手头闲置的半高刀卡(如 Tesla P4、RTX 3060 12G 甚至 Intel 12 代以后的核显)塞进机箱,把这台 7×24 小时运行的存储节点改装成私有 AI 推理服务器。然而我在实际折腾时发现,直接在 NAS 的机械存储池上裸跑 Ollama,体验堪称灾难:一个 14B 参数的模型加载需要近两分钟,机械盘磁头疯狂啸叫,IO 延迟直接飙到 800ms+,连带 SMB 共享和流媒体服务全部假死。
本文不谈泛泛而谈的理论,直接切入核心:如何在一台 x86 NAS(TrueNAS SCALE 或标准 Linux 发行版)上构建稳定、低延迟的 Ollama + Open-WebUI 堆栈,并做好显卡直通与存储分层调优。
一、架构规划:必须解决的冷热存储与硬件直通痛点
跑本地 LLM,核心性能受制于三个硬件瓶颈:算力(算力卡 / 核显)、显存带宽与存储 IOPS。模型权重动辄数 GB 到数十 GB,执行推理前必须从存储介质拉入 RAM/VRAM。如果直接把 /root/.ollama 挂载在传统 RAID5/Z2 机械硬盘池上,不仅每次启动或切换模型时读取极慢,还会在写入上下文缓存时造成严重 IO 争抢。
合理的路径是 存储分层:
- 热数据(模型权重、矢量数据库、Open-WebUI 数据库):强制存放在 NVMe SSD 池,或者专门划分的 M.2 系统盘。
- 冷数据(导出对话日志、知识库原始文档文档备份):定期归档至大容量机械盘池。
1. 硬件容器穿透前置检查
以 NVIDIA 显卡为例,宿主机必须安装好驱动和 nvidia-container-toolkit。在 NAS 终端执行以下命令,确保宿主机底层驱动识别无误:
# 确认 GPU 状态
nvidia-smi
# 检查 nvidia-container-cli 是否正常
nvidia-container-cli info
如果是 Intel 核显(使用 iGPU 跑 OpenVINO 或纯 CPU/ 核显推理),则需确保 /dev/dri 下有 renderD128 节点,并检查 render 组的 GID 权限。
二、生产级 Docker Compose 编排方案
以下是我目前在线上长期稳定运行的编排文件。区别于网上一键启动的简单 demo,这里加入了针对存储挂载、VRAM 驻留时间以及容器健康检查的细致参数配置。
services:
ollama:
image: ollama/ollama:latest
container_name: ollama-service
restart: unless-stopped
ports:
- "11434:11434"
environment:
- OLLAMA_KEEP_ALIVE=24h # 模型常驻显存,避免频繁冷启动卸载
- OLLAMA_NUM_PARALLEL=2 # 允许并发处理的请求数,依显存而定
- OLLAMA_MAX_LOADED_MODELS=1 # 仅加载单模型,避免小显存设备 OOM
volumes:
# 极其关键:将模型权重挂载在高速 NVMe 盘路径,绝不能挂机械盘
- /mnt/nvme-pool/appdata/ollama:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: unless-stopped
ports:
- "3000:8080"
environment:
- OLLAMA_BASE_URL=http://ollama:11434
- WEBUI_SECRET_KEY=your_super_secret_salt_here
- SCARF_NO_ANALYTICS=True
- DO_NOT_TRACK=True
volumes:
# WebUI 的 SQLite 数据和 RAG 向量缓存,建议放在 NVMe
- /mnt/nvme-pool/appdata/open-webui:/app/backend/data
depends_on:
- ollama
如果你的 NAS 没有独立 N 卡,使用的是 Intel 11 代以上 CPU 核显,需要将 deploy 节点替换为设备映射:
devices:
- /dev/dri:/dev/dri
三、存储与系统层关键调优
部署完成后,很多朋友会发现 NAS 的内存经常被吃光,或者响应大文本时非常卡顿。这是因为默认的 Linux 内核与文件系统参数并没有针对这种“大文件吞吐 + 高并发瞬时读写”做适配。
1. ZFS 数据集属性调整(针对 TrueNAS / ZFS 用户)
如果你的 NVMe 存储池采用的是 ZFS 文件系统,针对 Ollama 存放模型的 Dataset,必须手动修改 recordsize。默认的 128K 记录大小在读取数十 GB 的连续模型大文件时,会产生不必要的元数据检索开销。
# 将模型专用数据集的 recordsize 提升至 1M
zfs set recordsize=1M nvme-pool/appdata/ollama
# 关闭非必要的文件访问时间记录,减少元数据写入
zfs set atime=off nvme-pool/appdata/ollama
2. 避免内存被 ZFS ARC 锁死导致推理 OOM
Linux 系统下,Ollama 在加载模型时,如果显存装不下,会自动把部分权重切片放入系统内存(RAM)。但 ZFS 默认会吃掉 50% 甚至更多内存作为 ARC(自适应替换缓存),这就极易触发内核的 oom-killer 杀掉 Ollama 进程。
限制 ZFS ARC 的最大占用量,给系统和模型留出足量空闲物理内存:
# 临时限制 ARC 最大占用为 16GB(根据你整机内存配置按需修改)echo "$((16 * 1024 * 1024 * 1024))" > /sys/module/zfs/parameters/zfs_arc_max
# 写入配置文件以实现持久化
echo "options zfs zfs_arc_max=17179869184" >> /etc/modprobe.d/zfs.conf
3. 虚拟内存脏页(Dirty Pages)与 Swap 调优
在处理超长上下文(Context Length)或 RAG 文档切片向量化时,系统瞬时内存压力极大。必须防止 Linux 激进地将内存数据 swap 到机械盘:
# 临时修改 swappiness,降低换页倾向
sysctl vm.swappiness=10
# 优化脏页回写比例,平滑 IO 脉冲
sysctl vm.dirty_background_ratio=5
sysctl vm.dirty_ratio=10
四、模型选型与实测表现基准
在 NAS 这种兼顾功耗与稳定性的设备上,不要盲目追求全参数模型。实测下来,显存与上下文利用率存在明确的“甜蜜点”:
| 模型规格 | 量化版本 | 所需最小 VRAM | 建议 NAS 硬件配置 | 实测 Token/s (RTX 3060) |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct | Q4_K_M | ~5.5 GB | N 卡 6G+ 或 8 代核显(内存双通道) | 48 ~ 55 t/s |
| DeepSeek-R1-Distill-Qwen-14B | Q4_K_M | ~9.8 GB | RTX 3060 12G / P40 24G | 28 ~ 34 t/s |
| Llama-3.1-8B-Instruct | Q8_0 | ~9.2 GB | 显存 12G+ 独显节点 | 35 ~ 42 t/s |
如果在 8GB 显存的显卡上强行运行 14B Q4 模型,超出 VRAM 的层会被卸载到 CPU 和系统内存计算,推理速度会断崖式暴跌至 2~4 t/s,几乎丧失交互意义。因此在下载模型时,务必根据硬件显存上限做严格限制。
总结与避坑心得
折腾 NAS 跑本地大模型,最关键的不是跑出多么恐怖的 Token 吞吐量,而是在 不影响 NAS 核心存储业务的前提下达成低功耗平衡。实际部署中还有两个容易忽视的细节:
- 显卡休眠问题:如果设置了
OLLAMA_KEEP_ALIVE=-1让模型永久驻留,显卡将无法进入低功耗 P-State(功耗可能一直维持在 25W~45W)。建议权衡设置OLLAMA_KEEP_ALIVE=30m,兼顾首字响应速度与整机待机功耗。 - 权限陷阱:Docker 挂载目录时,若在宿主机通过 root 创建文件夹,Open-WebUI 可能会因写入 UID/GID 不匹配报错。建议直接在挂载前将目录属主变更为
chown -R 1000:1000 /mnt/nvme-pool/appdata/open-webui。
用成熟的 Docker 编排加上合理的 ZFS 与内核调度,家用 NAS 完全能够稳稳扛起个人专属的离线大模型和知识库中心。