x86 NAS 进阶:Docker 部署 Ollama + Open-WebUI 本地大模型与存储层性能调优实战

3次阅读
没有评论

共计 3469 个字符,预计需要花费 9 分钟才能阅读完成。

很多极客在折腾 NAS 到一定阶段后,都会琢磨着把手头闲置的半高刀卡(如 Tesla P4、RTX 3060 12G 甚至 Intel 12 代以后的核显)塞进机箱,把这台 7×24 小时运行的存储节点改装成私有 AI 推理服务器。然而我在实际折腾时发现,直接在 NAS 的机械存储池上裸跑 Ollama,体验堪称灾难:一个 14B 参数的模型加载需要近两分钟,机械盘磁头疯狂啸叫,IO 延迟直接飙到 800ms+,连带 SMB 共享和流媒体服务全部假死。

本文不谈泛泛而谈的理论,直接切入核心:如何在一台 x86 NAS(TrueNAS SCALE 或标准 Linux 发行版)上构建稳定、低延迟的 Ollama + Open-WebUI 堆栈,并做好显卡直通与存储分层调优。

一、架构规划:必须解决的冷热存储与硬件直通痛点

跑本地 LLM,核心性能受制于三个硬件瓶颈:算力(算力卡 / 核显)、显存带宽与存储 IOPS。模型权重动辄数 GB 到数十 GB,执行推理前必须从存储介质拉入 RAM/VRAM。如果直接把 /root/.ollama 挂载在传统 RAID5/Z2 机械硬盘池上,不仅每次启动或切换模型时读取极慢,还会在写入上下文缓存时造成严重 IO 争抢。

合理的路径是 存储分层:

  • 热数据(模型权重、矢量数据库、Open-WebUI 数据库):强制存放在 NVMe SSD 池,或者专门划分的 M.2 系统盘。
  • 冷数据(导出对话日志、知识库原始文档文档备份):定期归档至大容量机械盘池。

1. 硬件容器穿透前置检查

以 NVIDIA 显卡为例,宿主机必须安装好驱动和 nvidia-container-toolkit。在 NAS 终端执行以下命令,确保宿主机底层驱动识别无误:

# 确认 GPU 状态
nvidia-smi

# 检查 nvidia-container-cli 是否正常
nvidia-container-cli info

如果是 Intel 核显(使用 iGPU 跑 OpenVINO 或纯 CPU/ 核显推理),则需确保 /dev/dri 下有 renderD128 节点,并检查 render 组的 GID 权限。

二、生产级 Docker Compose 编排方案

以下是我目前在线上长期稳定运行的编排文件。区别于网上一键启动的简单 demo,这里加入了针对存储挂载、VRAM 驻留时间以及容器健康检查的细致参数配置。

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-service
    restart: unless-stopped
    ports:
      - "11434:11434"
    environment:
      - OLLAMA_KEEP_ALIVE=24h        # 模型常驻显存,避免频繁冷启动卸载
      - OLLAMA_NUM_PARALLEL=2        # 允许并发处理的请求数,依显存而定
      - OLLAMA_MAX_LOADED_MODELS=1   # 仅加载单模型,避免小显存设备 OOM
    volumes:
      # 极其关键:将模型权重挂载在高速 NVMe 盘路径,绝不能挂机械盘
      - /mnt/nvme-pool/appdata/ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_SECRET_KEY=your_super_secret_salt_here
      - SCARF_NO_ANALYTICS=True
      - DO_NOT_TRACK=True
    volumes:
      # WebUI 的 SQLite 数据和 RAG 向量缓存,建议放在 NVMe
      - /mnt/nvme-pool/appdata/open-webui:/app/backend/data
    depends_on:
      - ollama

如果你的 NAS 没有独立 N 卡,使用的是 Intel 11 代以上 CPU 核显,需要将 deploy 节点替换为设备映射:

    devices:
      - /dev/dri:/dev/dri

三、存储与系统层关键调优

部署完成后,很多朋友会发现 NAS 的内存经常被吃光,或者响应大文本时非常卡顿。这是因为默认的 Linux 内核与文件系统参数并没有针对这种“大文件吞吐 + 高并发瞬时读写”做适配。

1. ZFS 数据集属性调整(针对 TrueNAS / ZFS 用户)

如果你的 NVMe 存储池采用的是 ZFS 文件系统,针对 Ollama 存放模型的 Dataset,必须手动修改 recordsize。默认的 128K 记录大小在读取数十 GB 的连续模型大文件时,会产生不必要的元数据检索开销。

# 将模型专用数据集的 recordsize 提升至 1M
zfs set recordsize=1M nvme-pool/appdata/ollama

# 关闭非必要的文件访问时间记录,减少元数据写入
zfs set atime=off nvme-pool/appdata/ollama

2. 避免内存被 ZFS ARC 锁死导致推理 OOM

Linux 系统下,Ollama 在加载模型时,如果显存装不下,会自动把部分权重切片放入系统内存(RAM)。但 ZFS 默认会吃掉 50% 甚至更多内存作为 ARC(自适应替换缓存),这就极易触发内核的 oom-killer 杀掉 Ollama 进程。

限制 ZFS ARC 的最大占用量,给系统和模型留出足量空闲物理内存:

# 临时限制 ARC 最大占用为 16GB(根据你整机内存配置按需修改)echo "$((16 * 1024 * 1024 * 1024))" > /sys/module/zfs/parameters/zfs_arc_max

# 写入配置文件以实现持久化
echo "options zfs zfs_arc_max=17179869184" >> /etc/modprobe.d/zfs.conf

3. 虚拟内存脏页(Dirty Pages)与 Swap 调优

在处理超长上下文(Context Length)或 RAG 文档切片向量化时,系统瞬时内存压力极大。必须防止 Linux 激进地将内存数据 swap 到机械盘:

# 临时修改 swappiness,降低换页倾向
sysctl vm.swappiness=10

# 优化脏页回写比例,平滑 IO 脉冲
sysctl vm.dirty_background_ratio=5
sysctl vm.dirty_ratio=10

四、模型选型与实测表现基准

在 NAS 这种兼顾功耗与稳定性的设备上,不要盲目追求全参数模型。实测下来,显存与上下文利用率存在明确的“甜蜜点”:

模型规格 量化版本 所需最小 VRAM 建议 NAS 硬件配置 实测 Token/s (RTX 3060)
Qwen2.5-7B-Instruct Q4_K_M ~5.5 GB N 卡 6G+ 或 8 代核显(内存双通道) 48 ~ 55 t/s
DeepSeek-R1-Distill-Qwen-14B Q4_K_M ~9.8 GB RTX 3060 12G / P40 24G 28 ~ 34 t/s
Llama-3.1-8B-Instruct Q8_0 ~9.2 GB 显存 12G+ 独显节点 35 ~ 42 t/s

如果在 8GB 显存的显卡上强行运行 14B Q4 模型,超出 VRAM 的层会被卸载到 CPU 和系统内存计算,推理速度会断崖式暴跌至 2~4 t/s,几乎丧失交互意义。因此在下载模型时,务必根据硬件显存上限做严格限制。

总结与避坑心得

折腾 NAS 跑本地大模型,最关键的不是跑出多么恐怖的 Token 吞吐量,而是在 不影响 NAS 核心存储业务的前提下达成低功耗平衡。实际部署中还有两个容易忽视的细节:

  1. 显卡休眠问题:如果设置了 OLLAMA_KEEP_ALIVE=-1 让模型永久驻留,显卡将无法进入低功耗 P-State(功耗可能一直维持在 25W~45W)。建议权衡设置 OLLAMA_KEEP_ALIVE=30m,兼顾首字响应速度与整机待机功耗。
  2. 权限陷阱:Docker 挂载目录时,若在宿主机通过 root 创建文件夹,Open-WebUI 可能会因写入 UID/GID 不匹配报错。建议直接在挂载前将目录属主变更为 chown -R 1000:1000 /mnt/nvme-pool/appdata/open-webui。

用成熟的 Docker 编排加上合理的 ZFS 与内核调度,家用 NAS 完全能够稳稳扛起个人专属的离线大模型和知识库中心。

正文完
 0
评论(没有评论)