NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录

8次阅读
没有评论

共计 4291 个字符,预计需要花费 11 分钟才能阅读完成。

很多极客折腾 NAS 到最后,存电影和照片只是基础需求,全天候 24 小时低功耗运行的特性,让它天然适合作为家庭或工作室的私有算力中枢。随着 DeepSeek-R1 等开源小尺寸量化模型的爆发,把大语言模型与本地海量文档结合做私有 RAG(检索增强生成)知识库,成了目前 NAS 最具实用价值的玩法。

但在 NAS 上跑 AI,远不是敲一行 docker run ollama/ollama 那么轻巧。我在一台 12 代 i5 + RTX 3060 12G(直通)、底层运行 Debian/TrueNAS SCALE 的 DIY NAS 上跑知识库时,踩过不少暗坑:ZFS 默认块大小导致向量数据库 I/O 放大暴增、Ollama 默认配置耗尽内存触发 OOM 杀掉存储服务、多并发时嵌入向量模型堵塞……本文直接端出生产级方案,从存储底层优化讲到完整的编排落地。

一、NAS 承载 AI 知识库的核心瓶颈拆解

让传统存储型 NAS 兼职做 AI 推理与检索,系统资源会面临三项直接冲突:

  • I/O 模式冲突:传统 NAS 的 ZFS 或 Btrfs 往往针对大文件流式读写配置(如 128KB 甚至 1MB Recordsize),而向量数据库(如 Qdrant、Chroma)的索引构建和检索是典型的小块随机读写(4KB~16KB)。如果在机械硬盘或未优化的 ZFS 数据集上跑向量检索,会导致惊人的读写放大,NAS 硬盘直接炒豆子,IO 延迟突破 500ms。
  • 显存与内存挤压:以 DeepSeek-R1-Distill-Qwen-8B 为例,FP16 显存需求超过 16GB,即使使用 Q4_K_M 量化,显存与上下文也需要至少 6GB。一旦显存溢出,权重被推到系统 RAM,如果此时 ZFS 的 ARC 缓存(默认吃掉系统一半内存)没有做严格上限约束,整个系统会迅速触发 Linux OOM Killer,甚至把 NAS 的核心存储守护进程干掉。
  • 算力调度优先级:NAS 的首要任务是稳定存储。模型加载和文档切片重嵌入时,多核 CPU 满载极易导致 SMB/NFS 挂载掉线,必须在 cgroups 层面做严格的隔离与优先级限制。

二、底层存储基石:ZFS 数据集针对向量库的微调

如果你的 NAS 底层使用 ZFS(如 TrueNAS 或原生 Debian/Ubuntu),切记 绝不要把向量数据库和模型权重丢在同一个默认配置的数据集里。

我通过实测将向量数据库(Qdrant)与模型存储(Ollama blob)拆分为两个独立的数据集,做如下定向优化:

# 1. 为模型权重创建大块连续读取数据集(只读为主,追求高吞吐)zfs create -o recordsize=1M -o compression=lz4 -o atime=off tank/ai-models

# 2. 为向量库 Qdrant 创建小块随机读写数据集(抑制写放大,优化内存映射)zfs create -o recordsize=16k -o compression=lz4 -o atime=off -o logbias=latency tank/ai-vector

# 3. 限制 ZFS ARC 内存上限(以 32G 内存 NAS 为例,ARC 锁死在 8G,给模型腾出空间)echo "8589934592" > /sys/module/zfs/parameters/zfs_arc_max
# 写入持久化配置
echo "options zfs zfs_arc_max=8589934592" >> /etc/modprobe.d/zfs.conf

将 recordsize 从 128KB 降至 16KB 后,Qdrant 在构建 10 万条向量索引时的写入放大系数从原本的 8.2 倍直接降至 1.3 倍,NVMe 固态硬盘的磨损和写延迟大幅改善。

三、计算设备直通准备(Nvidia / Intel iGPU)

模型推理绝不建议纯靠 CPU 软跑,即便是 1.5B 的小模型,纯 CPU 推理并发稍微上来一点,NAS 的负载均衡就会报警。

1. 独显方案(Nvidia Container Toolkit)

确保宿主机安装了专有驱动后,安装容器运行时支持包,让 Docker 能够调用 GPU:

# Debian/Ubuntu 宿主机
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

2. 核显方案(Intel 11 代 + 核显 OpenVINO 加速)

如果你的 NAS 没有独立显卡,只有集成核显(如 N100、i5-12400),可以通过暴露 DRI 驱动节点,利用 Ollama 或 llama.cpp 的 OpenVINO/iHD 后端来处理。检查宿主机是否存在 /dev/dri/renderD128,并确认权限加入 video 与 render 组即可。

四、工业级生产栈:Docker Compose 完整编排

我选用的架构组合为:Ollama(模型推理后端)+ Qdrant(高性能原生 Rust 向量数据库)+ FastGPT(专业 RAG 编排引擎与知识库管理)+ One API / New API(接口分流调度)。

在你的 NAS 存储卷(如 /tank/docker/ai-stack)下创建 docker-compose.yml:

version: '3.8'

services:
  # 1. 向量数据库:Qdrant
  qdrant:
    image: qdrant/qdrant:v1.12.0
    container_name: ai-qdrant
    restart: unless-stopped
    volumes:
      - /tank/ai-vector/qdrant_data:/qdrant/storage
    environment:
      - QDRANT__SERVICE__HTTP_PORT=6333
      - QDRANT__SERVICE__ENABLE_CORS=true
    deploy:
      resources:
        limits:
          memory: 4G
    networks:
      - ai-network

  # 2. 推理后端:Ollama (配置 Nvidia GPU)
  ollama:
    image: ollama/ollama:latest
    container_name: ai-ollama
    restart: unless-stopped
    environment:
      - OLLAMA_KEEP_ALIVE=24h        # 防止空闲频繁卸载模型导致冷启动卡顿
      - OLLAMA_NUM_PARALLEL=2        # 控制并发,防止显存爆炸
      - OLLAMA_FLASH_ATTENTION=1    # 开启 Flash Attention 降低长上下文显存开销
    volumes:
      - /tank/ai-models/ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    ports:
      - "11434:11434"
    networks:
      - ai-network

  # 3. 关系型存储(FastGPT 状态数据库)fastgpt-mongo:
    image: mongo:6.0.14
    container_name: ai-mongo
    restart: unless-stopped
    volumes:
      - /tank/docker/ai-stack/mongo_data:/data/db
    networks:
      - ai-network

  # 4. RAG 知识库系统:FastGPT
  fastgpt:
    image: ghcr.io/labring/fastgpt:v4.8.10
    container_name: ai-fastgpt
    restart: unless-stopped
    ports:
      - "3000:3000"
    environment:
      - MONGODB_URI=mongodb://fastgpt-mongo:27017/fastgpt
      - CHAT_BASE_URL=http://ollama:11434/v1
      - CHAT_API_KEY=ollama
      - VECTOR_STORE_TYPE=qdrant
      - QDRANT_URL=http://qdrant:6333
    depends_on:
      - fastgpt-mongo
      - qdrant
      - ollama
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

执行 docker compose up -d 启动整套集群。使用 docker stats 监控初期内存分配,确保没有服务在健康检查完成前被系统直接击杀。

五、模型选型与落地实测参数对比

在知识库场景下,模型分为两类:Embedding(文本向量化)模型 和 LLM(语言推理与归纳)模型。必须分开选型:

1. 嵌入模型(必选轻量高召回)

直接在 NAS 终端拉取专为中文和代码优化的嵌入模型:

docker exec -it ai-ollama ollama run bge-m3:latest
docker exec -it ai-ollama ollama run bge-reranker-large:latest

bge-m3 支持多语言与最大 8192 的输入长度,显存占用仅约 1.2GB,在 NAS 上做全量文档分块切片时,CPU 占用率低于 25%。

2. 思考与推理模型:DeepSeek-R1 量化实测

我在 NAS 本地部署了三种不同规格的 DeepSeek 蒸馏版模型,针对 100 篇技术 Markdown 架构文档检索进行 QPS 与延迟压测:

模型版本 量化级别 显存占用 首字延迟 (TTFT) 生成速度 (Tokens/s) NAS 运行状态
DeepSeek-R1-Distill-Qwen-1.5B Q8_0 2.1 GB 0.18s 58 tok/s 全显存驻留,极度顺滑
DeepSeek-R1-Distill-Qwen-8B Q4_K_M 5.8 GB 0.45s 26 tok/s 性价比最高,逻辑缜密
DeepSeek-R1-Distill-Qwen-14B Q4_K_M 9.9 GB 1.20s 14 tok/s 吃满单卡,大并发显存易溢出

实战结论:对于 12G 显存以内的中端显卡,无脑选 DeepSeek

正文完
 0
评论(没有评论)