共计 4291 个字符,预计需要花费 11 分钟才能阅读完成。
很多极客折腾 NAS 到最后,存电影和照片只是基础需求,全天候 24 小时低功耗运行的特性,让它天然适合作为家庭或工作室的私有算力中枢。随着 DeepSeek-R1 等开源小尺寸量化模型的爆发,把大语言模型与本地海量文档结合做私有 RAG(检索增强生成)知识库,成了目前 NAS 最具实用价值的玩法。
但在 NAS 上跑 AI,远不是敲一行 docker run ollama/ollama 那么轻巧。我在一台 12 代 i5 + RTX 3060 12G(直通)、底层运行 Debian/TrueNAS SCALE 的 DIY NAS 上跑知识库时,踩过不少暗坑:ZFS 默认块大小导致向量数据库 I/O 放大暴增、Ollama 默认配置耗尽内存触发 OOM 杀掉存储服务、多并发时嵌入向量模型堵塞……本文直接端出生产级方案,从存储底层优化讲到完整的编排落地。
一、NAS 承载 AI 知识库的核心瓶颈拆解
让传统存储型 NAS 兼职做 AI 推理与检索,系统资源会面临三项直接冲突:
- I/O 模式冲突:传统 NAS 的 ZFS 或 Btrfs 往往针对大文件流式读写配置(如 128KB 甚至 1MB Recordsize),而向量数据库(如 Qdrant、Chroma)的索引构建和检索是典型的小块随机读写(4KB~16KB)。如果在机械硬盘或未优化的 ZFS 数据集上跑向量检索,会导致惊人的读写放大,NAS 硬盘直接炒豆子,IO 延迟突破 500ms。
- 显存与内存挤压:以 DeepSeek-R1-Distill-Qwen-8B 为例,FP16 显存需求超过 16GB,即使使用 Q4_K_M 量化,显存与上下文也需要至少 6GB。一旦显存溢出,权重被推到系统 RAM,如果此时 ZFS 的 ARC 缓存(默认吃掉系统一半内存)没有做严格上限约束,整个系统会迅速触发 Linux OOM Killer,甚至把 NAS 的核心存储守护进程干掉。
- 算力调度优先级:NAS 的首要任务是稳定存储。模型加载和文档切片重嵌入时,多核 CPU 满载极易导致 SMB/NFS 挂载掉线,必须在 cgroups 层面做严格的隔离与优先级限制。
二、底层存储基石:ZFS 数据集针对向量库的微调
如果你的 NAS 底层使用 ZFS(如 TrueNAS 或原生 Debian/Ubuntu),切记 绝不要把向量数据库和模型权重丢在同一个默认配置的数据集里。
我通过实测将向量数据库(Qdrant)与模型存储(Ollama blob)拆分为两个独立的数据集,做如下定向优化:
# 1. 为模型权重创建大块连续读取数据集(只读为主,追求高吞吐)zfs create -o recordsize=1M -o compression=lz4 -o atime=off tank/ai-models
# 2. 为向量库 Qdrant 创建小块随机读写数据集(抑制写放大,优化内存映射)zfs create -o recordsize=16k -o compression=lz4 -o atime=off -o logbias=latency tank/ai-vector
# 3. 限制 ZFS ARC 内存上限(以 32G 内存 NAS 为例,ARC 锁死在 8G,给模型腾出空间)echo "8589934592" > /sys/module/zfs/parameters/zfs_arc_max
# 写入持久化配置
echo "options zfs zfs_arc_max=8589934592" >> /etc/modprobe.d/zfs.conf
将 recordsize 从 128KB 降至 16KB 后,Qdrant 在构建 10 万条向量索引时的写入放大系数从原本的 8.2 倍直接降至 1.3 倍,NVMe 固态硬盘的磨损和写延迟大幅改善。
三、计算设备直通准备(Nvidia / Intel iGPU)
模型推理绝不建议纯靠 CPU 软跑,即便是 1.5B 的小模型,纯 CPU 推理并发稍微上来一点,NAS 的负载均衡就会报警。
1. 独显方案(Nvidia Container Toolkit)
确保宿主机安装了专有驱动后,安装容器运行时支持包,让 Docker 能够调用 GPU:
# Debian/Ubuntu 宿主机
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
2. 核显方案(Intel 11 代 + 核显 OpenVINO 加速)
如果你的 NAS 没有独立显卡,只有集成核显(如 N100、i5-12400),可以通过暴露 DRI 驱动节点,利用 Ollama 或 llama.cpp 的 OpenVINO/iHD 后端来处理。检查宿主机是否存在 /dev/dri/renderD128,并确认权限加入 video 与 render 组即可。
四、工业级生产栈:Docker Compose 完整编排
我选用的架构组合为:Ollama(模型推理后端)+ Qdrant(高性能原生 Rust 向量数据库)+ FastGPT(专业 RAG 编排引擎与知识库管理)+ One API / New API(接口分流调度)。
在你的 NAS 存储卷(如 /tank/docker/ai-stack)下创建 docker-compose.yml:
version: '3.8'
services:
# 1. 向量数据库:Qdrant
qdrant:
image: qdrant/qdrant:v1.12.0
container_name: ai-qdrant
restart: unless-stopped
volumes:
- /tank/ai-vector/qdrant_data:/qdrant/storage
environment:
- QDRANT__SERVICE__HTTP_PORT=6333
- QDRANT__SERVICE__ENABLE_CORS=true
deploy:
resources:
limits:
memory: 4G
networks:
- ai-network
# 2. 推理后端:Ollama (配置 Nvidia GPU)
ollama:
image: ollama/ollama:latest
container_name: ai-ollama
restart: unless-stopped
environment:
- OLLAMA_KEEP_ALIVE=24h # 防止空闲频繁卸载模型导致冷启动卡顿
- OLLAMA_NUM_PARALLEL=2 # 控制并发,防止显存爆炸
- OLLAMA_FLASH_ATTENTION=1 # 开启 Flash Attention 降低长上下文显存开销
volumes:
- /tank/ai-models/ollama:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
ports:
- "11434:11434"
networks:
- ai-network
# 3. 关系型存储(FastGPT 状态数据库)fastgpt-mongo:
image: mongo:6.0.14
container_name: ai-mongo
restart: unless-stopped
volumes:
- /tank/docker/ai-stack/mongo_data:/data/db
networks:
- ai-network
# 4. RAG 知识库系统:FastGPT
fastgpt:
image: ghcr.io/labring/fastgpt:v4.8.10
container_name: ai-fastgpt
restart: unless-stopped
ports:
- "3000:3000"
environment:
- MONGODB_URI=mongodb://fastgpt-mongo:27017/fastgpt
- CHAT_BASE_URL=http://ollama:11434/v1
- CHAT_API_KEY=ollama
- VECTOR_STORE_TYPE=qdrant
- QDRANT_URL=http://qdrant:6333
depends_on:
- fastgpt-mongo
- qdrant
- ollama
networks:
- ai-network
networks:
ai-network:
name: ai-network
driver: bridge
执行 docker compose up -d 启动整套集群。使用 docker stats 监控初期内存分配,确保没有服务在健康检查完成前被系统直接击杀。
五、模型选型与落地实测参数对比
在知识库场景下,模型分为两类:Embedding(文本向量化)模型 和 LLM(语言推理与归纳)模型。必须分开选型:
1. 嵌入模型(必选轻量高召回)
直接在 NAS 终端拉取专为中文和代码优化的嵌入模型:
docker exec -it ai-ollama ollama run bge-m3:latest
docker exec -it ai-ollama ollama run bge-reranker-large:latest
bge-m3 支持多语言与最大 8192 的输入长度,显存占用仅约 1.2GB,在 NAS 上做全量文档分块切片时,CPU 占用率低于 25%。
2. 思考与推理模型:DeepSeek-R1 量化实测
我在 NAS 本地部署了三种不同规格的 DeepSeek 蒸馏版模型,针对 100 篇技术 Markdown 架构文档检索进行 QPS 与延迟压测:
| 模型版本 | 量化级别 | 显存占用 | 首字延迟 (TTFT) | 生成速度 (Tokens/s) | NAS 运行状态 |
|---|---|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | Q8_0 | 2.1 GB | 0.18s | 58 tok/s | 全显存驻留,极度顺滑 |
| DeepSeek-R1-Distill-Qwen-8B | Q4_K_M | 5.8 GB | 0.45s | 26 tok/s | 性价比最高,逻辑缜密 |
| DeepSeek-R1-Distill-Qwen-14B | Q4_K_M | 9.9 GB | 1.20s | 14 tok/s | 吃满单卡,大并发显存易溢出 |
实战结论:对于 12G 显存以内的中端显卡,无脑选 DeepSeek