共计 5057 个字符，预计需要花费 13 分钟才能阅读完成。
Debian，以其无与伦比的稳定性和强大的包管理系统而闻名，是全球众多服务器和开发工作站的首选操作系统。在人工智能浪潮席卷全球的今天，越来越多的开发者和系统管理员希望在他们熟悉的 Debian 环境中部署尖端的大语言模型（LLM），如 DeepSeek。本文将提供一份从零开始，在 Debian 系统上成功部署并运行 DeepSeek 大模型的全面指南，内容覆盖环境准备、NVIDIA 驱动与 CUDA 安装、两种主流部署方案（Ollama 与 Docker）的详细步骤，以及常见问题的排查，旨在帮助 Debian 用户顺利开启本地 AI 大模型之旅。
一、前期准备：夯实 Debian 环境基础
在正式部署之前，必须确保我们的 Debian 系统已经为承载大模型的高强度计算做好了充分准备。这主要涉及系统更新、硬件检查和必要工具的安装。
1. 系统更新与基础工具安装
首先，打开您的终端，以 root 或 sudo 权限执行以下命令，确保系统是最新状态，并安装一些基础的编译和管理工具。一个最新的系统可以避免许多因软件包版本过旧而引发的依赖问题。
Bash
sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential git curl wget
build-essential是一个元数据包，它会安装 GCC/g++ 编译器和 make 等构建软件源码所需的核心工具，这在后续安装驱动或从源码编译某些组件时至关重要。
2. 硬件确认：GPU 识别
大语言模型的推理计算高度依赖于 NVIDIA GPU。请确认您的机器上已安装 NVIDIA 显卡，并能被系统正确识别。使用 lspci 命令来检查 PCI 设备列表，并过滤出与 NVIDIA 相关的信息。
Bash
lspci | grep -i nvidia
如果命令有输出，显示了您的 NVIDIA 显卡型号（如 NVIDIA Corporation GA102 [GeForce RTX 3090]），则说明硬件层面没有问题。如果没有任何输出，请检查您的物理连接或 BIOS/UEFI 设置，确保显卡被启用。
3. 禁用开源驱动 Nouveau
Debian 默认会使用开源的 Nouveau 驱动来驱动 NVIDIA 显卡。然而，要发挥 GPU 的全部性能并使用 CUDA 进行通用计算，我们必须安装 NVIDIA 官方的闭源驱动，并且在此之前禁用 Nouveau，以避免冲突。
创建一个新的 modprobe 配置文件来将 Nouveau 列入黑名单：
Bash
sudo bash -c "echo'blacklist nouveau'> /etc/modprobe.d/blacklist-nouveau.conf"
sudo bash -c "echo'options nouveau modeset=0'>> /etc/modprobe.d/blacklist-nouveau.conf"
执行完上述命令后，需要更新 initramfs 并重启系统，以使配置生效。
Bash
sudo update-initramfs -u
sudo reboot
重启后，可以通过 lsmod | grep nouveau 命令来验证 Nouveau 模块是否已未加载。如果没有输出，则表示禁用成功。
二、核心环境配置：NVIDIA 驱动与 CUDA 安装
这是整个部署过程中技术性最强、也最容易出错的环节。我们将采用 Debian 官方仓库推荐的方式进行安装，以保证最佳的兼容性和稳定性。
1. 启用 contrib 和non-free仓库
NVIDIA 的官方驱动属于非自由（non-free）软件，需要先在 APT 的源列表中启用相应的仓库。编辑 /etc/apt/sources.list 文件（建议先备份），在每一行 main 后面添加contrib non-free。对于 Debian 12 (Bookworm)，修改后的行应如下所示：
deb http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware
deb-src http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware
保存文件后，再次更新 APT 包列表：
Bash
sudo apt update
2. 安装 NVIDIA 驱动
Debian 的包管理器现在可以直接处理驱动的安装。它会自动检测您的硬件并安装最合适的驱动版本。
Bash
sudo apt install nvidia-driver firmware-misc-nonfree
安装过程中，APT 会自动处理内核模块的编译和安装（通过 DKMS），以及与 Xorg 的配置。安装完成后，再次重启系统。
Bash
sudo reboot
重启后，在终端输入 nvidia-smi 命令。如果您能看到一个包含 GPU 型号、驱动版本、CUDA 版本以及 GPU 使用情况的表格，那么恭喜您，最关键的一步已经成功完成。nvidia-smi的成功执行是后续一切工作的基础。
3. 安装 CUDA Toolkit
虽然 nvidia-smi 会显示一个 CUDA 版本，但这仅代表驱动所支持的最高 CUDA 版本。要真正进行开发或运行需要 CUDA 库的应用，我们还需要安装 CUDA Toolkit。同样，我们可以通过 APT 来安装。
Bash
sudo apt install nvidia-cuda-toolkit
这个命令会安装运行 CUDA 应用所需的核心库和工具链。安装完成后，可以通过 nvcc --version 命令来验证 CUDA 编译器是否安装成功。
三、部署方案一：使用 Ollama 进行一键式部署
对于希望快速上手、简化流程的用户，Ollama 是目前在 Linux 上部署大模型最便捷的工具。
1. 安装 Ollama
Ollama 提供了一个非常方便的安装脚本。只需在终端中执行以下命令，即可自动完成下载和安装过程。
Bash
curl -fsSL https://ollama.com/install.sh | sh
该脚本会自动检测您的系统，下载 Ollama 二进制文件，并将其设置为一个 systemd 服务，实现开机自启动。安装脚本执行完毕后，Ollama 服务就已经在后台运行了。
2. 下载并运行 DeepSeek 模型
Ollama 将模型下载和运行合并为一条简单的命令。以部署 DeepSeek 的 7B 对话模型为例：
Bash
ollama run deepseek-llm:7b-chat
首次执行此命令时，Ollama 会显示下载进度条，从其官方模型库中拉取模型文件。下载完成后，您会直接进入一个交互式的命令行聊天界面，可以直接输入文字与 DeepSeek 模型进行对话。
3. 管理与交互
- 要查看本地已下载的模型列表，使用
ollama list。 - Ollama 服务会默认在本地
11434端口提供 API 服务。您可以使用任何 HTTP 客户端（如curl）或兼容 OpenAI API 的库来与模型进行程序化交互，这为将其集成到您自己的应用中提供了极大的便利。
四、部署方案二：使用 Docker 进行容器化部署
Docker 提供了环境隔离和可移植性，是更接近生产环境的部署方式。它能确保您的部署环境与开发环境完全一致，避免了“在我机器上能跑”的经典问题。
1. 在 Debian 上安装 Docker
首先，卸载可能存在的旧版本 Docker。
Bash
sudo apt-get remove docker docker-engine docker.io containerd runc
然后，按照 Docker 官方的推荐步骤，设置 Docker 的 APT 仓库。
Bash
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
最后，安装 Docker 引擎、命令行工具和 containerd。
Bash
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
为了让当前用户无需 sudo 即可运行 Docker 命令，需要将用户添加到 docker 用户组。
Bash
sudo usermod -aG docker $USER
您需要注销并重新登录以使用户组变更生效。
2. 安装 NVIDIA Container Toolkit
为了让 Docker 容器能够访问宿主机的 NVIDIA GPU，必须安装 NVIDIA Container Toolkit。
Bash
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
安装完成后，需要配置并重启 Docker 守护进程，使其能够识别 NVIDIA 运行时。
Bash
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
3. 通过 Docker 运行 DeepSeek
现在，您可以轻松地通过 Docker 容器来运行集成了 DeepSeek 的模型服务。例如，我们可以使用支持 GPU 的 Ollama 官方 Docker 镜像。
Bash
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
这条命令会在后台启动一个名为 ollama 的容器，并将宿主机的所有 GPU 都分配给它。模型数据会持久化保存在一个名为 ollama 的 Docker 卷中。
容器启动后，您可以执行以下命令进入容器，并像在本地一样下载和运行 DeepSeek 模型：
Bash
docker exec -it ollama ollama run deepseek-llm:7b-chat
更重要的是，容器化的服务已经将 API 暴露在宿主机的 11434 端口，任何可以访问这台 Debian 机器网络的应用都可以调用此 API。
结论
在 Debian 系统上成功部署 DeepSeek 大模型，其核心在于正确配置底层的 NVIDIA 驱动和 CUDA 环境。一旦这个坚实的基础打好，上层的部署就变得异常灵活和简单。对于追求便捷和快速迭代的个人开发者，Ollama 提供了一站式的解决方案；而对于注重环境一致性、可移植性和未来向生产环境扩展的场景，基于 Docker 的容器化部署无疑是更优的选择。无论您选择哪条路径，这篇指南都为您铺平了道路。现在，您已经可以在稳定、高效的 Debian 平台上，尽情探索 DeepSeek 大模型所带来的无限可能，无论是进行创新应用开发，还是深入研究模型本身。
