Skip to content

DeepSeek R1 安装指导和简单使用

本教程安装的服务器环境如下:

  • Debian 12.6(Linux)
  • 32GB内存, 20核心 E5-2697V2, SSD硬盘(无显卡)
  • 梯子

DeepSeek-R1 安装

shell
curl -fsSL https://ollama.com/install.sh | sh
# 国内可访问
curl -fsSL https://aliendao.cn/ollama/install.sh | sh

安装成功后,需要在 /etc/systemd/system/ollama.service 文件中添加 OLLAMA_HOST 用于将服务绑定到 IP 对应的网卡上(否则外部无法调用):

shell
Environment="OLLAMA_HOST=ip:11434"
# 或
vim /etc/profile
export OLLAMA_HOST=ip:11434
source /etc/profile

注意:这里的 ip 不能写 0.0.0.0,需要填写内网 IP,否则外部无法访问。

修改后,重启服务:

shell
systemctl daemon-reload
systemctl restart ollama

其他相关配置

可在 /etc/profile 配置环境变量:

shell
# ollama 使用 gpu 架构,cuda
OLLAMA_GPU_LAYER=cuda

# ollama 使用显卡device,可通过 nvidia-smi 查看显卡编号,一块一般为0,多块 0..n
CUDA_VISIBLE_DEVICES=0,1

# ollama 绑定的服务 address,内网IP,否则只能本机
OLLAMA_HOST=ip:11434

# ollama 下载的模型文件存储地址
OLLAMA_MODELS=/path/ollama/models

也可再 /etc/systemd/system/ollama.service 添加环境变量。

ini
# vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=ip:11434"

无论哪种方式配置,都要重启 ollama,或者 source /etc/profile 再重启 ollama。

nvidia-smi-show-info.png

模型并行参数

  • OLLAMA_KEEP_ALIVE=24h #设置模型加载到内存中保持24个小时(默认情况下,模型在卸载之前会在内存中保留 5 分钟)
  • OLLAMA_NUM_PARALLEL=10 # 设置 10 个用户并发请求
  • OLLAMA_MAX_LOADED_MODELS=2 # 设置同时加载多个模型, 自行考虑 GPU 情况

模型选择

官方模型地址:https://ollama.com/library/deepseek-r1:8b

DeepSeek-R1 安装所需内存介绍:

deepseek-ver-require-hardware

官方推荐介绍:

deepseek-r1-require-memory

shell
ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

shell
ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

shell
ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

shell
ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

shell
ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

shell
ollama run deepseek-r1:70b

安装过程:

deepseek-r1-install-model

下载的模型,默认保存在:/usr/share/ollama/.ollama,copy 该地址可迁移 ollama。

简单使用

通过 ollama run 即可运行指定的模型,并再运行的控制台进行交互。

deepseek-r1-first-test

也可安装 Chatbox 应用,进行图形化交互。

deepseek-r1-app-chatbox.png

参考