日前，為了使 deepin 和 UOS AI 更加開放，我們正式開放了 UOS AI 的模型接入接口。這意味著，所有符合 OpenAI 接口格式的大模型，都可以無縫接入 UOS AI。大家可以根據(jù)自身需求，自由接入心儀的大模型，讓 UOS AI 成為更具個(gè)性化的智能伙伴。

在上一篇文章中，我們?yōu)榇蠹以敿?xì)介紹了 UOS AI 如何離線或在線接入 DeepSeek-R1 模型。今天我們將進(jìn)一步深入，為大家詳細(xì)講解如何借助 Ollama 在本地部署并運(yùn)行 DeepSeek-R1 模型。

* 感謝社區(qū)用戶「Feelup」提供的教程，本次本地部署在 deepin 25 Preview 環(huán)境中通過Ollama 完成。

1

Ollama 部署

進(jìn)入 Ollama 網(wǎng)站并復(fù)制 Linux 下需要使用的命令，并粘貼到終端中執(zhí)行。

Ollama下載完成后，通過以下命令可查看當(dāng)前 Ollama 版本

ollama --version

2

Ollama 服務(wù)配置

說明1：若您只希望簡單使用，可跳過此處服務(wù)配置。 說明2：此處 Ollama 服務(wù)配置主要調(diào)整了 Ollama 下載模型文件的保存位置和服務(wù)訪問限制調(diào)整。

sudo vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"


[Install]
WantedBy=default.target

非 deepin 25 服務(wù)修改參考

該 Ollama 服務(wù)配置適用于 Ubuntu、RedHat、deepin 23 等大多數(shù) Linux 系統(tǒng)

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/usr/local/bin/ollama serve
User=nano      #此處為當(dāng)前的用戶名(可選：如果調(diào)整了模型的下載保存位置的話，可解決權(quán)限問題)
Group=nano     #此處為當(dāng)前的用戶名(可選：如果調(diào)整了模型的下載保存位置的話，可解決權(quán)限問題)
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_MODELS=/media/nano/Date/Ollama_Models"   #可選：設(shè)置模型的下載位置
Environment="OLLAMA_HOST=0.0.0.0:11434"  #可選：設(shè)置可訪問ollama服務(wù)的地址與端口(此處表示任意IP地址都可以從端口11434訪問此ollama服務(wù))


[Install]
WantedBy=default.target

deepin 25 服務(wù)修改參考

由于 deepin 25 采用了不可變系統(tǒng)設(shè)計(jì)，Ollama 安裝完成后，程序的執(zhí)行文件位置出現(xiàn)了一些變化。

在進(jìn)行 Ollama 服務(wù)配置時(shí)也需要做相應(yīng)的修改（否則可能會出現(xiàn)服務(wù)運(yùn)行異常）

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/var/usrlocal/bin/ollama serve    #此處調(diào)整了ollama程序的位置
User=nano      #此處為當(dāng)前的用戶名(可選：如果調(diào)整了模型的下載保存位置的話，可解決權(quán)限問題)
Group=nano     #此處為當(dāng)前的用戶名(可選：如果調(diào)整了模型的下載保存位置的話，可解決權(quán)限問題)
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_MODELS=/media/nano/Date/Ollama_Models"   #可選：設(shè)置模型的下載位置
Environment="OLLAMA_HOST=0.0.0.0:11434"  #可選：設(shè)置可訪問ollama服務(wù)的地址與端口(此處表示任意IP地址都可以從端口11434訪問此ollama服務(wù))


[Install]
WantedBy=default.target

3

Ollama服務(wù)啟動(dòng)

更新服務(wù)配置：

sudo systemctl daemon-reload

sudo systemctl restart ollama.service

systemctl status ollama.service

4

DeepSeek-R1模型下載

在 Ollama 站內(nèi)檢索您所需要下載的模型名稱關(guān)鍵字，根據(jù)個(gè)人電腦配置選擇合適大小的參數(shù)模型，點(diǎn)擊復(fù)制模型下載命令，并將命令粘貼到終端中進(jìn)行下載即可。

本例選擇下載 1.5b 參數(shù)量大小的模型，模型下載完成后將自動(dòng)運(yùn)行，此時(shí)可以使用如下命令在「終端」中與它進(jìn)行對話：

ollama run deepseek-r1:1.5b

5

在 UOS AI 中添加 DeepSeek-R1

打開 UOS AI 的「設(shè)置」選項(xiàng)，在「模型配置」中選擇「私有化部署模型-添加」，進(jìn)入 UOS AI 的模型添加界面。

完成添加窗口中的內(nèi)容填寫，并點(diǎn)擊確定即可，本例中使用到的信息參考如下：

賬號名稱：DeepSeek-R1 模型名：deepseek-r1:1.5b 請求地址：http://127.0.0.1:11434/v1

填寫完畢并提交確定后，程序會驗(yàn)證對應(yīng)的大模型是否可用，驗(yàn)證成功后，DeepSeek-R1 便被添加至本地模型。

隨后即可在 UOS AI 中選擇 DeepSeek-R1 模型進(jìn)行使用。

注：以上本地部署流程不僅僅適用于 DeepSeek-R1 模型，同樣也適用于其它模型的本地部署。

附錄：

[1]deepin UOS AI 離線、在線接入 DeepSeek-R1 教程 [2] deepin UOS AI 如何配置自定義模型