最近大語言模型圈都在蹲 DeepSeek 的 “限定版回復(fù)”，哪怕它無情地告知 20 遍服務(wù)器忙，咱也得執(zhí)著地再求一次 。

這種對技術(shù)的執(zhí)著追求，正是推動人工智能不斷進(jìn)步的動力。而為了讓這個(gè) “傲嬌” 的模型能更順暢地和我們交流，我們可以在HZHY-AI300G智能盒上部署DeepSeek-R1模型。

接下來，我們將一步步帶你完成DeepSeek-R1模型的部署，這一過程不僅能讓我們更直觀地感受人工智能在嵌入式設(shè)備上的魅力，還能為后續(xù)的創(chuàng)新應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)。

01

操作步驟

獲取RKNN-llm大語言模型工具包

從GitHub下載rknn-llm工具包，內(nèi)含部署大語言模型（LLM）到Rockchip設(shè)備的代碼及RKNN工具鏈?zhǔn)褂梅椒?。下載后，解壓zip包到Linux電腦（虛擬機(jī)）的指定目錄。

編譯RKNN的C++ Demo

在解壓后的工具包中，修改編譯腳本，特別是交叉編譯工具鏈的位置。執(zhí)行編譯腳本后，生成install文件夾，里面包含編譯好的Demo文件。

下載瑞芯微已適配的DeepSeek-R1模型

通過瑞芯微提供的鏈接，下載適配RK3588平臺的DeepSeek-R1模型。下載完成后，將模型文件與編譯好的Demo一起拷貝到HZHY-AI300G智能盒上。

拷貝Demo和模型到HZHY-AI300G智能盒

將Demo和模型文件拷貝到智能盒的指定目錄中，可通過USB或網(wǎng)絡(luò)傳輸完成。

執(zhí)行Demo調(diào)用DeepSeek-R1模型進(jìn)行對話

在智能盒上設(shè)置環(huán)境變量并執(zhí)行Demo命令，調(diào)用DeepSeek-R1模型進(jìn)行對話，測試其功能。

02

模型功能展示

成功完成 DeepSeek - R1 模型的部署，就如同搭建起一座通往智能前沿領(lǐng)域的橋梁。借助 Demo 與模型展開交互，其卓越的智能特性得以充分彰顯。不管是問到具有復(fù)雜性的數(shù)學(xué)問題，還是對于未來科技發(fā)展趨勢的見解，模型都可憑借其先進(jìn)的算法架構(gòu)和強(qiáng)大的運(yùn)算能力，迅速且精準(zhǔn)地給出答案，并基于深度神經(jīng)網(wǎng)絡(luò)所具備的邏輯推理機(jī)制，條理分明地呈現(xiàn)出完整的解答。這些回答讓我們認(rèn)識到它不僅僅是一組運(yùn)行在計(jì)算機(jī)系統(tǒng)中的程序代碼，更是能夠與人類進(jìn)行深度思想交流、共同探討未來發(fā)展方向的智能伙伴。

通過本次演示，我們成功在HZHY-AI300G智能盒上部署了DeepSeek-R1模型，并通過Demo與模型進(jìn)行了互動。從獲取工具包、編譯Demo、下載模型到最終執(zhí)行，整個(gè)過程展示了如何將大語言模型部署到嵌入式設(shè)備上，并實(shí)現(xiàn)智能對話功能，期待大家在實(shí)踐中嘗試類似的部署操作，若在過程中遇到任何問題或有新的發(fā)現(xiàn)，歡迎隨時(shí)來交流，讓我們一起在技術(shù)的道路上共同進(jìn)步。