OpenAI，這個(gè)只公開宣揚(yáng)消耗全球所有能源和納稅人5000億美元一半的機(jī)構(gòu)，最近被震撼到了核心。Deepseek，一家由中國(guó)對(duì)沖基金運(yùn)營(yíng)的新AI初創(chuàng)公司，據(jù)稱創(chuàng)建了一個(gè)名為R1的新型開源權(quán)重模型，該模型在所有指標(biāo)上都超越了OpenAI的最佳模型。

而他們僅用600萬(wàn)美元就做到了這一點(diǎn)，而他們使用的GPU內(nèi)存帶寬只有OpenAI的一半。

除了這家中國(guó)初創(chuàng)公司以百分之一的資源擊敗OpenAI所帶來的尷尬（據(jù)Deepseek所言），他們的模型還能“提煉”其他模型，使它們?cè)谳^慢的硬件上運(yùn)行得更好。

這意味著Raspberry Pi現(xiàn)在可以更好地運(yùn)行其中一個(gè)最好的本地Qwen AI模型。

OpenAI的整個(gè)護(hù)城河都建立在人們無法獲得訓(xùn)練和運(yùn)行大型AI模型所需的瘋狂能源和GPU資源之上。

但如果每個(gè)人都能隨時(shí)購(gòu)買一個(gè)GPU并免費(fèi)運(yùn)行一個(gè)足夠好的模型，那么這個(gè)護(hù)城河就會(huì)消失。

Raspberry PiAI

但聳人聽聞的標(biāo)題并沒有告訴你全部的故事。

從技術(shù)上講，Raspberry Pi可以運(yùn)行Deepseek R1，但這與Deepseek R1 671b（一個(gè)400GB的模型）并不相同。

那個(gè)模型（實(shí)際擊敗ChatGPT的模型）仍然需要大量的GPU計(jì)算能力。

但巨大的不同在于，假設(shè)你有幾塊3090顯卡，你就可以在家里運(yùn)行它。你不需要為運(yùn)行OpenAI那些花哨的模型而付費(fèi)。

你只需安裝Ollama，下載Deepseek，就可以盡情玩耍。

而且，即使你沒有一堆GPU，你也可以在任何有足夠內(nèi)存的計(jì)算機(jī)上技術(shù)上運(yùn)行Deepseek。

我使用Ollama在擁有512GB內(nèi)存的AmpereOne 192核服務(wù)器上測(cè)試了Deepseek R1 671B，它的運(yùn)行速度僅為每秒4個(gè)標(biāo)記以上。這不算特別快，但AmpereOne也不會(huì)讓你花費(fèi)10萬(wàn)美元！

盡管它只使用了數(shù)百瓦的功率——這確實(shí)非常令人驚訝——但一個(gè)嘈雜的機(jī)架式服務(wù)器并不適合放在每個(gè)人的客廳里。

但Raspberry Pi可以。所以讓我們看看較小的14b模型在Raspberry Pi上的運(yùn)行情況：

它……肯定不會(huì)贏得任何速度紀(jì)錄。我得到的運(yùn)行速度大約是每秒1.2個(gè)標(biāo)記。

它能運(yùn)行，但如果你想要一個(gè)用于橡膠鴨調(diào)試的聊天機(jī)器人，或者給你下一個(gè)博客文章標(biāo)題提供幾個(gè)想法，這并不有趣。

Raspberry Pi GPU AI

但我們可以加快很多速度。我們只需要一個(gè)外置顯卡，因?yàn)镚PU及其上的VRAM比CPU和系統(tǒng)內(nèi)存更快。

我一直在用AMD W7700顯卡測(cè)試這個(gè)設(shè)置。它有16GB的高速VRAM，只要它能容納整個(gè)AI模型，它就應(yīng)該快得多：

llama-bench報(bào)告每秒24到54個(gè)標(biāo)記，而這個(gè)GPU甚至不是針對(duì)LLM（大型語(yǔ)言模型）設(shè)計(jì)的——你可以更快。完整的測(cè)試結(jié)果，請(qǐng)查看我的ollama-benchmark倉(cāng)庫(kù)：在配備AMD W7700的Pi 5上測(cè)試Deepseek R1 Qwen 14B。

結(jié)論

AI仍然處于巨大的泡沫中。Deepseek發(fā)布后，英偉達(dá)在一天內(nèi)市值蒸發(fā)了超過5000億美元。

但他們的股價(jià)仍然是2023年的8倍，而且現(xiàn)在似乎并沒有人們減少對(duì)AI的炒作。