Stable Diffusion是一種文本到圖像生成的大型深度學(xué)習(xí)模型，它可以根據(jù)文本的描述生成詳細(xì)的圖像，也可以用于其他任務(wù)，如圖像修復(fù)、圖像擴(kuò)展、圖像翻譯等。

它是基于潛在擴(kuò)散模型（Latent Diffusion Model）的一種變體，通過(guò)對(duì)圖像添加和去除噪聲來(lái)訓(xùn)練和生成圖像。

該模型由Stability AI和LAION聯(lián)合開發(fā)，目前是一個(gè)開源的AI平臺(tái)，有很多用戶和開發(fā)者貢獻(xiàn)了不同的預(yù)訓(xùn)練模型和插件。

一般情況下，跑Stable Diffusion需要的配置：

英偉達(dá)（Nvidia）的獨(dú)立顯卡，顯存不少于4GB，推薦8GB以上；內(nèi)存8GB以上，推薦16GB或以上；硬盤40GB以上的可用空間，最好是固態(tài)硬盤；操作系統(tǒng)支持Windows 10/11，macOS（僅限Apple Silicon或更新版本），Linux等。

但最近有人在樹莓派Zero 2上運(yùn)行Stable Diffusion了，而樹莓派Zero 2 只是內(nèi)存512MB 的單板計(jì)算機(jī)。

它的配置和規(guī)格如下：

處理器：Broadcom BCM2710A1，四核64位SoC（Arm Cortex-A53 @ 1GHz）

內(nèi)存：512MB LPDDR2

通訊：2.4GHz IEEE 802.11b/g/n無(wú)線局域網(wǎng)，藍(lán)牙4.2，BLE，帶天線的屏蔽罩

接口：1 × USB 2.0 OTG接口

HAT兼容的40針I(yè)/O頭插座（未焊接）

microSD卡插槽

Mini HDMI端口

CSI-2攝像頭連接器

視頻：HDMI接口

復(fù)合的視頻和復(fù)位引腳焊點(diǎn)

多媒體：H.264, MPEG-4解碼（1080p30）

H.264編碼（1080p30）

OpenGL ES 1.1, 2.0圖形

輸入電源：5V DC 2.5A

工作溫度：-20°C to +70°C

Raspberry Pi Zero 2 W的尺寸是65mm × 30mm，與原來(lái)的Raspberry Pi Zero一樣。它的性能比原來(lái)的單核Raspberry Pi Zero提高了五倍。一般用于智能家居、物聯(lián)網(wǎng)等項(xiàng)目。

為了讓更多低配置的計(jì)算機(jī)也能用Stable Diffusion出圖。

一個(gè)名為vitoplantamura的開發(fā)者決定寫一個(gè)超小的推理庫(kù)，讓260MB內(nèi)存的單板機(jī)也能將Stable Diffusion跑起來(lái)。終于，他成功了。

他用C++開發(fā)的OnnxStream，是一個(gè)能夠在低內(nèi)存設(shè)備上運(yùn)行 Stable Diffusion 的推理庫(kù)，它通過(guò)分離推理引擎和權(quán)重提供器，以及量化等技術(shù)，完成了在樹莓派 Zero 2 上生成圖像的挑戰(zhàn)。

與微軟的OnnxStream相比，vitoplantamura的OnnxStream只需要 1/55 的內(nèi)存就可以達(dá)到同樣的效果，但（在 CPU 上的）速度只比前者慢 0.5-2 倍。

雖然運(yùn)行速度較慢，但它卻是大模型在更小、更有限的設(shè)備上部署的嶄新嘗試。

審核編輯：劉清