智能空間是最豐富的邊緣人工智能用例之一。從智能零售店到自主工廠，企業(yè)很快就能看到這項創(chuàng)新技術(shù)的價值。然而，構(gòu)建和擴(kuò)展智能空間需要許多不同的技術(shù)，包括多種應(yīng)用。在邊緣位置操作多個應(yīng)用程序可能很復(fù)雜。

為此，組織可能會向某個位置添加新硬件，以便每個應(yīng)用程序都有專用的計算資源，但與購買和安裝每個新應(yīng)用程序的新硬件相關(guān)的成本可能會很高。許多組織在同一設(shè)備上部署多個應(yīng)用程序。

雖然這是一種規(guī)模解決方案，但它可能會帶來不同的挑戰(zhàn)。

許多組織依靠 GPU 的性能來支持邊緣應(yīng)用程序。即使使用高性能 GPU 加速系統(tǒng)，使用時間切片在同一設(shè)備上同時運(yùn)行兩個或多個 AI 應(yīng)用程序也不可避免地會導(dǎo)致更高的延遲，而硬件優(yōu)化最少。

當(dāng)多個應(yīng)用程序在同一設(shè)備上運(yùn)行時，設(shè)備將應(yīng)用程序時間切片到隊列中，以便應(yīng)用程序按順序運(yùn)行，而不是并發(fā)運(yùn)行。當(dāng)設(shè)備從一個應(yīng)用程序的處理數(shù)據(jù)切換到另一個應(yīng)用程序時，結(jié)果總是有延遲。每個部署的延遲量不同，但可能高達(dá) 8 毫秒。這可能會嚴(yán)重影響為高速操作提供動力的應(yīng)用，例如制造生產(chǎn)線。

由于應(yīng)用程序是按順序運(yùn)行的， GPU 僅在每個應(yīng)用程序運(yùn)行時根據(jù)需要使用。例如，如果有三個應(yīng)用程序在 GPU 上順序運(yùn)行，并且每個應(yīng)用程序需要 60% 的 GPU 資源，那么在任何給定時間，使用的 GPU 都不到 60% 。在每次上下文切換期間， GPU 利用率將為 0% 。

有幾種方法可以避免時間分割，更好地利用 GPU 資源。

NVIDIA 多實(shí)例 GPU

NVIDIA 多實(shí)例 GPU （ MIG ） 是一種功能，使您能夠?qū)?GPU 劃分為多個實(shí)例，每個實(shí)例都有自己的計算核心，從而實(shí)現(xiàn) GPU 的全部計算能力。 MIG 通過隔離應(yīng)用程序并為每個應(yīng)用程序分配資源，緩解了應(yīng)用程序爭奪資源的問題。 MIG 還允許更好的資源優(yōu)化和低延遲。

通過提供多達(dá)七個不同的分區(qū)，您可以支持從最小到最大的每個工作負(fù)載，并提供有效操作每個已部署應(yīng)用程序所需的確切計算能力。

除了性能之外， MIG 還為每個實(shí)例的計算、內(nèi)存和緩存分配了一組硬件資源，從而增加了安全性和彈性。 MIG 為工作負(fù)載提供故障隔離，其中一個實(shí)例中運(yùn)行的應(yīng)用程序引起的故障不會影響其他實(shí)例上運(yùn)行的應(yīng)用程序。如果一個工作負(fù)載失敗，所有其他工作負(fù)載將繼續(xù)不間斷地運(yùn)行，因?yàn)閷?shí)例和工作負(fù)載并行運(yùn)行，同時保持獨(dú)立和隔離。

MIG 同樣適用于容器或虛擬機(jī)（ VM ）。當(dāng)使用虛擬機(jī)時，使用 NVIDIA vGPU 可以很容易地虛擬化 GPU ，可以將其配置為使用時間切片或 MIG 。

MIG 用于邊緣 AI

在部署邊緣人工智能時，優(yōu)化成本、功率和空間都是重要的考慮因素，特別是如果您想要復(fù)制到數(shù)千個邊緣節(jié)點(diǎn)。通過允許組織在同一 GPU 上運(yùn)行多個應(yīng)用程序， MIG 消除了為每個工作負(fù)載安裝專用 GPU 的需要，顯著降低了資源需求。

除了資源優(yōu)化之外， MIG 還有助于確保可預(yù)測的應(yīng)用程序性能。如果沒有 MIG ，在同一 GPU 上運(yùn)行的不同作業(yè)（如不同的 AI 推斷請求）會爭奪相同的資源，如內(nèi)存和帶寬。由于時間切片中固有的資源競爭，一個應(yīng)用程序的性能可能會受到另一個應(yīng)用程序中活動的影響。對于邊緣人工智能環(huán)境，不可預(yù)測的性能可能會產(chǎn)生嚴(yán)重后果。

例如，監(jiān)控生產(chǎn)線以檢測產(chǎn)品缺陷的計算機(jī)視覺應(yīng)用程序必須能夠即時對其動態(tài)環(huán)境作出反應(yīng)。它必須能夠快速檢查產(chǎn)品，并且在出現(xiàn)缺陷產(chǎn)品的情況下，能夠與其他機(jī)器通信以停止生產(chǎn)線。為了安全和效率，組織必須知道，為其生產(chǎn)線供電的人工智能應(yīng)用程序一直在正確且可預(yù)測地運(yùn)行。

使用不同資源同時運(yùn)行的作業(yè)具有可預(yù)測的性能、服務(wù)質(zhì)量和最大 GPU 利用率，使 MIG 成為每個邊緣部署的重要補(bǔ)充。

圖 1 。每個 MIG 實(shí)例可以處理一個獨(dú)立的工作負(fù)載，優(yōu)化需要同時操作多個用例的環(huán)境

MIG on NVIDIA Fleet Command

Fleet Command 是一種云服務(wù)，集中連接邊緣位置的系統(tǒng)，從一個儀表板安全部署、管理和擴(kuò)展人工智能應(yīng)用程序。專門為邊緣人工智能構(gòu)建， Fleet Command 是跨數(shù)百甚至數(shù)千臺設(shè)備編排人工智能的最佳方式。

通過 Fleet Command 云平臺，管理員可以完全控制 MIG 進(jìn)行邊緣人工智能部署，只需最少的配置。在 Fleet Command 上使用 MIG 只需點(diǎn)擊幾下，您就可以跨數(shù)百甚至數(shù)千個設(shè)備做出資源利用率決策。您可以輕松地添加新的 MIG 分區(qū)，縮小現(xiàn)有分區(qū)，并創(chuàng)建自定義部署，所有這些都可以從一個儀表板上完成。

Fleet Command 和 MIG 的結(jié)合為組織提供了完全控制邊緣人工智能部署所需的所有功能，從而提高了工作負(fù)載的利用率和效率。

關(guān)于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計算解決方案的產(chǎn)品營銷經(jīng)理。在加入 Edge & Enterprise 業(yè)務(wù)部門之前，特洛伊曾在自主汽車業(yè)務(wù)部門和 NVIDIA 電網(wǎng)產(chǎn)品集團(tuán)從事營銷活動和支持產(chǎn)品 GTM 。

審核編輯：郭婷