如今，幾乎所有企業(yè)都開發(fā)或采用應用軟件，對發(fā)票、人力資源檔案或產(chǎn)品規(guī)格等信息的處理進行編碼。整個行業(yè)已經(jīng)開始在集中式數(shù)據(jù)中心或云中，以及在商店、工廠和家用電器等邊緣位置部署和執(zhí)行這些企業(yè)應用程序。

最近，企業(yè)軟件的性質發(fā)生了變化，因為開發(fā)人員現(xiàn)在將人工智能納入了他們的應用程序中。根據(jù) Gartner 的數(shù)據(jù)，到 2027 年，深度學習形式的機器學習將包含在超過 65% 的 edge 用例中，而 2021 這一比例還不到 10% *。使用 AI ，您不需要為每個可能的輸入編碼輸出。相反，人工智能模型從訓練數(shù)據(jù)中學習模式，然后將這些模式應用于新的輸入。

自然，管理基于 AI 的應用程序所需的過程不同于為純粹確定性、基于代碼的應用程序而發(fā)展的管理。這是真的，尤其是對于邊緣的基于 AI 的應用程序，在這些應用程序中，計算資源和網(wǎng)絡帶寬都很稀缺，并且容易訪問設備會帶來安全風險。

基于 AI 的應用程序受益于新的工具和過程，可以在邊緣安全地部署、管理和擴展。

傳統(tǒng)企業(yè)軟件與邊緣 AI 應用程序之間的差異

傳統(tǒng)企業(yè)軟件和邊緣 AI 應用程序的設計和管理方式有四個根本區(qū)別：

集裝箱化

數(shù)據(jù)策略

更新

安全

集裝箱化

虛擬化一直是企業(yè)在世界各地的數(shù)據(jù)中心部署傳統(tǒng)應用程序時采用的主要部署和管理工具。對于傳統(tǒng)的應用程序和環(huán)境，虛擬化為在虛擬機監(jiān)控程序上運行的這些工作負載提供了結構、管理和安全性。

雖然虛擬化仍在幾乎每個數(shù)據(jù)中心使用，但我們看到容器技術在人工智能應用程序中的廣泛應用，尤其是在邊緣。在最近一份關于 The State of Cloud Native Development 的報告中，云原生計算基金會強調“……從事邊緣計算的開發(fā)人員對容器和Kubernetes 的使用率最高?！?6%的邊緣AI應用程序使用容器，63%使用Kubernetes。

為什么那么多開發(fā)人員在邊緣使用容器來處理 AI 工作負載？

表演

可擴展性

彈性

可移植性

表演

容器虛擬化主機操作系統(tǒng)的內核，而在傳統(tǒng)的虛擬化中，虛擬機監(jiān)控程序虛擬化物理硬件，并在每個實例中創(chuàng)建來賓操作系統(tǒng)。這允許容器以完全裸機性能運行，而不是接近裸機性能。這對于許多邊緣 AI 應用程序來說是至關重要的，尤其是那些具有安全相關用例的應用程序，其中響應時間以亞毫秒為單位。

容器還可以在同一個系統(tǒng)上運行多個應用程序，從而提供整合，而不需要虛擬化的性能開銷。

可擴展性

邊緣 AI “數(shù)據(jù)中心”可能分布在數(shù)百個位置。基于云的管理平臺為管理員提供了集中管理環(huán)境的工具，這些環(huán)境可以擴展到數(shù)百和數(shù)千個位置。通過利用網(wǎng)絡和智能軟件進行擴展，而不是讓人員前往每個邊緣位置，可以降低成本、提高效率和恢復能力。

彈性

AI 應用程序通常通過擴展提供彈性。同一應用程序的多個克隆在負載平衡器后面運行，當克隆失敗時，服務將繼續(xù)。

即使邊緣環(huán)境只有一個節(jié)點，容器策略也可以確保應用程序自動重新啟動，使停機時間降到最低。

可移植性

將應用程序容器化后，可以將其部署在任何基礎設施上，無論是裸機、虛擬機還是各種公共云上。還可以根據(jù)需要放大或縮小它們。有了容器，應用程序可以像在任何云中一樣輕松地在邊緣服務器上運行。

虛擬機和容器在幾個方面有所不同，但它們是在單個平臺上部署多個獨立服務的兩種方法。許多供應商提供的解決方案同時適用于 Red Hat OpenShift 和 VMware Tanzu 這兩種環(huán)境。

邊緣環(huán)境既有虛擬化，也有容器化，但隨著越來越多的邊緣 AI 工作負載投入生產(chǎn)，預計將朝著裸機和容器的方向發(fā)展。

數(shù)據(jù)策略

下一個區(qū)別是數(shù)據(jù)在傳統(tǒng)邊緣應用程序和邊緣 AI 應用程序生命周期中的作用。

傳統(tǒng)的邊緣應用程序通常會接收少量結構化數(shù)據(jù)流，如買賣點交易、患者病歷或說明。處理后，應用程序會發(fā)回類似的結構化信息流，例如支付授權、分析結果或記錄搜索。當數(shù)據(jù)被使用時，它對應用程序不再有用。

與傳統(tǒng)應用程序不同，人工智能應用程序的生命周期超越了分析和推理，包括重新培訓和持續(xù)更新。 AI 應用程序從傳感器（通常是攝像頭）傳輸數(shù)據(jù)，并對數(shù)據(jù)進行推斷。一部分數(shù)據(jù)在邊緣位置收集，并共享回集中的數(shù)據(jù)中心或云，以便用于重新培訓應用程序。

由于這種對數(shù)據(jù)的依賴可以改進應用程序，因此，強大的數(shù)據(jù)策略至關重要。

從邊緣向數(shù)據(jù)中心或云傳輸數(shù)據(jù)的成本受數(shù)據(jù)大小、網(wǎng)絡帶寬以及應用程序需要更新的頻率的影響。以下是人們在邊緣 AI 應用程序中采用的一些不同的數(shù)據(jù)策略：

收集錯誤推論

收集所有數(shù)據(jù)

收集有趣的數(shù)據(jù)

收集錯誤推論

至少，一個組織應該收集所有錯誤的推論。當人工智能做出錯誤推斷時，需要識別、重新標記數(shù)據(jù)，并用于重新培訓，以提高模型精度。

然而，如果只使用錯誤的推斷進行再培訓，模型可能會經(jīng)歷一種稱為模型漂移的現(xiàn)象。

收集所有數(shù)據(jù)

選擇將其所有數(shù)據(jù)發(fā)送到中央存儲庫的組織通常會遇到帶寬和延遲不是限制因素的情況。這些組織使用這些數(shù)據(jù)重新培訓或調整并構建新模型?；蛘?，他們也可以將其用于批量數(shù)據(jù)處理，以收集不同的見解。

收集所有數(shù)據(jù)的好處是可以利用巨大的數(shù)據(jù)池。缺點是它的成本非常高。通常，移動那么多數(shù)據(jù)甚至都不可行。

收集有趣的數(shù)據(jù)

這是數(shù)據(jù)收集的最佳點，因為它平衡了對有價值數(shù)據(jù)的需求與傳輸和存儲數(shù)據(jù)的成本。

有趣的數(shù)據(jù)可以包含組織預期對其當前或未來模型或數(shù)據(jù)分析項目有價值的任何數(shù)據(jù)。例如，對于自動駕駛汽車，從天氣相似的相同街道收集的大多數(shù)數(shù)據(jù)不會顯著改變模型的訓練。然而，如果正在下雪，這些數(shù)據(jù)將有助于發(fā)送回中央存儲庫，因為它可以改進極端天氣下駕駛的模型。

更新

傳統(tǒng) edge 軟件的功能內容是通過代碼傳遞的。開發(fā)人員編寫并編譯在邊緣設備上執(zhí)行的指令序列。任何管理和編排平臺都必須適應軟件的更新，以修復缺陷、添加功能和修復漏洞。

開發(fā)團隊通常每月、每季度或每年發(fā)布新代碼，但并不是每個新版本都會立即推送到邊緣系統(tǒng)。相反， IT 團隊傾向于等待大量更新，只有在必要時才進行更實質性的更新。

相反， Edge AI 應用程序遵循不同的軟件生命周期，該生命周期以 AI 模型的培訓和再培訓為中心。每次模型更新都有可能提高準確性和精度，或增加或調整功能。模型更新的頻率越高，它就變得越準確，從而為組織提供額外的價值。

例如，如果一個檢驗 AI 應用程序的準確率從 75% 提高到 80% ，那么該組織會發(fā)現(xiàn)遺漏的缺陷更少，從而提高產(chǎn)品質量。此外，更少的誤報導致更少的產(chǎn)品浪費。

?

圖 1 ：。典型邊緣 AI 解決方案的生命周期

在圖 1 中，步驟 5 和 6 詳細說明了再培訓過程，這對于更新模型至關重要。

部署邊緣人工智能解決方案的組織應該經(jīng)常更新模型。通過從一開始就通過容器等云本地部署實踐構建再培訓流程，并實施強大的數(shù)據(jù)戰(zhàn)略，組織可以開發(fā)可持續(xù)的 edge AI 解決方案。

安全

對于許多 IT 團隊來說，邊緣計算代表著安全范式的巨大轉變。在 castle and moat 網(wǎng)絡安全模型中，網(wǎng)絡外部沒有人能夠訪問內部數(shù)據(jù)，但網(wǎng)絡內部的每個人都可以訪問。相反，邊緣環(huán)境本質上是不安全的，因為幾乎每個人都有物理訪問權限。

邊緣人工智能應用程序加劇了這一問題，因為它們是使用價值極高的企業(yè)知識產(chǎn)權構建的，而企業(yè)知識產(chǎn)權是企業(yè)的生命線。它代表了允許企業(yè)差異化的競爭優(yōu)勢，是其功能的核心。

雖然安全性對所有應用程序都很重要，但在使用 AI 應用程序時，提高邊緣的安全性也很重要。有關更多信息，請參閱 邊緣計算：安全架構師的考慮事項 。

人身安全

數(shù)據(jù)隱私

企業(yè)知識產(chǎn)權

訪問控制

人身安全

由于邊緣設備位于物理數(shù)據(jù)中心之外，因此邊緣計算站點的設計必須假定惡意參與者可以物理訪問計算機。為了應對這種情況，可以采用物理篡改檢測和安全引導等技術，作為額外的安全檢查。

數(shù)據(jù)隱私

Edge AI 應用程序通常存儲真實世界的數(shù)據(jù)，如語音和圖像，這些數(shù)據(jù)傳達了有關人們生活和身份的高度隱私信息。 Edge AI 開發(fā)人員肩負著保護此類私人數(shù)據(jù)寶庫的責任，以維護其用戶的信任并遵守法規(guī)。

企業(yè)知識產(chǎn)權

推理引擎結合了對大量專有數(shù)據(jù)的學習以及機器學習團隊的專業(yè)知識和工作。將這些推理機的控制權交給競爭對手可能會極大地削弱公司在市場上的競爭力。

訪問控制

由于這些環(huán)境的分布式特性，幾乎可以保證有人需要遠程訪問它們。實時（ JIT ）訪問是一種策略，用于確保向人員授予在有限時間內完成任務所需的最低權限。

設計邊緣 AI 環(huán)境

隨著企業(yè)從部署傳統(tǒng)企業(yè)應用程序轉向邊緣 AI 應用程序，維護支持傳統(tǒng)應用程序的相同基礎架構并不是一個可擴展的解決方案。

對于成功的 edge AI 應用程序，更新組織的部署方法、數(shù)據(jù)策略、更新節(jié)奏和安全策略非常重要。

NVIDIA 提供的軟件可幫助企業(yè)在任何地方開發(fā)、部署和管理其 AI 應用程序。

例如，幫助組織跨我們創(chuàng)建的分布式位置管理和部署多個 AI 工作負載 NVIDIA Fleet Command ，一個用于容器編排的托管平臺，可優(yōu)化邊緣系統(tǒng)和 AI 應用程序的供應和部署。

為了幫助企業(yè)快速起步，我們創(chuàng)建了 NVIDIA LaunchPad ，這是一個免費的程序，提供對必要硬件和軟件堆棧的即時、短期訪問，以體驗端到端解決方案工作流，例如構建和部署 AI 應用程序。

關于作者

Tiffany Yeung 是 NVIDIA Edge 和企業(yè)計算解決方案的產(chǎn)品營銷經(jīng)理。 Tiffany 專注于利用 NVIDIA 邊緣解決方案使醫(yī)院、商店、倉庫、工廠等實現(xiàn)創(chuàng)新。在 NVIDIA 之前， Tiffany 的背景是創(chuàng)業(yè)，她曾為許多財富 500 強公司提供咨詢。

審核編輯：郭婷