為什么人工智能 （AI），特別是神經(jīng)網(wǎng)絡(luò)，如今如此流行？

這些算法背后的數(shù)學(xué)和科學(xué)是幾十年前開發(fā)的，但直到最近幾年，神經(jīng)網(wǎng)絡(luò)驅(qū)動的人工智能才開始起飛。那么，是什么讓神經(jīng)網(wǎng)絡(luò)在過去的不足之處取得了成功呢？

通常情況下，有一個關(guān)鍵事件會催化任何技術(shù)從“利基”到“轉(zhuǎn)型”的階段轉(zhuǎn)變。圖形處理單元 （GPU） 從圖形設(shè)備到通用計(jì)算機(jī)的重新構(gòu)想是當(dāng)前 AI 革命結(jié)晶的核心。GPU 可以加速一組特定的數(shù)學(xué)運(yùn)算：向量和矩陣變換。它們使我們能夠在實(shí)際時間內(nèi)處理信息，但僅憑 GPU 無法將我們帶到這里。人工智能革命的發(fā)生是因?yàn)?GPU 提供了強(qiáng)大的動力，

如果不是研究人員和開發(fā)人員大軍創(chuàng)建了抽象出直接編程 GPU 的細(xì)微差別和困難的庫，那么 GPU 驅(qū)動的神經(jīng)網(wǎng)絡(luò)加速突破將仍然是利基市場。這對于解決各種用例面臨的挑戰(zhàn)非常有效。但是，這些庫不遵循安全關(guān)鍵開發(fā)指南，而這些指南越來越成為許多應(yīng)用程序的基本要求。

當(dāng)我們審視自主性以及依賴安全性、確定性和可靠性的嵌入式行業(yè)時，我們發(fā)現(xiàn)自己又回到了相變的起點(diǎn)。我們有 GPU，通過 Khronos Group 的 Vulkan? SC，我們有一個 API，它支持安全關(guān)鍵圖形和計(jì)算 GPU 編程?，F(xiàn)在，我們需要一個位于 Vulkan SC 安全層之上的補(bǔ)充庫集合，這些庫遵循安全關(guān)鍵準(zhǔn)則和標(biāo)準(zhǔn)，以將我們從利基市場帶入主流。

CoreAVI 通過引入 ComputeCore 開始了這場革命。ComputeCore 是 CoreAVI 對線性代數(shù) （BLAS） API 的實(shí)現(xiàn)。線性代數(shù)，尤其是向量，是所有 AI 算法的燃料。立即選擇您最喜歡的 AI 引擎。該引擎運(yùn)行速度很快，因?yàn)樗幸粋€ BLAS 庫來加速所有向量操作。ComputeCore 正是這樣做的，但它的實(shí)施是為了滿足航空電子、汽車和工業(yè)市場的功能安全認(rèn)證標(biāo)準(zhǔn)（DO-178C、A 級、ISO 26262 ASIL D 和 IEC61508 SIL 3）。向量和矩陣是人工智能和數(shù)據(jù)處理的核心。這經(jīng)常被提及，但幾乎從未解釋過。讓我們來看看。

什么是數(shù)據(jù)處理？

當(dāng)我們想到數(shù)據(jù)處理時，即廣義上的數(shù)據(jù)處理，即獲取一些信息并以某種方式對其進(jìn)行轉(zhuǎn)換時，有一個數(shù)據(jù)結(jié)構(gòu)是任何和所有處理的核心，那就是向量。無論如何，向量有什么特別之處？

當(dāng)我們談到數(shù)據(jù)處理時，我們指的是獲取信息并對其進(jìn)行修改的能力。在某些情況下，我們希望轉(zhuǎn)換信息以便從中提取知識。這就是機(jī)器學(xué)習(xí)的情況。我們可能會拍攝一張圖像并以一種可以告訴我們場景中存在哪些對象的方式對其進(jìn)行轉(zhuǎn)換。我們這樣做是為了計(jì)算機(jī)視覺，實(shí)現(xiàn)自動駕駛汽車。我們還可以通過模糊、銳化或提取有關(guān)場景中結(jié)構(gòu)的邊緣信息來轉(zhuǎn)換圖像。這些操作是強(qiáng)大的視覺管道中的常見步驟。

數(shù)據(jù)也可能是非可視的?？紤]一個天氣預(yù)報系統(tǒng)，我們希望系統(tǒng)預(yù)測一年中給定日期的最高和最低溫度。在這種情況下，系統(tǒng)的輸入可能是一組歷史數(shù)據(jù)樣本，這些樣本描述了過去十年中給定位置的一年中每一天的溫度范圍。在任何情況下，數(shù)據(jù)樣本都是一個信息單元。分析圖像時，數(shù)據(jù)樣本是單個圖像。在分析患者的臨床病史以嘗試預(yù)測該患者患心臟病的風(fēng)險時，數(shù)據(jù)樣本是單個患者。數(shù)據(jù)樣本由以某種方式描述樣本的特征列表組成。在圖像的情況下，特征是構(gòu)成圖像的像素。在醫(yī)療病人的情況下，這些特征是描述該患者的屬性：年齡、性別、吸煙習(xí)慣、家族中的心臟病史以及與他們的臨床病史相關(guān)的其他信息。當(dāng)我們將每個數(shù)據(jù)樣本視為特征的集合時，這種觀點(diǎn)與向量的概念非常吻合。

將數(shù)據(jù)樣本轉(zhuǎn)換為向量

我們?nèi)绾螌D像和患者轉(zhuǎn)換為向量？對于圖像，我們將每個像素的顏色解釋為一個數(shù)值并構(gòu)造一個像素值列表。例如，一個寬度為 2 像素、高度為 2 像素的圖像將生成一個具有 4 個值的向量，并且可能如下所示：［10，0，245，50］，其中每個值表示該像素的顏色強(qiáng)度。 更高分辨率的圖像會產(chǎn)生更高維度的矢量，例如，256x256 像素的圖像會產(chǎn)生 65，536 個值的矢量。

患者信息也可以通過使用數(shù)字對每個特征的含義進(jìn)行編碼來向量化，例如 1 = 男性，0 = 女性，1 = 家族中有心臟病史，0 = 沒有心臟病等。將數(shù)據(jù)樣本轉(zhuǎn)換為向量是在兩個非常重要的方面很有用：它有助于以一種易于與每個單獨(dú)樣本相關(guān)的方式封裝特征列表，其次，解釋向量以幾何方式揭示有關(guān)數(shù)據(jù)集中樣本如何相互關(guān)聯(lián)的信息。例如，假設(shè)我們要創(chuàng)建一種算法，可以學(xué)習(xí)區(qū)分汽車和行人的圖像。我們首先將圖像解釋為向量。幾何上，

圖 1. 此圖說明了笛卡爾坐標(biāo)系中的 3D 矢量 V1。向量是從原點(diǎn)開始到由其 3 個分量定義的點(diǎn)結(jié)束的線：x、y、z。

雖然我們無法直觀地表示維度高于 3D 的向量，但在數(shù)學(xué)上我們?nèi)匀豢梢允褂孟嗤姆匠虂聿僮魉鼈?。向量如此特別的原因在于，當(dāng)我們對它們進(jìn)行幾何解釋時，指向相似方向的向量具有相似的屬性。例如，當(dāng)我們將汽車和行人的圖像解釋為某個多維空間（稱為超空間）中的向量時，雖然我們無法可視化該向量所指向的方向，但我們可以計(jì)算它，并且可以比較向量屬于汽車的圖像和屬于行人圖像的向量。事實(shí)證明，汽車圖像的矢量指向大致相同的方向，行人圖像的矢量指向與其他行人圖像相似的方向，但遠(yuǎn)離汽車矢量。

要創(chuàng)建一種可以學(xué)習(xí)自動區(qū)分汽車和行人的算法，意味著以數(shù)學(xué)方式操縱這些向量以了解它們指向的方向并找到將汽車和行人向量所在空間一分為二的線或超平面。一旦我們找到超平面，算法就可以簡單地通過知道它的向量落在直線的哪一側(cè)、所有汽車向量所在的一側(cè)或所有行人向量所在的一側(cè)來對全新圖像進(jìn)行分類。

這就是為什么人工智能算法最終都會執(zhí)行大量的向量運(yùn)算。這是因?yàn)檩斎霐?shù)據(jù)通常表示為向量，因?yàn)檫@樣做在幾何上是有利的。在 AI 中經(jīng)常使用的另一種數(shù)據(jù)結(jié)構(gòu)是矩陣。其原因不應(yīng)該讓人感到意外。向量是值的集合。矩陣只是一個堆疊在另一個之上的向量的集合。在某些情況下，將向量組合為矩陣很有用，這樣我們就可以同時處理一組向量——例如一組輸入樣本。

計(jì)算工具——內(nèi)容、原因和方式

至此，我們已經(jīng)確定了人工智能中對向量和矩陣的需求。現(xiàn)在我們需要一種方法來快速執(zhí)行這些計(jì)算。

當(dāng)我們想到自動化時——例如，在繁忙的高速公路上無人駕駛的汽車，或者在倉庫或工廠中與人類一起工作的機(jī)器人——我們會想到實(shí)時執(zhí)行的系統(tǒng)，并產(chǎn)生實(shí)時后果。當(dāng)自動駕駛汽車沒有足夠的時間檢測到行人以避免碰撞時，人工智能算法本身可能不是故障的根源。實(shí)際上，該算法可能已經(jīng)正確地檢測到了行人，但檢測時間可能只花了幾毫秒。這個例子有助于說明幾件事。首先，這些系統(tǒng)需要盡可能快地執(zhí)行向量和矩陣數(shù)學(xué)。其次，在安全關(guān)鍵應(yīng)用中，這些操作需要在確定的時間內(nèi)發(fā)生。也就是說，我們需要能夠計(jì)算執(zhí)行算法的最壞情況執(zhí)行時間，這樣我們就可以在每個可預(yù)見的情況下確定系統(tǒng)是否有足夠的時間對執(zhí)行該算法的結(jié)果做出反應(yīng)。如果避開障礙物的機(jī)會之窗已經(jīng)過去，那么檢測障礙物將毫無用處。

為了解決這些問題，應(yīng)用程序和解決方案開發(fā)人員需要兩件事。首先，他們需要一個可以加速向量和矩陣運(yùn)算計(jì)算的工具。對于非安全關(guān)鍵用例，開源社區(qū)提供了大量免費(fèi)工具和框架。其中包括 Tensorflow、Pytorch、Caffe 和 Scikit-learn 等框架。

所有這些框架和庫都依賴于一個稱為 BLAS 庫的關(guān)鍵組件，如上所述，它提供了一組函數(shù)來加速向量和矩陣運(yùn)算。不幸的是，這些框架沒有按照功能安全標(biāo)準(zhǔn)實(shí)施。行業(yè)需要的是生產(chǎn)一套構(gòu)建塊工具和框架，按照安全關(guān)鍵標(biāo)準(zhǔn)和實(shí)踐構(gòu)建。這些框架必須包括保證確定性執(zhí)行的 GPU 驅(qū)動程序?qū)崿F(xiàn)。它們必須包括加速核心數(shù)學(xué)運(yùn)算的工具——例如 BLAS API 的安全關(guān)鍵實(shí)現(xiàn)。工具和框架必須為計(jì)算機(jī)視覺和圖像處理的基本預(yù)處理和后處理任務(wù)提供安全關(guān)鍵（確定性）解決方案，但也適用于一般機(jī)器學(xué)習(xí)任務(wù)，可幫助強(qiáng)大的人工智能管道中的每個決策過程。換句話說，該行業(yè)必須提供與非安全關(guān)鍵市場相同的解決方案，并且具有相同的復(fù)雜性，同時解決嚴(yán)重受限環(huán)境中的確定性和資源管理難題。

加速

到目前為止，我們已經(jīng)討論了處理向量和矩陣的必要性，并以確定的方式進(jìn)行處理。我們還說過，要快速執(zhí)行這些操作，我們需要一個執(zhí)行加速的工具。我們所說的加速是什么意思？

通常，當(dāng)我們想到軟件執(zhí)行時，我們會將 CPU 視為執(zhí)行編程指令的終端設(shè)備。系統(tǒng)中的大多數(shù)軟件都在 CPU 上運(yùn)行。事實(shí)上，我們可以使用 C 編程語言實(shí)現(xiàn) BLAS 并在 CPU 上執(zhí)行計(jì)算。這種方法的好處是嵌入式領(lǐng)域（實(shí)時設(shè)備、汽車、機(jī)器人）中的大多數(shù)程序員都熟悉 C 編程語言，并且有使用 C 開發(fā)安全關(guān)鍵軟件的標(biāo)準(zhǔn)實(shí)踐。

這種方法的缺點(diǎn)是 CPU 擅長快速執(zhí)行順序操作，但不擅長并行化工作。不幸的是，為大多數(shù) AI 算法處理向量和矩陣所涉及的任務(wù)被稱為“令人尷尬的并行問題”。因此，在可以并行執(zhí)行這些計(jì)算的機(jī)器上執(zhí)行這些計(jì)算符合我們的最大利益，而不是順序執(zhí)行。

結(jié)論

過去的十年對于人工智能來說是偉大的。研究界和開源工程界已經(jīng)產(chǎn)生了大量工具，為當(dāng)今的許多非安全關(guān)鍵產(chǎn)品提供動力。亞馬遜的 Alexa 或谷歌的 Home Assistant 等產(chǎn)品由最先進(jìn)的自然語言處理 （NLP） 算法提供支持。

工具生態(tài)系統(tǒng)使對這些算法的突破性研究成為可能，使工程師和科學(xué)家能夠相對輕松地開發(fā)和訓(xùn)練復(fù)雜的神經(jīng)網(wǎng)絡(luò)，并加速 GPU 設(shè)備上的操作。這些工具包括 TensorFlow 和 PyTorch 等神經(jīng)網(wǎng)絡(luò)框架、Python 科學(xué)庫 scikit-learn 等統(tǒng)計(jì)和數(shù)據(jù)分析工具，以及 CUDA? 和 SYCL? 等高性能計(jì)算框架。

OpenCV 等圖像處理庫通過為常用算法和技術(shù)提供內(nèi)置功能，讓工程師的生活更輕松。事實(shí)上，這些可用的框架是如此成功和無處不在，以至于當(dāng)我們進(jìn)入安全關(guān)鍵領(lǐng)域時，許多人還沒有意識到這些工具在確定性和安全性很重要的地方是不可用的。但正如研究界使用的工具生態(tài)系統(tǒng)不僅僅是 CUDA 或 OpenCL?，安全關(guān)鍵行業(yè)也需要構(gòu)建一個安全關(guān)鍵工具和框架的生態(tài)系統(tǒng)。

BLAS 和 FFT 的安全關(guān)鍵實(shí)施是朝著正確方向邁出的一步，但我們需要我們的合作伙伴以及整個嵌入式和自治社區(qū)來幫助定義將為未來所有可靠設(shè)備提供動力的工具和安全關(guān)鍵 API。開源社區(qū)已經(jīng)展示了可以實(shí)現(xiàn)的目標(biāo)，并為我們的產(chǎn)品和想法的原型制作提供了一個很好的平臺，但我們知道 Python 庫不能確定地執(zhí)行。自主意味著責(zé)任。負(fù)責(zé)任的系統(tǒng)必須安全可靠。行業(yè)越早意識到這一點(diǎn)，我們就能越早離開沙箱，并根據(jù)嚴(yán)格的安全標(biāo)準(zhǔn)和準(zhǔn)則構(gòu)建基礎(chǔ)設(shè)施，以促進(jìn)安全自治的大規(guī)模部署。

審核編輯：郭婷