Hailo的首席技術(shù)官Avi Baum致力于引領(lǐng)公司的技術(shù)發(fā)展和產(chǎn)品創(chuàng)新。此前，他曾在德州儀器（Texas Instruments）擔(dān)任無線連接業(yè)務(wù)的首席技術(shù)官，負(fù)責(zé)推動物聯(lián)網(wǎng)（IoT）和工業(yè)物聯(lián)網(wǎng)（IIoT）市場中互聯(lián)微控制器（MCU）的戰(zhàn)略規(guī)劃。此外，他還在以色列國防軍擔(dān)任過高級架構(gòu)師和管理職務(wù)。

作為一家源自以色列的人工智能芯片企業(yè)，Hailo始終專注于為自動駕駛汽車、智能攝像頭及機器人等應(yīng)用領(lǐng)域，研發(fā)具備高性能與低功耗特性的邊緣人工智能處理器。同時，該公司還提供完備的軟件套件，并依托全球合作伙伴生態(tài)系統(tǒng)提供有力支持。

您能否分享一下，最初是什么吸引您投身于邊緣人工智能領(lǐng)域，以及您早期的工程經(jīng)歷如何影響了您對處理器設(shè)計的思考？

我的職業(yè)生涯使我得以深入涉足多個新興市場領(lǐng)域。在任職于半導(dǎo)體行業(yè)領(lǐng)軍企業(yè)德州儀器期間，我曾主導(dǎo)系統(tǒng)級設(shè)計與架構(gòu)工作，負(fù)責(zé)產(chǎn)品定義部門工作，并隨后出任該部門首席技術(shù)官一職。這段寶貴經(jīng)歷激勵我持續(xù)探索那些有望引領(lǐng)未來發(fā)展趨勢的前沿技術(shù)。

2017年，在創(chuàng)立Hailo之際，我們深刻認(rèn)識到，盡管人工智能在云端領(lǐng)域已展現(xiàn)出蓬勃生機，但其同樣具備成為邊緣設(shè)備賦能關(guān)鍵技術(shù)的巨大潛力?；诖?，我們明確了發(fā)展方向，并毅然踏上了這條探索之路。

隨著生成式人工智能在邊緣端的拓展，為何每秒萬億次操作（TOPS）不再是評估處理器性能的充分指標(biāo)？

長期以來，TOPS一直是評估人工智能硬件性能的主要指標(biāo)。然而，在邊緣生成式人工智能時代，這一指標(biāo)已顯得力不從心。經(jīng)典模型的核心在于將大量數(shù)據(jù)轉(zhuǎn)化為有意義的洞察，因此處理輸入數(shù)據(jù)所需的計算量隨著待處理數(shù)據(jù)量的增加而增長。這類模型通常規(guī)模較小，相較于其處理的數(shù)據(jù)量而言，訪問模型參數(shù)所帶來的額外帶寬成本相對較小。

然而，生成式模型的規(guī)模顯著增大，參數(shù)數(shù)量可達數(shù)十億。在這種情況下，內(nèi)存帶寬成為一個不可忽視的因素。因此，我們不應(yīng)僅關(guān)注TOPS指標(biāo)，而應(yīng)著重評估處理器在真實環(huán)境下如何平衡計算與內(nèi)存資源。關(guān)鍵不在于追求最高的計算量，而在于根據(jù)處理器所需處理的工作負(fù)載來優(yōu)化架構(gòu)。

為何在邊緣人工智能工作負(fù)載中，內(nèi)存帶寬如今成為比算力更為關(guān)鍵的瓶頸，特別是對于大型語言模型（LLMs）和視覺語言模型（VLMs）而言？

對于邊緣人工智能工作負(fù)載，尤其是涉及大型語言模型或視覺語言模型的任務(wù)，內(nèi)存帶寬正迅速成為主要的性能瓶頸。這些模型的參數(shù)規(guī)模通常在5億至80億之間，超出了片上內(nèi)存的容量，需要依賴片外內(nèi)存（如動態(tài)隨機存取存儲器DRAM）進行訪問。這大大增加了對內(nèi)存帶寬的需求。例如，一個擁有10億參數(shù)的模型在標(biāo)準(zhǔn)LPDDR4X接口下，在最佳條件下每秒可生成多達約40個token。然而，若要維持這一速率，一個擁有40億參數(shù)的模型所需的帶寬將是前者的四倍多。若帶寬不足，性能將受到影響，原因并非算力有限，而是處理器無法快速輸入數(shù)據(jù)。這種計算與內(nèi)存之間的不平衡是邊緣部署生成式人工智能面臨的最緊迫挑戰(zhàn)之一。在逐層計算的架構(gòu)中，這一問題尤為突出，因為中間結(jié)果也會增加內(nèi)存流量，進一步加劇帶寬壓力。

在為真實的邊緣應(yīng)用設(shè)計產(chǎn)品時，產(chǎn)品團隊?wèi)?yīng)如何重新思考其基準(zhǔn)測試策略？

產(chǎn)品團隊?wèi)?yīng)摒棄僅依賴TOPS等單一性能指標(biāo)的做法，轉(zhuǎn)而采用能夠反映邊緣部署實際情況的基準(zhǔn)測試策略。這首先需要深入理解具體的應(yīng)用場景、處理器所需處理的實際工作負(fù)載，并確定“工作點”，即功率、成本和延遲約束的交集。在此基礎(chǔ)上，評估計算與內(nèi)存在這些條件下的相互作用。一個擁有高TOPS值的處理器若內(nèi)存帶寬有限，其性能將大打折扣；同樣，若算力不足，增加內(nèi)存也無濟于事。

團隊?wèi)?yīng)評估處理器在感知、增強和生成式工作負(fù)載等不同任務(wù)中的持續(xù)性能表現(xiàn)，因為這些任務(wù)對處理器的要求各不相同。目標(biāo)并非優(yōu)化峰值性能指標(biāo)，而是確保處理器在真實環(huán)境中的各種預(yù)期應(yīng)用場景下都能保持均衡的性能表現(xiàn)。

這是一種從“單一”指標(biāo)向更復(fù)雜方法的自然轉(zhuǎn)變，反映了平臺的使用方式和評估標(biāo)準(zhǔn)，類似于其他主流架構(gòu)（如SPEC、Coremark、3DMark等）所經(jīng)歷的轉(zhuǎn)變。

功率和成本約束如何影響Hailo處理器背后的架構(gòu)決策，特別是對于面向消費者的邊緣設(shè)備而言？

在設(shè)計面向邊緣設(shè)備的人工智能處理器時，功率和成本是兩個最為關(guān)鍵的約束條件，尤其是在面向消費者的產(chǎn)品中。在物聯(lián)網(wǎng)傳感器或智能家居助手等緊湊型設(shè)備中，功率預(yù)算極為有限，且通常沒有主動冷卻系統(tǒng)，因此能效成為至關(guān)重要的考量因素。每增加一份計算或內(nèi)存資源，都會帶來額外的功耗和熱量，直接影響設(shè)備的可用性和電池壽命。

成本同樣具有重要影響。消費者設(shè)備必須保持在具有競爭力的價格水平，這意味著處理器在達到經(jīng)濟不可行性之前，只能包含有限的TOPS和內(nèi)存容量。這些約束迫使我們在架構(gòu)設(shè)計上做出艱難的權(quán)衡。我們優(yōu)先考慮那些能夠在嚴(yán)格的功率和成本限制下，滿足實際應(yīng)用需求的計算與內(nèi)存平衡設(shè)計，確保邊緣人工智能在廣泛的消費者產(chǎn)品中具有可行性、高效性和可擴展性。

能否詳細(xì)介紹一下您如何為應(yīng)用定義“工作點”，以及為何這在邊緣人工智能部署中如此重要？

定義“工作點”是設(shè)計系統(tǒng)時最為關(guān)鍵的步驟之一。它指的是功率、成本和延遲約束的交集，這些約束共同決定了在特定部署場景下實際可達到的性能水平。與云端不同，在云端可以通過增加計算或內(nèi)存資源來解決問題，而邊緣設(shè)備則必須在固定的限制條件下運行。這意味著我們必須根據(jù)應(yīng)用的實際需求做出明智的權(quán)衡。例如，物聯(lián)網(wǎng)傳感器可能更注重能效而非原始性能，而自動駕駛系統(tǒng)則可能要求超低延遲，無論功耗如何。一旦確定了工作點，我們就可以評估處理器是否具備滿足這一需求的計算與內(nèi)存平衡。關(guān)鍵不在于在各個方向上最大化性能指標(biāo)，而在于確保處理器在實際應(yīng)用條件下能夠保持持續(xù)、可靠的性能表現(xiàn)。

一般來說，工作點是關(guān)鍵性能指標(biāo)達到最優(yōu)的點。若未能做到這一點，可能導(dǎo)致平臺在最典型的使用場景下運行不佳。舉個簡單的例子，有人可能設(shè)計出一個在極高分辨率輸入下效率極高的人工智能分析系統(tǒng)，但如果該系統(tǒng)被部署在永遠(yuǎn)無法達到這一分辨率的系統(tǒng)中，那么這種優(yōu)化就毫無意義。

在現(xiàn)代設(shè)備中，視頻、音頻和語言常常融合在一起，您如何針對多模態(tài)模型進行優(yōu)化？

多模態(tài)模型需要精心平衡計算與內(nèi)存資源。每種模態(tài)對系統(tǒng)的壓力各不相同：視頻處理因高分辨率和幀率而計算密集，而語言和音頻處理則更為緊湊，但對內(nèi)存帶寬的要求更高。在諸如視覺語言處理等應(yīng)用中，這種差異尤為明顯：視頻處理推動計算需求，而語言模型則可能迅速遭遇內(nèi)存瓶頸。

我們通過分析這些工作負(fù)載在整個處理流程中的相互作用來進行優(yōu)化，確保處理器架構(gòu)能夠同時支持它們，避免一種模態(tài)影響另一種模態(tài)的性能表現(xiàn)。

邊緣模型規(guī)模的擴大如何加劇了延遲和功耗問題，系統(tǒng)級架構(gòu)在解決這些問題中扮演了什么角色？

隨著邊緣模型規(guī)模的擴大，延遲和功耗問題變得更加難以管理。更大的模型更依賴片外內(nèi)存，這增加了能耗和延遲，尤其是在內(nèi)存帶寬成為瓶頸的情況下。例如，將模型規(guī)模從10億參數(shù)擴大到40億參數(shù)，若要保持相同性能，所需的帶寬將超過四倍。然而，在實際應(yīng)用中，由于帶寬和系統(tǒng)級約束，性能并不會線性增長。

關(guān)鍵不在于擁有高TOPS值或大容量內(nèi)存，而在于這些組件如何相互作用。平衡的設(shè)計確保計算、內(nèi)存和帶寬能夠高效協(xié)同工作，防止某一資源限制整個系統(tǒng)的性能。

考慮到人工智能模型、工作負(fù)載和部署要求的快速發(fā)展，Hailo如何進行未來證明設(shè)計？

在邊緣人工智能領(lǐng)域進行未來證明設(shè)計，意味著要打造能夠處理各種不斷演變的工作負(fù)載的處理器。我們專注于構(gòu)建平衡的架構(gòu)，這些架構(gòu)并非僅針對單一任務(wù)進行優(yōu)化，而是能夠支持從感知功能（如目標(biāo)檢測）到生成式模型（如視覺語言模型）的各種應(yīng)用。每種類型的工作負(fù)載對計算和內(nèi)存的需求各不相同，因此我們在設(shè)計時注重靈活性，避免在不同工作負(fù)載之間切換時出現(xiàn)瓶頸。我們還考慮了各種應(yīng)用在功率、成本和延遲方面的實際限制。通過優(yōu)先考慮工作負(fù)載的多樣性和資源的平衡，我們旨在支持下一代邊緣人工智能在消費者和工業(yè)領(lǐng)域的部署。

然而，一種設(shè)計無法滿足所有需求，我們的產(chǎn)品組合針對特定的可尋址應(yīng)用進行了優(yōu)化，并努力在功率、外形尺寸等可用預(yù)算范圍內(nèi)找到最佳“工作點”。

開發(fā)者生態(tài)系統(tǒng)在最大化處理器價值方面發(fā)揮了什么作用，您如何確保團隊能夠充分利用Hailo的能力？

作為一款可編程設(shè)備，為開發(fā)者提供易于使用的工具以充分發(fā)揮處理器的潛力、縮短部署路徑并實現(xiàn)新的應(yīng)用場景至關(guān)重要。通過圍繞我們的處理器構(gòu)建完善的支持環(huán)境，我們幫助團隊在各種應(yīng)用場景中實現(xiàn)人工智能應(yīng)用。

對于正在為下一代產(chǎn)品選擇首款人工智能加速器的工程師或首席技術(shù)官，您有什么建議？

我認(rèn)為當(dāng)前的創(chuàng)新環(huán)境存在著巨大的創(chuàng)新潛力，能夠?qū)⑽覀兊南胂筠D(zhuǎn)化為實際產(chǎn)品。在快速變化的環(huán)境中，選擇一款能夠?qū)崿F(xiàn)從概念到部署快速循環(huán)的加速器至關(guān)重要。

審核編輯 黃宇