CEVA， Inc.推出的適用于人工智能和機器學習 （AI/ML） 推理工作負載的最新一代處理器架構(gòu) NeuPro-M。

NeuPro-M針對 Edge AI 和 Edge Compute 的廣闊市場， 是一個自包含的異構(gòu)架構(gòu)，由多個專用協(xié)處理器和可配置的硬件加速器組成，可無縫同時處理深度神經(jīng)網(wǎng)絡的各種工作負載，將性能提升 5 -15X 與其前身相比。

作為業(yè)界首創(chuàng)，NeuPro-M 支持片上系統(tǒng) （SoC） 和異構(gòu) SoC （HSoC） 可擴展性，可實現(xiàn)高達 1，200 TOPS，并提供可選的穩(wěn)健安全啟動和端到端數(shù)據(jù)隱私。

NeuPro–M 兼容處理器最初包括以下預配置內(nèi)核：

NPM11 – 單個 NeuPro-M 引擎，在 1.25GHz 時高達 20 TOPS

NPM18 – 8 個 NeuPro-M 引擎，在 1.25GHz 時高達 160 TOPS

據(jù)該公司稱，在處理 ResNet50 卷積神經(jīng)網(wǎng)絡時，單個 NPM11 內(nèi)核實現(xiàn)了 5 倍的性能提升和 6 倍的內(nèi)存帶寬減少，從而實現(xiàn)了高達每瓦 24 TOPS 的合適功率效率。

NeuPro-M 能夠處理所有已知的神經(jīng)網(wǎng)絡架構(gòu)，以及對下一代網(wǎng)絡（如轉(zhuǎn)換器、3D 卷積、自注意力和所有類型的遞歸神經(jīng)網(wǎng)絡）的集成原生支持。NeuPro-M 經(jīng)過優(yōu)化，可處理 250 多個神經(jīng)網(wǎng)絡、450 多個 AI 內(nèi)核和 50 多個算法。嵌入式矢量處理單元 （VPU） 確保基于未來的軟件支持新的神經(jīng)網(wǎng)絡拓撲和 AI 工作負載的新進展。此外，CDNN 離線壓縮工具可以將 NeuPro-M 的 FPS/Watt 提高 5-10 倍，用于常見基準測試，而對準確性的影響最小。

NeuPro-M 異構(gòu)架構(gòu)由特定功能的協(xié)處理器和負載平衡機制組成，與前代產(chǎn)品相比，它們是性能和效率飛躍的主要貢獻者。通過將控制功能分配給本地控制器并以分層方式實現(xiàn)本地內(nèi)存資源，NeuPro-M 實現(xiàn)了數(shù)據(jù)流的靈活性，可實現(xiàn) 90% 以上的利用率，并在任何給定時間防止不同協(xié)處理器和加速器的數(shù)據(jù)不足。 CDNN 框架通過實踐針對特定網(wǎng)絡、所需帶寬、可用內(nèi)存和目標性能所采用的各種數(shù)據(jù)流方案來獲得最佳負載平衡。

NeuPro-M 架構(gòu)亮點包括：

由 4K MAC（乘加）組成的主網(wǎng)格陣列，混合精度為 2-16 位。

用于權(quán)重和激活的 Winograd 變換引擎，將卷積時間減少 2 倍，并允許 8 位卷積處理，精度下降 《0.5%。

稀疏引擎可避免每層使用零值權(quán)重或激活的操作，從而獲得高達 4 倍的性能提升，同時降低內(nèi)存帶寬和功耗。

完全可編程的向量處理單元，用于處理具有所有數(shù)據(jù)類型的新的不受支持的神經(jīng)網(wǎng)絡架構(gòu)，從 32 位浮點到 2 位二進制神經(jīng)網(wǎng)絡 （BNN）。

可配置的權(quán)重和數(shù)據(jù)壓縮到 2 位，同時存儲到內(nèi)存中，并在讀取時實時解壓縮，以減少內(nèi)存帶寬。

動態(tài)配置的兩級存儲器架構(gòu)可最大限度地減少因與外部 SDRAM 之間的數(shù)據(jù)傳輸而導致的功耗。

為了說明這些功能在 NeuPro-M 架構(gòu)中的優(yōu)勢，同時使用 Winograd 變換、稀疏引擎和低分辨率 4x4 位激活的正交機制，可將 Resnet50 等網(wǎng)絡的循環(huán)計數(shù)減少 3 倍以上和 Yolo V3。

由于神經(jīng)網(wǎng)絡權(quán)重和偏差、數(shù)據(jù)集和網(wǎng)絡拓撲成為所有者的關鍵知識產(chǎn)權(quán)，因此需要保護它們免遭未經(jīng)授權(quán)的使用。NeuPro-M 架構(gòu)以可選的信任根、身份驗證和加密加速器的形式支持安全訪問。

對于汽車市場，NeuPro-M 內(nèi)核及其 CEVA 深度神經(jīng)網(wǎng)絡 （CDNN） 深度學習編譯器和軟件工具包符合汽車 ISO26262 ASIL-B 功能安全標準，并符合嚴格的質(zhì)量保證標準 IATF16949 和 A-Spice。

結(jié)合 CEVA 的神經(jīng)網(wǎng)絡編譯器 CDNN 及其強大的軟件開發(fā)環(huán)境，NeuPro-M 為客戶提供了一個完全可編程的硬件/軟件 AI 開發(fā)環(huán)境，以最大限度地提高他們的 AI 性能。CDNN 包含的軟件可以充分利用客戶的 NeuPro-M 定制硬件來優(yōu)化功率、性能和帶寬。CDNN 軟件還包括一個內(nèi)存管理器，用于減少內(nèi)存和優(yōu)化負載平衡算法，并廣泛支持各種網(wǎng)絡格式，包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等。CDNN 與常見的開源框架兼容，包括 Glow、tvm、Halide 和 TensorFlow，并在使用精度守恒方法的同時包括“層融合”和“訓練后量化”等模型優(yōu)化功能。

NeuPro-M 可用于今天的主要客戶許可和今年第二季度的一般許可。NeuPro-M 客戶還可以從 CEVA 的異構(gòu) SoC 設計服務中受益，以幫助集成和支持系統(tǒng)設計和小芯片開發(fā)。

審核編輯：郭婷