文章轉(zhuǎn)載于: Tengine開發(fā)者社區(qū)
作者:小O妹

算子自動優(yōu)化的發(fā)展趨勢
隨著AI技術(shù)的快速發(fā)展，深度學習在各個領(lǐng)域得到了廣泛應用。深度學習模型能否成功在終端落地應用，滿足產(chǎn)品需求，一個關(guān)鍵的指標就是神經(jīng)網(wǎng)絡模型的推理性能。于是，一大波算法工程師為了算法的部署轉(zhuǎn)崗算子優(yōu)化工程師。然而，優(yōu)化代碼并不是一件簡單的事，它要求工程師既要精通計算機體系架構(gòu)，又要熟悉算法的計算流程，于是，稍微有經(jīng)驗的深度學習推理優(yōu)化工程師都成了各家公司爭搶的“香餑餑”。人才少，需求多，算子優(yōu)化自動化是未來的大趨勢。
AutoKernel是什么？

最近，一個致力于降低優(yōu)化門檻，提升優(yōu)化開發(fā)效率的算子自動優(yōu)化工具AutoKernel開源了。

AutoKernel是一個高性能算子自動優(yōu)化工具，可以自動優(yōu)化調(diào)度策略、生成底層優(yōu)化代碼，大幅減少各硬件芯片算子開發(fā)成本，提升算子優(yōu)化效率，讓工程師更快實現(xiàn)深度學習算法在各硬件芯片上的高性能部署。
AutoKernel的定位
為了方便大家進一步理解AutoKernel，我們需要先了解一下深度學習推理計算平臺的層級。

深度學習的推理計算平臺可以分為以下幾個層級：
1、最上層對接各個深度學習訓練框架訓練出來的算法模型（Tensorflow, Caffe, Pytorch, Mxnet等）；
2、 Hign-level IR是計算圖(Computation Graph)層級。神經(jīng)網(wǎng)絡可以理解為計算圖(graph)，一個計算圖由多個算子(opterator)節(jié)點組成，這些節(jié)點可以是卷積算子(Convolution), 池化算子（Pooling), 全連接算子(Fc)等。這個層級可以進行一些圖層級的優(yōu)化，算子融合，子圖切分的操作等；
3、接下來就是算子(Operator/Kernel)層級。這個層級需要支持每個硬件后端的每個算子實現(xiàn)。目前的高性能算子計算庫主要是由資深HPC工程師(高性能計算優(yōu)化工程師）進行手工開發(fā)。AutoKernel就是算子層級的一個自動優(yōu)化工具，自動生成適應不同后端的算子優(yōu)化代碼；
4、最后是各硬件后端：GPU, ARM CPU, X86 CPU, NPU等。
AutoKernel目前屬于算子層級的自動優(yōu)化工具。
AutoKernel如何實現(xiàn)部署優(yōu)化？
部署優(yōu)化之前，我們先了解一下AutoKernel的三大特性：
·低門檻: 無需底層優(yōu)化匯編的知識門檻
·簡單易用: 提供docker環(huán)境，無需安裝環(huán)境，plugin一鍵集成到推理框架
·高效率: 無需手寫優(yōu)化匯編，一鍵生成優(yōu)化代碼，一鍵部署
作為算子層級的一個自動優(yōu)化工具，AutoKernel支持將自動優(yōu)化的算子代碼集成進部署推理框架，主要流程分為兩步：
1. 生成：編寫算法描述和調(diào)度策略，生成相應后端的優(yōu)化算子代碼；
2. 部署：將生成的優(yōu)化算子代碼通過插件plugin的形式集成進推理框架Tengine。

AutoKernel的算子生成模塊（Op Generator）使用了業(yè)界廣泛使用的自動代碼生成項目Halide。Halide是一個DSL(domain specific language) 編程語言，它將算法和硬件后端分離。本模塊輸入Halide語言的算法描述和優(yōu)化調(diào)度策略，指定硬件后端，就可以自動生成優(yōu)化代碼。為了減少開發(fā)者配置環(huán)境的遇到問題，AutoKernel提供了docker鏡像，docker里面已經(jīng)安裝好Halide， 并且配置好Halide的Python的API，方便開發(fā)者使用。
AutoKernel的部署模塊Autokernel Plugin是一個相對獨立的插件，只依賴于Tengine的算子頭文件，不依賴于Tengine庫。它實現(xiàn)了將AutoKernel Generator生成優(yōu)化的算子代碼，以Plugin的形式集成進Tengine推理框架中，實現(xiàn)自動優(yōu)化算子的一鍵部署。整個過程不需要重新編譯Tengine庫，只需要獨立編譯Plugin的動態(tài)庫，在運行時加載Autokernel Plugin的庫，就能調(diào)用自動生成的算子實現(xiàn)。下面的圖展示了使用AutoKernel前后的變化，只需要在運行時添加一行代碼,加載autokernel plugin的動態(tài)庫:

AutoKernel還有一個模塊叫AutoSearch，該模塊通過強化學習/機器學習/遺傳算法搜索出相應后端的最優(yōu)算子的調(diào)度策略參數(shù)。該模塊目前仍在開發(fā)中。
AutoKernel使用教程
下圖是展示了在Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz的電腦上的優(yōu)化效果，無需手工擼代碼，無需編寫繁雜冗長的底層匯編代碼，只需十幾行簡潔的調(diào)度代碼, 就能性能優(yōu)化200+倍~

推薦閱讀

• YOLO之外的另一選擇，手機端97FPS的Anchor-Free目標檢測模型NanoDet現(xiàn)已開源~
• AI編譯優(yōu)化--業(yè)務實踐

更多Tengine相關(guān)內(nèi)容請關(guān)注Tengine-邊緣AI推理框架專欄。

審核編輯：符乾江