Anakin 是一款跨平臺(tái)的高性能推理引擎，最初是由百度工程師開(kāi)發(fā)的，是工業(yè)產(chǎn)品的大規(guī)模應(yīng)用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 設(shè)備上運(yùn)行?Anakin。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特征

• 靈活性

  Anakin 是一個(gè)跨平臺(tái)的高性能推理引擎，支持廣泛的神經(jīng)網(wǎng)絡(luò)架構(gòu)和不同的硬件平臺(tái)。在 GPU / x86 / ARM 平臺(tái)上運(yùn)行 Anakin 很容易。

  Anakin 已與 NVIDIA TensorRT 集成，并開(kāi)放了集成 API 的這一部分以提供服務(wù)，開(kāi)發(fā)人員可以直接調(diào)用該 API 或根據(jù)需要對(duì)其進(jìn)行修改，這將更加靈活地滿足開(kāi)發(fā)要求。

• 高性能

  為了充分發(fā)揮硬件的性能，該團(tuán)隊(duì)在不同級(jí)別優(yōu)化了前向預(yù)測(cè)。

  • 自動(dòng)圖形融合。給定算法下所有性能優(yōu)化的目標(biāo)是使 ALU 盡可能繁忙，操作員融合可以有效減少內(nèi)存訪問(wèn)并保持 ALU 繁忙。

  • 內(nèi)存重用。前向預(yù)測(cè)是一種單向計(jì)算，該團(tuán)隊(duì)在不同運(yùn)算符的輸入和輸出之間重用內(nèi)存，從而減少了整體內(nèi)存開(kāi)銷。

  • 裝配級(jí)優(yōu)化。Sabre 是 Anakin 的基礎(chǔ)DNN庫(kù)，在裝配級(jí)別進(jìn)行了深度優(yōu)化。