基于圖為科技邊緣計(jì)算機(jī)系列產(chǎn)品，僅用三行代碼就能搞定百度飛槳AI算法的部署；讓AI算法部署變得簡(jiǎn)單便捷，幫助企業(yè)加速AI方案落地進(jìn)程。

人工智能產(chǎn)業(yè)應(yīng)用發(fā)展的越來(lái)越快，開(kāi)發(fā)者需要面對(duì)的適配部署工作也越來(lái)越復(fù)雜。層出不窮的算法模型、各種架構(gòu)的AI硬件、不同場(chǎng)景的部署需求、不同操作系統(tǒng)和開(kāi)發(fā)語(yǔ)言，為AI開(kāi)發(fā)者項(xiàng)目落地帶來(lái)極大的挑戰(zhàn)。

為了解決AI部署落地難題，圖為科技受到百度飛槳和英偉達(dá)的邀請(qǐng)，完成FastDeploy部署工具在邊緣計(jì)算機(jī)上的驗(yàn)證測(cè)試。FastDeploy旨在為AI開(kāi)發(fā)者提供模型部署最優(yōu)解，具備全場(chǎng)景、簡(jiǎn)單易用、極致高效三大特點(diǎn)。開(kāi)發(fā)者可以通過(guò)FastDeploy這款產(chǎn)品，滿(mǎn)足全場(chǎng)景的高性能部署需求，大幅提升AI產(chǎn)業(yè)部署的開(kāi)發(fā)效率。

以下展開(kāi)介紹FastDeploy的全場(chǎng)景、簡(jiǎn)單易用、極致性能特性和圖為科技邊緣計(jì)算機(jī)的能力：

簡(jiǎn)單易用

·多語(yǔ)言統(tǒng)一部署API，3行代碼搞定模型部署

FastDeploy精心的完成了API設(shè)計(jì)，確保使用不同編程語(yǔ)言的開(kāi)發(fā)者能夠享受到統(tǒng)一的API體驗(yàn)。并且，無(wú)論使用哪一種編程語(yǔ)言，都只需要3行核心代碼就可以實(shí)現(xiàn)預(yù)置模型的高性能推理。。

FastDeploy中Python和C++統(tǒng)一部署API

·一鍵體驗(yàn)預(yù)置150+熱門(mén)模型，覆蓋20多主流產(chǎn)業(yè)應(yīng)用場(chǎng)景

FastDeploy覆蓋20多主流場(chǎng)景，提供了150多個(gè)SOTA產(chǎn)業(yè)模型的端到端示例，模型類(lèi)型覆蓋CV、NLP、Speech和跨模態(tài)等領(lǐng)域，讓開(kāi)發(fā)者可以從場(chǎng)景入手，通過(guò)預(yù)置模型，使用FastDeploy快速部署起來(lái)。

FastDeploy 預(yù)置150多個(gè)產(chǎn)業(yè)SOTA模型

全場(chǎng)景

·多框架支持，一行命令實(shí)現(xiàn)模型協(xié)議互轉(zhuǎn)

接下來(lái)看看多框架支持的功能，F(xiàn)astDeploy中內(nèi)置了X2Paddle和Paddle2ONNX模型轉(zhuǎn)換工具。只需要一行命令便可完成其他深度學(xué)習(xí)框架到飛槳以及ONNX的相互轉(zhuǎn)換，讓其他框架的開(kāi)發(fā)者也能通過(guò)FastDeploy體驗(yàn)到飛槳模型壓縮與推理引擎的端到端優(yōu)化效果。

FastDeploy一行代碼切換多端部署

極致高效

·軟硬聯(lián)合自動(dòng)壓縮優(yōu)化，減少部署資源消耗

性能方面，F(xiàn)astDeploy集成了飛槳壓縮與推理的特色，聯(lián)動(dòng)自動(dòng)壓縮與推理引擎深度優(yōu)化，實(shí)現(xiàn)了更高效的量化推理部署。利用PaddleSlim ACT自動(dòng)壓縮技術(shù)帶來(lái)的無(wú)損壓縮體驗(yàn)，以PP-LCNetV2和ERNIE 3.0-Medium模型為例，通過(guò)ACT自動(dòng)壓縮技術(shù)，操作簡(jiǎn)易度可以比擬傳統(tǒng)離線量化，實(shí)現(xiàn)近乎無(wú)損的模型壓縮效果。

FastDeploy一鍵自動(dòng)壓縮，減少硬件資源消耗

·端到端前后預(yù)處理優(yōu)化，減少部署資源消耗

FastDeploy在各模型的部署中，重點(diǎn)關(guān)注端到端到的部署體驗(yàn)和性能。在服務(wù)端對(duì)預(yù)處理過(guò)程進(jìn)行融合，降低內(nèi)存創(chuàng)建開(kāi)銷(xiāo)和計(jì)算量。在移動(dòng)端集成百度視覺(jué)技術(shù)部自研高性能圖像處理庫(kù)FlyCV。結(jié)合FastDeploy多后端支持的優(yōu)勢(shì)，相較原有部署代碼，所有模型端到端性能大幅提升。

FastDeploy前后預(yù)處理優(yōu)化，減少硬件資源消耗

圖為科技邊緣計(jì)算機(jī)與飛槳FastDeploy部署工具經(jīng)過(guò)長(zhǎng)時(shí)間的開(kāi)發(fā)測(cè)試，現(xiàn)已達(dá)到完美適配輕松部署的效果。目前FastDeploy中支持的150多個(gè)AI算法全部通過(guò)了圖為科技邊緣計(jì)算機(jī)的驗(yàn)證測(cè)試，開(kāi)發(fā)者拿到圖為邊緣計(jì)算機(jī)后可以直接進(jìn)行部署應(yīng)用，極大程度縮短了項(xiàng)目的研發(fā)周期。

圖為信息科技（深圳）有限公司是一家AI邊緣計(jì)算機(jī)運(yùn)營(yíng)服務(wù)商，專(zhuān)注邊緣計(jì)算機(jī)的研發(fā)、生產(chǎn)、銷(xiāo)售、運(yùn)維等工作。目前基于NVIDIA Jetson系列核心模塊所設(shè)計(jì)的AI邊緣計(jì)算機(jī)，已廣泛應(yīng)用于機(jī)器視覺(jué)檢測(cè)、人臉識(shí)別、行為識(shí)別、智能機(jī)器人、智能無(wú)人機(jī)、自動(dòng)駕駛、智能安防等領(lǐng)域。

圖為科技最新推出的T928邊緣計(jì)算機(jī),采用NVIDIA? JETSON AGX ORIN?核心板，具備200 TOPS浮點(diǎn)運(yùn)算能力，萬(wàn)兆網(wǎng)口、IP65防護(hù)等級(jí)、極致穩(wěn)定可在-40度環(huán)境低溫穩(wěn)定運(yùn)行；支持?jǐn)?shù)據(jù)加密，16路GMSL2接口,可選4G/5G通訊模塊，專(zhuān)為自動(dòng)駕駛而設(shè)計(jì)。

邊緣計(jì)算，就用圖為邊緣計(jì)算機(jī)！小體積，大算力，更可靠！

審核編輯：湯梓紅