人工智能正在占據(jù)越來越多的應(yīng)用和生活場景，例如圖像檢測和分類，翻譯和推薦系統(tǒng)等等。基于機器學(xué)習(xí)技術(shù)的應(yīng)用數(shù)量龐大且還在不斷增長。采用Enclustra(瑞蘇盈科)結(jié)合FPGA和ARM處理器的核心板模塊，在離線和邊緣使用AI前所未有的容易。

VISUAL & AI

2021年4月，受與非網(wǎng)之邀，Enclustra前往慕尼黑上海電子展參加直播間的Demo Show。Enclustra以“基于FPGA的AI，機器視覺，運動控制”為主題，開場時展示了機械手和人互動玩石頭剪刀布的demo并邀請現(xiàn)場的朋友體驗。

VISUAL & AI

FPGA低延時、低功耗的特性在這個demo中體現(xiàn)出了優(yōu)勢。搭載SyntharaIP核的神經(jīng)網(wǎng)絡(luò)運行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模塊(SoM based on XCZU15EG)和水星Mercury+ PE1底板，分析攝像頭采集的流媒體數(shù)據(jù)。手勢是被實時檢測的，每張圖片的推理只需要8~9 ms，靈敏度超過100 fps。常見的攝像頭為30或者60 fps，所以瓶頸在于攝像頭的幀率。機械手伺服電機根據(jù)游戲規(guī)則做出反應(yīng)。

VISUAL & AI

值得一提的是這個demo實現(xiàn)了在單個設(shè)備中處理各種傳感器和信號：圖像處理、神經(jīng)網(wǎng)絡(luò)推理、機械手都在一個FPGA中被控制。

VISUAL & AI

玩家手勢的圖片被分為5類：石頭，剪刀，布，非法手勢，無手勢。為了讓神經(jīng)網(wǎng)絡(luò)能對圖片進行精準(zhǔn)的分類，Enclustra從幾位玩家錄制的視頻中采集了多樣化的圖片：不同的玩家，男/女玩家，不同飾品（手表，腕帶，長袖…），不同亮度，左/右手玩家，不同的移動速度，不同的距離，等等。在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了近一萬張圖片后，具備了快速打敗新玩家的能力。

ABOUT US

瑞蘇盈科(Enclustra)是FPGA領(lǐng)域全球一流的公司之一， 2004年成立于瑞士并成為Xilinx官方合作伙伴，同時是Intel FPGA金牌方案商、Microchip官方方案商，提供FPGA核心板/開發(fā)板、FPGA IP核、全棧設(shè)計服務(wù)，目前有來自29個國家的員工在全球70+國家服務(wù)1600+客戶。2019年正式進入中國市場，成立全資子公司瑞蘇盈科（深圳）科技有限公司，成立之初便建立本土工程師團隊，為中國客戶帶來更好的本土化支持與服務(wù)。