近日Xilinx，AWS還有Spline.AI 聯(lián)合開發(fā)了開發(fā)X射線分類深度學(xué)習(xí)模型和參考設(shè)計(jì)。團(tuán)隊(duì)依靠30,000張肺炎圖像和500張COVID-19圖像來訓(xùn)練深度學(xué)習(xí)模型，從而實(shí)現(xiàn)了高精度和高預(yù)測速度。該訓(xùn)練數(shù)據(jù)將提供給包括美國國家衛(wèi)生院，斯坦福大學(xué)和麻省理工學(xué)院在內(nèi)的公共研究和醫(yī)療機(jī)構(gòu)。對于開發(fā)者而言，該參考設(shè)計(jì)已經(jīng)開源，點(diǎn)擊閱讀原文即可獲得。

設(shè)計(jì)使用Amazon SageMaker進(jìn)行訓(xùn)練，并使用AWS IoT Greengrass從云部署到邊緣，在邊緣側(cè)利用VITIS AI進(jìn)行部署，通過PYNQ開源框架和PYNQ-DPU可以快速的實(shí)現(xiàn)跨平臺(tái)部署。從而實(shí)現(xiàn)了遠(yuǎn)程模型更新，分布式推斷擴(kuò)展的能力。

方案簡介

當(dāng)前，廣泛用于檢測COVID-19的測試方法是RT-PCR或?qū)崟r(shí)聚合酶鏈反應(yīng)。盡管RT-PCR是一種標(biāo)準(zhǔn)的診斷技術(shù)，但它也有許多缺點(diǎn)。RT_PCR顯示出很高的假陰性率，其過程既費(fèi)時(shí)又昂貴。在這次危機(jī)期間，從許多實(shí)驗(yàn)中發(fā)現(xiàn)，從影像學(xué)檢查（例如CT掃描和X射線）檢測肺炎和COVID-19感染非常有效。

本方案基于Vitis-AI、ZCU104驗(yàn)證平臺(tái)和AWS-IoT GreenGrass，其中Vitis-AI用于COVID-19深度學(xué)習(xí)模型的轉(zhuǎn)換、量化和編譯，將模型轉(zhuǎn)換為DPU可運(yùn)行的.elf文件；ZCU104驗(yàn)證平臺(tái)完成基于X-Ray圖像的COVID-19 CNN在線檢測或用作AWS-IoT GreenGrass的邊緣計(jì)算設(shè)備，完成COVID-19的邊緣實(shí)時(shí)檢測。

部署流程

已經(jīng)安裝好Vitis-AI開發(fā)環(huán)境的Ubuntu主機(jī)，建議使用Ubuntu16.04，且具備較高的性能用于CNN等深度學(xué)習(xí)模型的訓(xùn)練。

安裝了PYNQ 2.5鏡像且已完成DPU-PYNQ升級的Xilinx ZCU104驗(yàn)證板；

主要流程

（1）訓(xùn)練Keras CNN肺炎模型以生成.h5的模型文件；

（2）使用Xilinx Vitis-AI對預(yù)訓(xùn)練的.h5模型進(jìn)行模型轉(zhuǎn)換、量化和編譯，以生成DPU可部署的.elf可執(zhí)行文件；

（3）直接在Xilinx ZCU104驗(yàn)證板的PYNQ-DPU開發(fā)環(huán)境中編寫應(yīng)用程序，對輸入的肺部X-Ray圖像進(jìn)行COVID-19在線實(shí)時(shí)檢測；也可使用AWS-IoT GreenGrass完成Xilinx ZCU104對COVID-19的邊緣端實(shí)時(shí)檢測（需要將Xilinx ZCU104集成為AWS-IoT GreenGrass的邊緣計(jì)算設(shè)備）。

方案已預(yù)先提供了兩組深度學(xué)習(xí)模型，分別實(shí)現(xiàn)基于胸部X-Ray圖像的肺炎和COVID-19預(yù)測：

（1）Pnem1-150x150圖像尺寸的肺炎檢測模型；

（2）Pnem2-224x224圖像尺寸的肺炎檢測模型；

（3）Pnem3-150x150圖像尺寸的肺炎和COVID-19檢測模型；

（4）Pnem4-224x224圖像尺寸的肺炎和COVID-19檢測模型；

上述提供的模型可直接用于部署，開發(fā)者可以快速體驗(yàn)COVID-XS帶來的好處。

后記

在本參考設(shè)計(jì)中，通過PYNQ開源框架，用戶可以：

方便的安裝AWS IoTGreengrass等第三方服務(wù)，加快原型驗(yàn)證開發(fā)

無縫跨平臺(tái)移植，用戶如果有Ultra96等其他支持PYNQ-DPU框架的平臺(tái)，不妨嘗試部署。

原文標(biāo)題：開源方案 | PYNQ-DPU框架下的人工智能醫(yī)學(xué)圖像方案

文章出處：【微信公眾號(hào)：XILINX技術(shù)社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq