近年來(lái)隨著時(shí)代的變遷以及技術(shù)的發(fā)展，工業(yè)的制造型態(tài)也歷經(jīng)多次改革，而工業(yè)近期的重大轉(zhuǎn)變發(fā)生于2011年由德國(guó)政府所發(fā)起的工業(yè)4.0（Industrie 4.0）計(jì)劃，目的為將整體工業(yè)生產(chǎn)型態(tài)從原先的自動(dòng)化進(jìn)階至智慧化。于此工業(yè)4.0的相關(guān)核心技術(shù)也如火如荼快速發(fā)展，例如物聯(lián)網(wǎng)（IoT）、云端（Cloud）、大數(shù)據(jù)（Big Data）、人工智能（AI）及機(jī)器人等。

其中，人工智能的開發(fā)和應(yīng)用近年來(lái)更是因應(yīng)領(lǐng)域需求的不同，創(chuàng)造出許多嶄新的訓(xùn)練方法與算法，在人工智能領(lǐng)域中最常被討論的便是機(jī)器學(xué)習(xí)（Machine Learning）以及深度學(xué)習(xí)（Deep Learning）。而機(jī)器學(xué)習(xí)更可概略分為監(jiān)督式學(xué)習(xí)（Supervised Learning）、非監(jiān)督式學(xué)習(xí)（Unsupervised Learning）以及強(qiáng)化式學(xué)習(xí)（Reinforcement learning）三個(gè)面向，而本文主要應(yīng)用的監(jiān)督式學(xué)習(xí)，其原理便是透過(guò)標(biāo)注數(shù)據(jù)特征與數(shù)據(jù)訓(xùn)練的方式來(lái)建立分類或模型。

監(jiān)督式學(xué)習(xí)概略種類如圖1所示。

圖1 監(jiān)督式學(xué)習(xí)簡(jiǎn)易分類

為了符合國(guó)際潮流與產(chǎn)業(yè)實(shí)際需求，本文將以擁有「工業(yè)之母」稱號(hào)的模具產(chǎn)業(yè)為對(duì)象，使用射出成型機(jī)臺(tái)做為示范，利用傳感器搜集機(jī)臺(tái)于生產(chǎn)時(shí)的音頻，并透過(guò)監(jiān)督式學(xué)習(xí)的方法來(lái)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注與訓(xùn)練，最終產(chǎn)出能夠自動(dòng)辨識(shí)機(jī)臺(tái)生產(chǎn)狀態(tài)之AI最適模型。同時(shí)亦可透過(guò)計(jì)算機(jī)或智能型手持終端裝置來(lái)實(shí)時(shí)接收機(jī)臺(tái)生產(chǎn)信息，使生產(chǎn)機(jī)臺(tái)、傳感器、智能型手持終端裝置與計(jì)算機(jī)四者之間形成一個(gè)完整的物聯(lián)網(wǎng)。以下將對(duì)整體實(shí)驗(yàn)流程與軟硬件配置進(jìn)行詳細(xì)的解說(shuō)。

硬設(shè)備

表1 硬設(shè)備清單

本文所采用的傳感器是QuickLogic的Merced HDK（Hardware Development Kit），此開發(fā)版非常適合下一代低功耗機(jī)器學(xué)習(xí)的物聯(lián)網(wǎng)設(shè)備，同時(shí)Merced HDK搭載支持16KHz ODR數(shù)字麥克風(fēng)、電子羅盤以及六軸陀螺儀（三軸陀螺儀與三軸加速器）。

而本文中所使用的數(shù)字麥克風(fēng)型號(hào)為Knowles制造的SPH0641LM4H，擁有微型、高性能、低功耗等特性，該組件的SNR為64.3 dB、聲壓級(jí)94 dB、靈敏度-26 dB。而刻錄模型所需的傳輸線規(guī)格為Sabrent的Type-A對(duì)Micro USB-B傳輸線，智能型手持終端裝置因TestApp版本問(wèn)題，故只能使用Android系統(tǒng)的ASUS ZenFone 5。

軟件與驅(qū)動(dòng)程序

表2 軟件與驅(qū)動(dòng)程序列表

本文將透過(guò)SensiML開發(fā)的三套軟件來(lái)進(jìn)行整體實(shí)驗(yàn)，首要是負(fù)責(zé)搜集、匯入、原始數(shù)據(jù)處理以及標(biāo)注數(shù)據(jù)特征的Data Capture Lab，該軟件亦可導(dǎo)入CSV和WAV等格式檔案來(lái)進(jìn)行數(shù)據(jù)處理，并將所有數(shù)據(jù)實(shí)時(shí)上傳云端；接著，Analytics Studio是利用多樣算法以及自定義參數(shù)來(lái)對(duì)已被標(biāo)注數(shù)據(jù)進(jìn)行高效率的模型推理軟件，快速的產(chǎn)出高性能邊緣運(yùn)算模型；最后是安裝于智能型手持裝置上并透過(guò)與傳感器連結(jié)來(lái)達(dá)到驗(yàn)證與實(shí)時(shí)辨識(shí)機(jī)臺(tái)產(chǎn)狀態(tài)的TestApp。

步驟1. 傳感器安裝

在準(zhǔn)備好相關(guān)硬設(shè)備以及安裝所需的軟件/驅(qū)動(dòng)程序之后便可開始進(jìn)行實(shí)驗(yàn)。首先我們必須將傳感器安裝在合適的位置，此處需考慮安裝位置的環(huán)境溫度是否超出傳感器的作業(yè)溫度以及是否妨礙到機(jī)械生產(chǎn)作動(dòng)，本文最終選擇安裝于射座之上，如圖2所示。

圖2 傳感器安裝位置

步驟2. 傳感器初始狀態(tài)設(shè)置

打開Data Capture Lab并建立項(xiàng)目，接著切換至Capture模式來(lái)新增傳感器初始配置，點(diǎn)選Sensor Configuration的加號(hào)來(lái)進(jìn)行設(shè)定，裝置設(shè)定為Merced HDK (QuickAI)；使用數(shù)字麥克風(fēng)組件；采樣率為16 kHz，本文的配置如圖3所示。

圖3 傳感器參數(shù)配置

接著，點(diǎn)選Find Devices透過(guò)低功耗藍(lán)芽來(lái)對(duì)周遭的傳感器進(jìn)行掃描，選取目標(biāo)傳感器后點(diǎn)選Connect進(jìn)行連結(jié)，如圖4所示。

圖4 傳感器連接

與傳感器成功連接之后，開始設(shè)定我們所想要進(jìn)行訓(xùn)練的標(biāo)簽，點(diǎn)選Add Labels新增狀態(tài)標(biāo)簽，如圖5，此處本文預(yù)想辨識(shí)射出成型機(jī)基礎(chǔ)操作中關(guān)模、射出、頂出三項(xiàng)作動(dòng)，因此以這三項(xiàng)作動(dòng)名稱分別設(shè)置Label。

圖5 新增狀態(tài)標(biāo)簽

設(shè)置完Labels之后便可開始著手錄制機(jī)臺(tái)生產(chǎn)音頻，并于錄制前選取Label接著開始錄制（圖左），點(diǎn)選Begin Recording即可開始錄制（圖中），錄制后可至Project Explorer查看錄制完的檔案（圖右），檔名會(huì)依照錄制當(dāng)下所選取的Label進(jìn)行命名。

步驟3. 生產(chǎn)周期音頻錄制

于上述步驟設(shè)定好所需的關(guān)模、射出與頂出三項(xiàng)標(biāo)簽之后即可開始錄制音頻，本文搜集了多筆完整的生產(chǎn)周期音頻，而錄制的過(guò)程中將會(huì)產(chǎn)生.qlsm/.wav檔案，并于匯入Data Capture Lab后會(huì)以音頻波形圖來(lái)呈現(xiàn)，如圖6所示，另外亦可透過(guò)指令將其轉(zhuǎn)換為MFCC進(jìn)行比對(duì)。

注：梅爾頻率倒譜系數(shù)（Mel-Frequency Cepstral Coefficients, MFCC）

圖6 生產(chǎn)周期音頻波型圖

我們可以從此音頻與實(shí)際錄像交叉比對(duì)后得知：(A)為關(guān)模；(B)為射出；(C)為頂出，并將波段放大來(lái)看即可明顯分辨三者的差異性，如圖7所示。

圖7 波段放大圖

步驟4. 標(biāo)注作業(yè)

接著我們便可以對(duì)先前錄制的所有生產(chǎn)音頻進(jìn)行標(biāo)注作業(yè)，在Label Explorer模式下標(biāo)注想擷取的片段，透過(guò)右鍵標(biāo)注所要辨識(shí)的頻譜特征段落，并于右方紅框處設(shè)置該特征所代表的卷標(biāo)，標(biāo)注接口如圖8所示。

圖8 特征標(biāo)注

步驟5. 模型訓(xùn)練

在Data Capture Lab標(biāo)注完我們訓(xùn)練模型所需的數(shù)據(jù)片段后并儲(chǔ)存上傳至云端，接著開啟Analytics Studio來(lái)進(jìn)行模型訓(xùn)練。首先我們?cè)贜otebook新增Python 3項(xiàng)目，如圖9，并輸入程序代碼來(lái)運(yùn)行訓(xùn)練UI，如圖10。

圖9 Analytics Studio新增專案

圖10 開啟模型訓(xùn)練UI

接著在Project選擇先前在Data Capture Lab內(nèi)創(chuàng)建的專案，再新增一個(gè)Pipeline名稱并點(diǎn)選Add，如圖11。然后于Data Exploration內(nèi)的Create New Query中輸入名稱并選擇Device后點(diǎn)選Add，如圖12。

圖11 Pipeline建置

圖12 Query建置

于此階段我們已將模型訓(xùn)練所需的數(shù)據(jù)都準(zhǔn)備好了，經(jīng)確認(rèn)右側(cè)卷標(biāo)名稱與數(shù)據(jù)筆數(shù)無(wú)誤后點(diǎn)選Save，為下一步驟的模型訓(xùn)練進(jìn)行準(zhǔn)備更新，如圖13。

圖13 Data Preparing

更新過(guò)后即可執(zhí)行Model Building，然而需要特別注意一點(diǎn)是關(guān)于Window Size該項(xiàng)參數(shù)的設(shè)置，如圖14中紅框處，可以將其理解為訊號(hào)切割的區(qū)間大小，參數(shù)的大小需視音頻特征是屬于離散事件或連續(xù)事件而定，該參數(shù)將會(huì)直接影響整體模型準(zhǔn)確率，經(jīng)過(guò)本文反復(fù)試驗(yàn)后，以8000單位得到最佳約97 % (96.88 %)的準(zhǔn)確率，如圖15。同時(shí)，該軟件的強(qiáng)大之處在于模型訓(xùn)練階段會(huì)利用內(nèi)建多樣算法一次性產(chǎn)出五組最佳模型，因此我們能依照不同需求來(lái)挑選最適合的模型。

圖14 訓(xùn)練參數(shù)設(shè)定

圖15 5組模型產(chǎn)出

另外，我們亦可透過(guò)混淆矩陣來(lái)詳細(xì)觀察該模型的指針，如圖16，本文以分類器大小、召回率以及F1-Score等評(píng)估指標(biāo)為參考，選擇編號(hào)0模型為最適模型。同時(shí)，我們亦可透過(guò)該模型的向量圖或密度圖來(lái)更進(jìn)一步分析該模型的表現(xiàn)，如圖18與圖19所示，而此模型使用K-NN來(lái)進(jìn)行分類，如圖17。

圖16 混淆矩陣

圖17 模型算法構(gòu)成

圖18 密度圖

圖19 向量圖

步驟6. 模型產(chǎn)出與刻錄

在選定最適AI模型過(guò)后，為將其應(yīng)用至傳感器上，我們必須將該模型的Knowledge Pack進(jìn)行打包與下載，如圖20所示。

圖20 Knowledge Pack生成

隨后將傳感器透過(guò)傳輸線與計(jì)算機(jī)鏈接，并把上述知識(shí)包中的.bin文件燒入至S3 AI芯片中，連接與刻錄如圖21與圖22所示。

圖21 傳感器連接計(jì)算機(jī)

圖22 開始刻錄模型

刻錄完成后即可進(jìn)入logs文件夾觀看紀(jì)錄，若出現(xiàn)Success則代表刻錄成功，Log內(nèi)容如圖23所示。

圖23 Log檔

步驟7. 模型驗(yàn)證

成功將模型燒入傳感器后，接著我們即可利用智能型手機(jī)來(lái)驗(yàn)證該模型是否正常運(yùn)作，同時(shí)接收到最實(shí)時(shí)的生產(chǎn)狀態(tài)信息。首先，打開Test APP并透過(guò)藍(lán)芽與目標(biāo)傳感器進(jìn)行鏈接，然后進(jìn)入Setup events將先前Knowledge Pack中的model.json的卷標(biāo)信息輸入至字段中，如圖24。標(biāo)簽狀態(tài)設(shè)置完成后，倘若傳感器正常運(yùn)行且成功識(shí)別機(jī)臺(tái)生產(chǎn)狀態(tài)，便會(huì)在Last event detected實(shí)時(shí)更新狀態(tài)，如圖25所示。

圖24 狀態(tài)標(biāo)簽設(shè)定

圖25 傳感器狀態(tài)辨識(shí)顯示面板

小結(jié)

人工智能發(fā)展至今，已有許多軟硬件的操作越趨人性化與便利，這樣的好處是能讓使用者能更專注在機(jī)器學(xué)習(xí)的應(yīng)用層面，本文僅使用QuickLogic Merced HDK上的數(shù)字麥克風(fēng)單元來(lái)搜集數(shù)據(jù)，而該開發(fā)版仍有許多感測(cè)組件可搜集更多元的原始數(shù)據(jù)。另外，日前QuickLogic也推出最新的開源(Open Source)硬件評(píng)估板QuickFeather，以更低成本提供更有彈性的設(shè)計(jì)。

https://www.quicklogic.com/products/eos-s3/quickfeather-development-kit/

因此希望本文能為大家提供參考，在機(jī)器學(xué)習(xí)領(lǐng)域利用不同的感測(cè)組件來(lái)發(fā)揮巧思與創(chuàng)意。

審核編輯：湯梓紅

?