使用便宜的開源計(jì)算模塊實(shí)時(shí)檢測海洋哺乳動(dòng)物，以實(shí)現(xiàn)主動(dòng)管理解決方案。

（浮標(biāo)照片和視頻版權(quán)歸于 Cetaware ）

公司規(guī)模：1-10名員工

公司行業(yè)： 環(huán)境科學(xué)與服務(wù)

網(wǎng)址：www.cetaware.nz

功能和技術(shù)規(guī)格列表

實(shí)時(shí)信號處理和推理，用于對鯨類發(fā)聲進(jìn)行分類。

96kHz采樣率（最高可達(dá)384kHz）

水聽器靈敏度 -165 dB re 1V μPa

LTE Cat M-1 用于遙測/連接。

用于邊緣處理和機(jī)器學(xué)習(xí)的 ARMSoM 計(jì)算模塊 (CM5)。

項(xiàng)目背景

通過聆聽自然界的聲音，我們可以監(jiān)測動(dòng)物之間的交流方式，并獲得基本的基線數(shù)據(jù)，從而確認(rèn)未來動(dòng)物因環(huán)境變化而發(fā)生的變化。例如，通過檢測不同棲息地中發(fā)聲物種的發(fā)聲情況，研究人員可以調(diào)查種群數(shù)量，并繪制其豐度、棲息地利用和生物多樣性的趨勢。這些數(shù)據(jù)集對于建立基線至關(guān)重要，這樣才能量化并更好地管理人類活動(dòng)（例如建筑施工）的影響。生態(tài)聲學(xué)（例如生物聲學(xué)）令人興奮的一點(diǎn)是，發(fā)聲動(dòng)物非常適合被動(dòng)聲學(xué)監(jiān)測 (PAM) 技術(shù)。PAM 的優(yōu)勢在于其可擴(kuò)展性。許多自主記錄器（實(shí)時(shí)記錄或記錄到存儲(chǔ)卡）可以部署在難以通過基于視覺的方法（例如視覺調(diào)查，例如攝像機(jī)、航拍或樣線）進(jìn)行研究的偏遠(yuǎn)棲息地。

海洋就是這樣一個(gè)成本高昂且難以大規(guī)模采樣的地方。在研究海洋哺乳動(dòng)物的棲息地利用/存在情況時(shí)，天氣和能見度始終是制約因素，因?yàn)槟恳曊{(diào)查需要晴朗的天氣和白天的光照時(shí)間。這必然會(huì)導(dǎo)致某些數(shù)據(jù)集出現(xiàn)采樣偏差，其中海洋哺乳動(dòng)物的“熱點(diǎn)”往往與人類活動(dòng)較多的區(qū)域重疊。然而，鯨魚和海豚在夜間活動(dòng)，并且可以移動(dòng)到與白天不同的區(qū)域。因此，對鯨魚和海豚的叫聲，甚至魚類和無脊椎動(dòng)物的叫聲進(jìn)行被動(dòng)聲學(xué)監(jiān)測 (PAM) 可以揭示大量關(guān)于其生態(tài)環(huán)境的信息，并為研究人員提供更全面的了解。此外，通過檢測船只的噪音，可以使用相同的設(shè)備來監(jiān)測人類在海洋棲息地的存在或活動(dòng)。

面臨的挑戰(zhàn)

由于聲波記錄儀 (PAM) 具有提供難以研究物種的連續(xù)生態(tài)數(shù)據(jù)的潛力，且不受天氣或光照條件的限制，聲學(xué)記錄儀在保護(hù)科學(xué)中的應(yīng)用越來越廣泛。在海洋中，水聽器用于監(jiān)聽珊瑚礁、深海、河口和海岸線。全球最常用的技術(shù)仍然是自主記錄儀，它是一種深度額定設(shè)備，由連接到前置放大器的水聽器、數(shù)模轉(zhuǎn)換器 (DAC)、控制器和存儲(chǔ)設(shè)備組成。記錄儀部署在所有深度（取決于所使用的設(shè)備），通常每次部署數(shù)月（在許多情況下長達(dá)一年）。一些 PAM 系統(tǒng)配備通過電纜連接到岸站的水聽器，并可長期穩(wěn)定運(yùn)行。這些技術(shù)使研究人員能夠整理數(shù)十萬小時(shí)的記錄，這些記錄需要進(jìn)行自動(dòng)化分析才能從中獲得有意義的信息。而這正是深度學(xué)習(xí)改變游戲規(guī)則的地方。

深度學(xué)習(xí)模型和人工智能加速硬件釋放了PAM真正的可擴(kuò)展?jié)摿?，使科學(xué)家能夠在合理的時(shí)間內(nèi)分析數(shù)TB的記錄。遷移學(xué)習(xí)意味著研究人員可以使用自己職業(yè)生涯中收集的帶注釋數(shù)據(jù)集，根據(jù)自身目的微調(diào)高效的深度學(xué)習(xí)模型。人工智能加速硬件的出現(xiàn)意味著這些模型能夠以前所未有的速度運(yùn)行，相比之下，在CPU上運(yùn)行的算法（包括更傳統(tǒng)的基于機(jī)器學(xué)習(xí)的分類器，例如隨機(jī)森林模型）的速度更快。然而，當(dāng)自動(dòng)記錄儀被回收時(shí)，尤其是在記錄了幾個(gè)月后從多個(gè)棲息地回收時(shí)，存在一些瓶頸問題，會(huì)延遲數(shù)據(jù)分析（假設(shè)儀器已被成功找到并回收）。此外，自動(dòng)記錄儀還面臨進(jìn)水（即洪水）和存儲(chǔ)卡損壞的風(fēng)險(xiǎn)（所有浸入水中的技術(shù)設(shè)備都是如此），這意味著數(shù)據(jù)可能會(huì)在不知不覺中丟失，而基線數(shù)據(jù)集的后續(xù)缺口可能會(huì)妨礙科學(xué)家得出具有統(tǒng)計(jì)意義的可靠結(jié)論。

在邊緣部署深度學(xué)習(xí)模型可以規(guī)避自主記錄器數(shù)據(jù)分析的瓶頸，為使用“大數(shù)據(jù)”研究生態(tài)系統(tǒng)的研究人員帶來巨大優(yōu)勢。在邊緣部署深度學(xué)習(xí)模型并實(shí)時(shí)傳輸處理后的數(shù)據(jù)，可以規(guī)避數(shù)據(jù)安全問題，因?yàn)閿?shù)據(jù)可以立即被檢索、存檔和備份。

然而，海洋噪音很大，海洋哺乳動(dòng)物的監(jiān)測通常也發(fā)生在人類活動(dòng)頻繁的區(qū)域。例如，港口、建筑工地、航道、城市化河口和海港都是存在大量人為噪聲源的區(qū)域。此外，天氣、洋流（潮汐）、生物污損和其他動(dòng)物的聲音（例如魚類和無脊椎動(dòng)物）也會(huì)產(chǎn)生大量需要“濾除”（即去除）的聲音，以免掩蓋目標(biāo)聲音或?qū)е抡`報(bào)（即報(bào)告檢測到聲音，而實(shí)際上這些聲音來自其他來源，例如天氣或船舶聲納）。因此，定期更新模型非常重要，這樣在經(jīng)過訓(xùn)練有素的生物聲學(xué)專家驗(yàn)證初始數(shù)據(jù)后，船上的人工智能系統(tǒng)才能繼續(xù)進(jìn)行訓(xùn)練（即人機(jī)協(xié)同訓(xùn)練流程）。無線更新意味著先進(jìn)的技術(shù)（例如使用 Google DeepResearch 敏捷建模框架訓(xùn)練的移動(dòng)友好型模型架構(gòu)）可以在沒有設(shè)備檢索的情況下推向大海。

CM5 解決方案（為什么選擇 ArmSoM CM5？）

自適應(yīng)邊緣處理和多線程邊緣處理適用于多種聲源，需要計(jì)算能力強(qiáng)大且極其高效的硬件和軟件。ARMSoM 的系統(tǒng)級模塊 (SoM) 在 AIoT 的計(jì)算能力和功耗之間實(shí)現(xiàn)了完美平衡（運(yùn)行 Armbian 時(shí)，空閑功耗為 0.5-1W）。RK3576 SoC 配備 4 個(gè) Cortex A72 和 4 個(gè) A55 處理器，可實(shí)現(xiàn)資源的定制化利用，而 NPU 和 LPDDR5 RAM 則為實(shí)時(shí)音頻流分類提供了極低的延遲。

集成 ARM 處理器的 NPU 的出現(xiàn)，為生物聲學(xué)領(lǐng)域的邊緣機(jī)器學(xué)習(xí)帶來了真正的優(yōu)勢。使用 ESP32-S3 等微控制器仍然具有重要意義，但 ARMSoM 在其開發(fā)板上采用 RK35xx SoC，實(shí)現(xiàn)了并行處理流水線和音頻分類的并發(fā)推理。這非常強(qiáng)大，因?yàn)檫@意味著可以使用單個(gè)水聽器進(jìn)行不同的聲學(xué)分析，同時(shí)監(jiān)聽多種鯨魚、海豚以及其他聲源的聲音。

然后，使用ARMSoM CM5等開源 SoM 具有成本效益等開源 SoM 還有成本效益使用科學(xué)級硬件和儀器監(jiān)測海洋成本高昂。實(shí)時(shí)聲學(xué)監(jiān)測和生物聲學(xué)信號檢測器/分類器也非常昂貴。這意味著被動(dòng)聲學(xué)監(jiān)測成本過高，尤其對于發(fā)展中國家或非營利組織而言。 2024年的一項(xiàng)調(diào)查發(fā)現(xiàn)， 90%的受訪者表示需要低成本的自主錄音設(shè)備，這催生了國際低成本水聽器項(xiàng)目。該調(diào)查涵蓋了來自世界各地政府、大學(xué)和非政府組織的研究人員。通過使用開源計(jì)算硬件，實(shí)時(shí)聲學(xué)監(jiān)測的構(gòu)建成本可以低于使用專用微控制器的系統(tǒng)。

實(shí)施過程

為了展示開源硬件在生物聲學(xué)邊緣處理方面的優(yōu)勢，我們需要一個(gè)演示浮標(biāo)。我們專注于開發(fā)和部署用于海洋科學(xué)的實(shí)時(shí)聲學(xué)監(jiān)測系統(tǒng)，但要使我們的技術(shù)發(fā)揮作用，需要一個(gè)平臺。ARMSoM CM5 及其外圍硬件與 Northport Limited 合作，安裝在新西蘭北部旺格雷港內(nèi)的一個(gè) Nexsens 浮標(biāo)內(nèi)。水聽器安裝在浮標(biāo)下方，連接到 24 位、96kHz DAC，然后連接到計(jì)算模塊。使用 4G 蜂窩網(wǎng)絡(luò)連接到 AWS 進(jìn)行實(shí)時(shí)數(shù)據(jù)傳輸。檢測數(shù)據(jù)（音頻數(shù)據(jù)、聲譜圖和元數(shù)據(jù)）被發(fā)送到 AWS，以便岸上進(jìn)行進(jìn)一步分析。

成果和效益

RK3576 是一款功能強(qiáng)大的 SoC，能夠輕松運(yùn)行我們整個(gè)實(shí)時(shí) AI 流程，同時(shí)還配備了 LPDDR5 RAM，功耗也比以往更低。它目前安裝在旺格雷的浮標(biāo)內(nèi)，并已成功將多種海豚的數(shù)據(jù)實(shí)時(shí)傳輸?shù)轿覀兊脑诰€儀表板，確保數(shù)據(jù)準(zhǔn)確無誤。在過去 13 個(gè)月中，該浮標(biāo)已提供 219 次進(jìn)出港口的海洋哺乳動(dòng)物遭遇的聲學(xué)數(shù)據(jù)。在這 219 次遭遇中，有 24 次是虎鯨，其余大部分是寬吻海豚（其中 3 次是新西蘭海狗）。

審核編輯 黃宇