近日，SynSense時識科技與蘇黎世聯(lián)邦理工學(xué)院聯(lián)合研究成果在2024 CVPR Workshop發(fā)布。該研究是—項基于“感算一體”動態(tài)視覺智能SoC Speck的超低功耗眼動追蹤技術(shù)，結(jié)果顯示端到端系統(tǒng)功耗低至2.89mW，延遲僅5.57ms。

該成果憑借卓越的性能受到學(xué)術(shù)及產(chǎn)業(yè)界的廣泛關(guān)注。這項研究成果不僅為低功耗、高性能的眼動追蹤技術(shù)設(shè)定了新標準，也為類腦智能技術(shù)在智能和可穿戴設(shè)備中的應(yīng)用帶來了革命性進展。

研究團隊在眼鏡上搭載了兩臺來自iniVation的DVXplorer事件相機（圖1左）作為數(shù)據(jù)采集硬件。從數(shù)名志愿者處收集了大量數(shù)據(jù)，形成了名為“Ini-30“的基于事件的眼動追蹤數(shù)據(jù)集。為研究提供了豐富且真實的眼動信息。

圖1. 數(shù)據(jù)收集硬件（左）及視頻記錄示例（右）

研究團隊發(fā)明了名為"Retina"的SNN模型，它基于Integrate And Fire（IAF）神經(jīng)元構(gòu)建。在64x64 DVS輸入條件下，Retina實現(xiàn)了僅3.24像素的瞳孔跟蹤誤差，顯示出極高的追蹤精度。與最新的基于事件的眼動追蹤方法"3ET"相比，Retina在Ini-30數(shù)據(jù)集上更為精確，并顯著減少了模型的計算復(fù)雜度，MAC運算減少了35倍。

通過在Speck上部署Retina模型，結(jié)果顯示端到端功耗在2.89-4.8mW，延遲僅為5.57-8.01ms（圖2）。研究結(jié)果不僅證明了模型的高效性，同時也再次展示了Speck在處理此類任務(wù)時功耗與實效性的巨大優(yōu)勢?？牲c擊閱讀原文查看文章。

圖2. Speck運行眼動追蹤算法的性能數(shù)據(jù)

SynSense時識科技一直堅持技術(shù)創(chuàng)新，此項研究成果不僅在理論上具有創(chuàng)新性獲得了學(xué)術(shù)認可，更在實際應(yīng)用中展現(xiàn)出了巨大的潛力。

憑借類腦智能技術(shù)低功耗、低延遲且支持高追蹤精度等特點，SynSense時識科技將攜手更多合作伙伴推動眼動追蹤技術(shù)向更高效、更精準的方向跨越式邁進。引領(lǐng)智能設(shè)備如手機、XR/VR等領(lǐng)域的技術(shù)新變革，為用戶帶來更加自然、高效的交互體驗。

關(guān)于SynSense時識科技

SynSense時識科技（原名aiCTX）創(chuàng)立于2017年，是全球領(lǐng)先的類腦智能與應(yīng)用解決方案提供商。

SynSense時識科技專注類腦智能的研究與開發(fā)，以蘇黎世大學(xué)和蘇黎世聯(lián)邦理工學(xué)院20+年全球領(lǐng)先的研發(fā)經(jīng)驗和技術(shù)積累為基石，聚焦邊緣計算應(yīng)用場景，提供橫跨感知與計算的類腦智能應(yīng)用與解決方案。

SynSense時識科技率先實現(xiàn)了類腦芯片商業(yè)化應(yīng)用零的突破，為人工智能向認知智能發(fā)展，萬物互聯(lián)向萬物智聯(lián)發(fā)展邁出了關(guān)鍵一步。SynSense將和伙伴一起，共同構(gòu)建“端到芯”“物與物”“物與人”萬物智聯(lián)的認知生態(tài)，引領(lǐng)全球類腦智能應(yīng)用與發(fā)展，為人類未來美好生活創(chuàng)造福祉。