在自動駕駛、具身智能等智慧物流高速動態(tài)場景中，視覺感知的“反應(yīng)速度”直接決定技術(shù)落地的安全性與可靠性。近日，西井科技與同濟大學長聘教授、上海創(chuàng)智學院全時導師陳廣研究團隊，聯(lián)合研究成果成功登上國際頂級學術(shù)期刊《Nature Communications》：建立了一套全新的、面向真實世界部署的時延感知評估框架STARE并提出了有效的模型優(yōu)化策略。

2026年3月16日，《Nature Communications》發(fā)表了題為《Bridging the latency gap with a continuous stream evaluation framework in event-driven perception》的研究論文，旨在研究現(xiàn)有視覺評估體系在實時應(yīng)用中的時延缺陷問題，引入基于事件流式感知的STARE框架，聚焦一個關(guān)鍵卻長期未被充分關(guān)注的原則：事件相機連續(xù)感測、模型計算與現(xiàn)實任務(wù)需求之間的時間一致性，系統(tǒng)性地彌合事件相機（Event Camera）在理論速度和實際應(yīng)用之間的時延鴻溝，為開發(fā)真正低延遲、高可靠的實時事件視覺系統(tǒng)奠定了基礎(chǔ)。

圖：西井科技與同濟大學科研合作成果登刊《Nature Communications》

事件相機（Event Camera）是一種新型的生物啟發(fā)式視覺傳感器，與傳統(tǒng)的基于幀的相機（如RGB相機）不同，其設(shè)計靈感源于生物視覺系統(tǒng)對動態(tài)環(huán)境的連續(xù)、自適應(yīng)感知機制。

在自動駕駛、倉儲搬運機器等需要快速反應(yīng)的場景中，傳統(tǒng)相機通常以固定幀率捕捉圖像，這種離散的采樣方式天然存在時間上的不連續(xù)性。例如，對于一輛高速行駛中的無人駕駛車而言，如果純采用傳統(tǒng)幀相機進行感知，這種離散采樣帶來的時間不連續(xù)性可能會直接導致系統(tǒng)的預(yù)測結(jié)果滯后，可能會直接導致系統(tǒng)的預(yù)測結(jié)果滯后，使其在面對突然闖入的障礙物等瞬態(tài)變化時難以做出及時的響應(yīng)，因此在實際生產(chǎn)場景下，業(yè)界會更多采用多傳感器融合的方式，來實現(xiàn)高冗余、高精度的實時定位與環(huán)境感知。

相比之下，事件相機（Event Camera）作為一種神經(jīng)形態(tài)傳感器，能夠以微秒分辨率異步編碼像素級亮度變化，輸出連續(xù)事件流。這一特性突破了傳統(tǒng) RGB 相機離散幀處理的局限，為自動駕駛與機器人領(lǐng)域的實時感知賦予了天然的優(yōu)勢。

然而，現(xiàn)有視覺評估體系仍沿用RGB成像的幀處理范式，將連續(xù)的事件流強制轉(zhuǎn)換為固定頻率的事件幀進行處理。這種評估范式往往假設(shè)計算是瞬時完成的，從而忽略了“感知時延”（Perception Latency）——即從事件發(fā)生到下游應(yīng)用接收到模型對應(yīng)輸出結(jié)果之間的時間差。這一被忽視的時延問題，正成為制約真實世界實時應(yīng)用性能的關(guān)鍵瓶頸。

針對這一痛點，研究團隊提出了STream-based lAtency-awaRe Evaluation（以下簡稱STARE）框架。該框架通過兩大核心機制重構(gòu)了現(xiàn)有的評估體系：一是連續(xù)采樣（Continuous Sampling），最大化模型吞吐量，調(diào)度模型在前一推理周期結(jié)束后立即處理最新事件；二是時延感知評估（Latency-Aware Evaluation），首次將時延直接納入精度度量，量化了因輸出滯后導致的在線感知精度損失。

圖：STARE時延感知評估框架

為了驗證STARE框架的有效性，研究團隊構(gòu)建了包含500Hz高精度標注的高動態(tài)目標跟蹤數(shù)據(jù)集ESOT500。實驗數(shù)據(jù)顯示，感知時延可導致在線精度下降超過50%，深刻揭示了傳統(tǒng)評估方法與真實世界部署性能之間存在的巨大鴻溝。

圖：高動態(tài)目標跟蹤數(shù)據(jù)集ESOT500

基于這一洞察，研究團隊進一步提出了兩種模型增強策略，為實時感知系統(tǒng)的工程化落地提供了可行路徑：

異步跟蹤（Asynchronous Tracking）：采用“快-慢”雙架構(gòu)，利用輕量級的殘差模型對重型基礎(chǔ)模型進行高頻修正，顯著提升模型吞吐量。

上下文感知采樣（Context-Aware Sampling）：根據(jù)目標周圍的事件密度動態(tài)調(diào)整模型的輸入與激活狀態(tài)，在事件稀疏等極具挑戰(zhàn)性的場景中依然保持了高度穩(wěn)健的感知性能。

實驗結(jié)果表明，異步跟蹤將模型吞吐量提升了78%，時延感知精度提升高達60%；而上下文感知采樣則在復雜稀疏工況下實現(xiàn)了超過51%的性能增益。

圖：在STARE框架下對模型增強策略的定量評估

展望未來，STARE框架還為探索神經(jīng)形態(tài)視覺更廣泛的前沿問題開辟了新途徑，如算法與硬件的協(xié)同設(shè)計、實時機器人控制以及基于學習的事件采樣策略。通過將時間一致性置于模型運行和評估中，我們的研究為全面釋放事件驅(qū)動系統(tǒng)的理論潛力提供了一條可行路徑，推動相關(guān)技術(shù)在現(xiàn)實場景中實現(xiàn)高精度、低延遲與高可靠性。

本次與陳廣研究團隊發(fā)布的頂刊成果，是西井科技在“實時感知”核心技術(shù)領(lǐng)域的關(guān)鍵布局，將為海、陸、空、鐵、工廠等大物流場景自動駕駛解決方案，提供堅實理論基石與工程化路徑，未來有望讓高速動態(tài)感知更敏捷、更安全、更可靠。

作為深耕AI與自動駕駛領(lǐng)域的科創(chuàng)企業(yè)，西井科技擁有豐富的多場景產(chǎn)業(yè)落地經(jīng)驗，其自主研發(fā)的無人駕駛重載水平運輸車等核心產(chǎn)品，已成功服務(wù)于海內(nèi)外多個港口、機場、工廠等大物流場景，積累深厚的工程化實踐經(jīng)驗。未來，公司將繼續(xù)深化與更多頂尖高校及科研機構(gòu)的合作，聚焦行業(yè)核心痛點、深耕前沿技術(shù)研發(fā)，推動更多頂尖科研成果從實驗室走向產(chǎn)業(yè)一線，將更多“實驗室里的突破”轉(zhuǎn)化為“場景中的價值”，賦能全球大物流行業(yè)的數(shù)字化、綠色化升級，攜手共繪智能科技高質(zhì)量發(fā)展新藍圖！