在第三屆 NVIDIA DPU 黑客松競(jìng)賽中，我們見證了開發(fā)者與 NVIDIA 網(wǎng)絡(luò)技術(shù)的深度碰撞。在 23 支參賽隊(duì)伍中，有 5 支隊(duì)伍脫穎而出，展現(xiàn)了在 AI 網(wǎng)絡(luò)、存儲(chǔ)和安全等領(lǐng)域的創(chuàng)新突破。

由崔湛林、羅哲寬、嚴(yán)陽組成的 Horizon 團(tuán)隊(duì)在本屆黑客松中拔得頭籌。同為計(jì)算機(jī)科學(xué)專業(yè)的他們雖然來自不同學(xué)校，卻因黑客松而結(jié)緣，憑借其創(chuàng)新項(xiàng)目“構(gòu)建 AI 驅(qū)動(dòng)的 DPU 實(shí)時(shí)網(wǎng)絡(luò)安全防御系統(tǒng)”獲得本次黑客松競(jìng)賽第一名。該項(xiàng)目通過NVIDIA DOCA 軟件框架實(shí)現(xiàn)了 AI 與 DPU 的深度協(xié)同，不僅突破了傳統(tǒng)網(wǎng)絡(luò)安全防御的實(shí)時(shí)性瓶頸，更開創(chuàng)了智能邊緣安全防護(hù)的新范式。

用 DPU 重塑網(wǎng)絡(luò)安全格局

在現(xiàn)代網(wǎng)絡(luò)環(huán)境中，傳統(tǒng)的安全檢測(cè)方式往往存在滯后性，難以應(yīng)對(duì)日益復(fù)雜的攻擊手段。Horizon 團(tuán)隊(duì)敏銳地捕捉到這一痛點(diǎn)，提出了一種運(yùn)行在 DPU 上的實(shí)時(shí)網(wǎng)絡(luò)安全系統(tǒng)。該系統(tǒng)結(jié)合 NVIDIA DOCA 軟件框架和 NVIDIA BlueField-3 DPU 強(qiáng)大的硬件特性，通過團(tuán)隊(duì)首創(chuàng)的“混合檢測(cè)架構(gòu)”，利用規(guī)則檢測(cè)與 LSTM 深度學(xué)習(xí) AI 檢測(cè)的動(dòng)態(tài)權(quán)重融合，讓網(wǎng)絡(luò)安全實(shí)現(xiàn)了從被動(dòng)防御到主動(dòng)預(yù)警的轉(zhuǎn)變。

談及項(xiàng)目創(chuàng)作的靈感來源，隊(duì)長崔湛林分享道：“基于對(duì)市場(chǎng)需求的理解和前沿技術(shù)的探索，我們意識(shí)到在 AI 時(shí)代加強(qiáng)網(wǎng)絡(luò)安全的迫切性，由此萌生了開發(fā)一個(gè)運(yùn)行在 DPU 上的實(shí)時(shí)網(wǎng)絡(luò)安全系統(tǒng)的想法。在技術(shù)選型上，我們發(fā)現(xiàn)傳統(tǒng)檢測(cè)方式存在滯后性，因此創(chuàng)新性地引入了 AI 模型進(jìn)行混合檢測(cè)與防御?！睆男枨蠓治龅郊夹g(shù)實(shí)現(xiàn)，Horizon 團(tuán)隊(duì)展現(xiàn)了非凡的協(xié)作與執(zhí)行能力。

從 350 微秒到 100 微秒延遲的突破性優(yōu)化

在開發(fā)過程中，團(tuán)隊(duì)遇到的核心技術(shù)挑戰(zhàn)是：如何將 AI 模型推理結(jié)果通過 DOCA Flow 寫入硬件表并將端到端延遲壓縮到 100μs（微秒）以內(nèi)？

初始方案中，由于團(tuán)隊(duì)默認(rèn)使用了 PCIe 內(nèi)存拷貝并受到中斷切換抖動(dòng)的影響，實(shí)測(cè)延遲高達(dá) 350μs（微秒）以上，遠(yuǎn)未達(dá)到目標(biāo)。實(shí)現(xiàn)這種量級(jí)的性能優(yōu)化極具挑戰(zhàn)性，幾乎沒有現(xiàn)成案例可循。

“這要求我們重新規(guī)劃底層硬件棧的數(shù)據(jù)流?！贝拚苛纸忉尩馈Ｔ?NVIDIA 技術(shù)專家的指導(dǎo)下，團(tuán)隊(duì)啟用了 DOCA Zero Copy 技術(shù)，徹底消除了主機(jī)與 DPU 之間的數(shù)據(jù)拷貝。此外，他們還進(jìn)行了深度系統(tǒng)優(yōu)化：將 AI 推理容器綁定到特定 NUMA 節(jié)點(diǎn)，關(guān)閉處理器的 C States 節(jié)能狀態(tài)，并將關(guān)鍵中斷請(qǐng)求（IRQ）映射到專用的 CPU 核心上，從而最大程度減少了上下文切換帶來的延遲抖動(dòng)。經(jīng)過三輪迭代，團(tuán)隊(duì)雖未完全達(dá)成 100μs 微秒的目標(biāo)，但實(shí)現(xiàn)了顯著的性能突破，為后續(xù)優(yōu)化奠定了基礎(chǔ)。

混合檢測(cè)架構(gòu)為未來網(wǎng)絡(luò)安全保駕護(hù)航

該項(xiàng)目的創(chuàng)新之處在于其混合檢測(cè)架構(gòu)和智能防御理念。Horizon 團(tuán)隊(duì)首創(chuàng)的“規(guī)則檢測(cè)+LSTM 動(dòng)態(tài)權(quán)重融合”方法，讓網(wǎng)絡(luò)安全實(shí)現(xiàn)了從被動(dòng)到主動(dòng)、從靜態(tài)到動(dòng)態(tài)、從集中到邊緣的轉(zhuǎn)變。未來，他們計(jì)劃結(jié)合 Transformer、GNN 等先進(jìn)架構(gòu)，進(jìn)一步優(yōu)化模型，并探索多 DPU 協(xié)同的邊緣計(jì)算場(chǎng)景，將這一技術(shù)推向企業(yè)級(jí)安全產(chǎn)品的合規(guī)與運(yùn)維監(jiān)測(cè)、教育領(lǐng)域的網(wǎng)絡(luò)安全教學(xué)，以及 AI 安全算法研究等領(lǐng)域。

DOCA 開發(fā)者快問快答

Q

您是從哪里了解到 NVIDIA DPU 黑客松競(jìng)賽的？參賽的目標(biāo)是什么？

A

我們是通過 NVIDIA 官方公眾號(hào)及 DOCA 開發(fā)者社區(qū)關(guān)注到了本次競(jìng)賽。參賽的核心目標(biāo)在于系統(tǒng)性學(xué)習(xí) NVIDIA BlueField DPU 等前沿技術(shù)，并積累實(shí)戰(zhàn)開發(fā)經(jīng)驗(yàn)。

Q

賽前舉辦的 DPU 線上技術(shù)訓(xùn)練營對(duì)您的備賽起到哪些幫助？

A

訓(xùn)練營為我們提供了深入了解 NVIDIA 最新網(wǎng)絡(luò)技術(shù)的寶貴機(jī)會(huì)，這極大地增強(qiáng)了我們進(jìn)行技術(shù)選型和開發(fā)的信心。例如，我們最終選用的 Telemetry 與 Prometheus，正是基于我在訓(xùn)練營中對(duì)相關(guān)技術(shù)演示的理解和應(yīng)用。

Q

參與 NVIDIA DPU 黑客松競(jìng)賽有哪些收獲？

A

這是我們第一次參加 NVIDIA DPU 黑客松競(jìng)賽，備賽參賽體驗(yàn)都很好。導(dǎo)師團(tuán)隊(duì)的專業(yè)支持及時(shí)解決了我們遇到的技術(shù)難題，與其他參賽隊(duì)伍的互動(dòng)也讓我們學(xué)習(xí)了許多創(chuàng)新理念與解決方案。

Q

本次競(jìng)賽中最難忘的經(jīng)歷是什么？

A

印象最深刻的是當(dāng)遇到開發(fā)挑戰(zhàn)時(shí)，通過隊(duì)員的共同努力和導(dǎo)師團(tuán)隊(duì)的專業(yè)指導(dǎo)破解了技術(shù)瓶頸，這種團(tuán)隊(duì)協(xié)作攻破難題的感覺令人難忘。另外，我們也受邀去 NVIDIA 在北京的辦公室參加頒獎(jiǎng)典禮，現(xiàn)場(chǎng)體驗(yàn)了 NVIDIA 在 AI 上的強(qiáng)大生態(tài)，以及在硬件、軟件上的突破和創(chuàng)新，加強(qiáng)了我們?cè)趹?yīng)用層做開發(fā)的信心。

Q

您是從什么渠道了解到 NVIDIA DOCA 的？什么契機(jī)使您成為 DOCA 開發(fā)者？

A

在 2024? 年的一次線上技術(shù)分享會(huì)上，演講者演示了如何通過 DOCA Flow 在網(wǎng)卡側(cè)完成線速 ACL，實(shí)現(xiàn)下行 CPU 負(fù)載驟降 70% ，這精準(zhǔn)擊中了我們?cè)诰W(wǎng)絡(luò)安全方案開發(fā)中的痛點(diǎn)。所以，當(dāng)我們?cè)?NVIDIA 官方微信公眾號(hào)看到第三屆 NVIDIA? DPU 黑客松的報(bào)名信息時(shí)，就決定通過實(shí)戰(zhàn)項(xiàng)目深入探索 DOCA，正式踏上 DOCA 開發(fā)之旅。

Q

最初從事 DOCA 開發(fā)時(shí)，有具體明確的目標(biāo)嗎？

A

最開始是想要了解 NVIDIA BlueField DPU 和 NVIDIA DOCA 在網(wǎng)絡(luò)安全和邊緣計(jì)算中的潛力，于是開始嘗試官方提供的示例程序和 SDK。后面發(fā)現(xiàn) DPU 在零信任安全框架、高性能網(wǎng)絡(luò)等領(lǐng)域都有很好表現(xiàn)，于是繼續(xù)探索 AI+網(wǎng)絡(luò)安全的方向。

Q

NVIDIA DOCA 中國開發(fā)者社區(qū)對(duì)你們有何幫助？

A

社區(qū)環(huán)境非常友好，DOCA 框架的文檔完整度極高，從驅(qū)動(dòng)安裝到示例編譯都提供了詳盡的“一步一截圖”式指導(dǎo)，對(duì)初學(xué)者非常友好。社區(qū)的氛圍活躍且包容，官方定期組織技術(shù)分享活動(dòng)，開發(fā)者之間也互相幫助答疑解惑，非常適合各階段的開發(fā)者成長。

開發(fā)者寄語

“DPU 在未來的 AI 工廠、零信任安全、邊緣計(jì)算等場(chǎng)景的潛力巨大，我們的項(xiàng)目只是開始。對(duì)于開發(fā)者而言，掌握 DOCA 開發(fā)技術(shù)意味著同時(shí)提升軟件與硬件協(xié)同優(yōu)化的復(fù)合能力，這將在未來的數(shù)據(jù)中心和云計(jì)算領(lǐng)域構(gòu)筑顯著競(jìng)爭(zhēng)優(yōu)勢(shì)?！?span style="text-indent:2em;">——Horizon 團(tuán)隊(duì)隊(duì)長 崔湛林