Project Mellon 是一個(gè)輕量級(jí)的 Python 軟件包，能夠利用強(qiáng)大的語(yǔ)音 AI（NVIDIA Riva）和大型語(yǔ)言模型（LLMs）（NVIDIA NeMo 服務(wù)），簡(jiǎn)化沉浸式環(huán)境中的用戶交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 現(xiàn)已支持開(kāi)發(fā)者進(jìn)行測(cè)試?；诖?，開(kāi)發(fā)者可開(kāi)始探索如何創(chuàng)建由自然語(yǔ)言語(yǔ)音指令控制的、解放雙手的擴(kuò)展現(xiàn)實(shí)（XR）體驗(yàn)。

正如 J·R·R·托爾金（J.R.R.Tolkien）在《都林之門(mén)（Doors of Durin）》中的謎語(yǔ)—“請(qǐng)說(shuō)，朋友，而后進(jìn)入”所示，文字可以移山倒海。Project Mellon 背后蘊(yùn)含著一個(gè)基本理念，即以更實(shí)用有效的方式來(lái)利用語(yǔ)音 AI 和 LLM 之力打開(kāi)虛擬世界的大門(mén)，并在其中完成更多的事情。

在 XR 中，用戶界面可能非常復(fù)雜且難以使用，會(huì)破壞虛擬、混合和增強(qiáng)現(xiàn)實(shí)的本質(zhì)—即沉浸式體驗(yàn)的自然感。Project Mellon 可賦能多類應(yīng)用程序（無(wú)論是 XR 還是平板生態(tài)）開(kāi)發(fā)者，輕松地將自然語(yǔ)言理解作為以人為本且可解放雙手的新型用戶界面，添加至其開(kāi)發(fā)的軟件之中。

Project Mellon 平臺(tái)包含以下組成部分：

• Project Mellon SDK（軟件開(kāi)發(fā)套件）

• NVIDIA Riva（ASR 、TTS 、NMT）

• NeMo 服務(wù)（其他 LLM 也可獲取支持）

Project Mellon 1.0 發(fā)布的主要功能包括：

• 輕量且易于集成的 Python 庫(kù)

• 保持自然語(yǔ)言理解準(zhǔn)確性的 LLM

• 無(wú)需特定指令進(jìn)行訓(xùn)練的零樣本語(yǔ)言模型

• 具有對(duì)話和視覺(jué)上下文的自然語(yǔ)言指令支持

• 支持詢問(wèn)有關(guān)指令和情境的問(wèn)題，并提供自然語(yǔ)言回答

• 用于理解和執(zhí)行指令的簡(jiǎn)單 Python API

• 基于 Web 的測(cè)試應(yīng)用程序

• 可以在本地或遠(yuǎn)程托管 ASR、TTS、LLM 和神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT），以實(shí)現(xiàn)低延遲響應(yīng)

ESI 集團(tuán)解決方案和技術(shù)專家 Jan Wurster 在 GTC 主題演講—“在虛擬現(xiàn)實(shí)中與 AI 協(xié)作：沉浸式數(shù)字助手（會(huì)議代碼：[S51355]）”中表示：“我們發(fā)現(xiàn)，通過(guò)集成對(duì)話式 AI 與 NVIDIA Project Mellon，可以降低使用 XR 展開(kāi)協(xié)作的技術(shù)門(mén)檻，并為 IC.IDO Weave 用戶提供更加人性化的體驗(yàn)。通過(guò)輸入自然語(yǔ)音，我們的虛擬 AI 助手可以幫助團(tuán)隊(duì)完成復(fù)核任務(wù)、查詢可用情況或發(fā)現(xiàn)相關(guān)問(wèn)題，這些功能無(wú)需記住特定指令、僅需輸入自然語(yǔ)言就可使用?！?/p>

（2023 年 4 月 10 日前登錄 GTC 官網(wǎng)，即可觀看演講回放，了解其團(tuán)隊(duì)如何在動(dòng)態(tài)、協(xié)作的 XR 環(huán)境中，在使用對(duì)話式 AI 的過(guò)程中受益）

Project Mellon 現(xiàn)已可供開(kāi)發(fā)人員使用。觀看 Project Mellon 相關(guān)演示，了解如何利用自然語(yǔ)音指令，驅(qū)動(dòng)設(shè)計(jì)審查、更改實(shí)時(shí)配置、控制機(jī)器人以及操縱相機(jī)和場(chǎng)景元素。

了解如何啟用 Project Mellon 進(jìn)行開(kāi)發(fā)

人工智能正在改變?nèi)祟惻c工作及工具進(jìn)行交互的方式。開(kāi)發(fā)人員可以通過(guò)語(yǔ)音 AI 和 Project Mellon，簡(jiǎn)化并提升用戶體驗(yàn)的人性化水平，且不再需要培訓(xùn)用戶操作虛擬現(xiàn)實(shí)（VR）中的每一項(xiàng)功能。用戶可以在虛擬現(xiàn)實(shí)應(yīng)用程序中，用自己的語(yǔ)言來(lái)控制 XR 體驗(yàn)。

點(diǎn)擊“閱讀原文”，申請(qǐng)?jiān)囉?Project Mellon。

掃描海報(bào)二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！