本文由TechSugar編譯自Semiconductor Engineering

具備通用人工智能的人形機(jī)器人距離真正進(jìn)入我們的日常生活還有數(shù)年時(shí)間，但特定應(yīng)用領(lǐng)域的機(jī)器人早已問世。從亞馬遜物流中心的機(jī)器人車隊(duì)，到手術(shù)室的外科手術(shù)機(jī)器人、搜救機(jī)器狗、自主無人機(jī)和最后一公里配送機(jī)器人，再到常見的掃地機(jī)器人，物理人工智能系統(tǒng)正變得越來越智能，也越來越貼近人類生活。

先進(jìn)的3D傳感器、人工智能攝像頭、語音接口和軟件定義激光雷達(dá)通過機(jī)器學(xué)習(xí)算法發(fā)揮關(guān)鍵作用，為物理人工智能賦予眼睛、耳朵和嘴巴。下一步則是將大語言模型（LLM）作為“大腦”，解讀傳感器收集的信息，并根據(jù)其初始訓(xùn)練數(shù)據(jù)和持續(xù)的學(xué)習(xí)經(jīng)驗(yàn)反饋循環(huán)，指導(dǎo)機(jī)器人后續(xù)操作。最終目標(biāo)是讓更多機(jī)器人融入人類的日常生活，但這些系統(tǒng)可能出現(xiàn)故障的原因尚不明確。

“現(xiàn)在判斷人機(jī)交互將如何發(fā)展還為時(shí)過早，”西門子EDA公司IC驗(yàn)證與EDA人工智能產(chǎn)品負(fù)責(zé)人Sathishkumar Balasubramanian表示，“我們目前看到的大多是原型產(chǎn)品，尚未出現(xiàn)真正大規(guī)模應(yīng)用的案例，但值得關(guān)注的是，人們?cè)谙嚓P(guān)技術(shù)研發(fā)和交互設(shè)計(jì)上始終保持高度謹(jǐn)慎，這都源于我們需要理解自動(dòng)化機(jī)器人對(duì)其交互對(duì)象（無論是人類、水瓶還是其他物品）的認(rèn)知視角。

在物理人工智能領(lǐng)域，首要任務(wù)是掌握如何解讀物理環(huán)境并理解其各種屬性，機(jī)器人需要全面感知周圍一切，這也是當(dāng)前研發(fā)投入的核心方向。其次，傳感器領(lǐng)域正取得顯著進(jìn)展，物理人工智能系統(tǒng)的感知能力依賴于這些傳感器和生物傳感器的技術(shù)突破。我認(rèn)為該領(lǐng)域目前仍處于非常早期的階段，除非未來5到10年內(nèi)出現(xiàn)重大技術(shù)變革，否則市場(chǎng)演進(jìn)速度將會(huì)相當(dāng)緩慢?！?/span>

人工智能行業(yè)目前正處于陡峭學(xué)習(xí)曲線的起點(diǎn)?！盁o論是邊緣人工智能還是物理人工智能，我們都處于增長(zhǎng)初期，”新思科技移動(dòng)、汽車和消費(fèi)知IP產(chǎn)品管理執(zhí)行總監(jiān)Hezi Saar表示，“云人工智能可能不會(huì)衰退，但一旦具備利用物理人工智能為消費(fèi)者提供服務(wù)的能力，其增長(zhǎng)速度就不會(huì)再像以前那樣快了。它需要觸手可及——無論是在我們手中、交通工具里還是機(jī)器人身上，同時(shí)還需具備經(jīng)濟(jì)性和低功耗特性，真正服務(wù)于人類需求。我們看到需求正在增長(zhǎng)，而且越來越多的SoC)正在實(shí)現(xiàn)這些功能，但行業(yè)尚未進(jìn)入穩(wěn)定階段?！?/span>

物理人工智能設(shè)備正在快速發(fā)展，人工智能模型也在同步演進(jìn)?！叭斯ぶ悄苷龔墓ぞ咿D(zhuǎn)變?yōu)榛锇?，人們的期望也在不斷提高，并逐漸影響其選擇，”Arm客戶業(yè)務(wù)線高級(jí)副總裁兼總經(jīng)理Chris Bergey表示，“這種轉(zhuǎn)變是由大語言模型和智能體人工智能的重大進(jìn)步所驅(qū)動(dòng)的。這些模型不再是靜態(tài)的，而是能夠推理、規(guī)劃并代表用戶采取行動(dòng)的動(dòng)態(tài)系統(tǒng)。其結(jié)果是，人機(jī)交互不再像下達(dá)指令，而更像是協(xié)作過程。人工智能已從昔日的‘新奇技巧’，演變?yōu)橛绊懝ぷ髋c生活方式的核心力量?！?/span>

人與機(jī)器人，或者任何類型的自動(dòng)化系統(tǒng)或自主系統(tǒng)之間的動(dòng)態(tài)關(guān)系，使得物理人工智能領(lǐng)域比其他領(lǐng)域更具挑戰(zhàn)性?！霸跈C(jī)器人領(lǐng)域，可能仍然需要人參與某個(gè)環(huán)節(jié)，也可能完全不需要人為操作，”Imagination Technologies工程和技術(shù)負(fù)責(zé)人、系統(tǒng)與功能安全工程專家Andrew Johnson表示，“環(huán)應(yīng)用場(chǎng)景可能是危險(xiǎn)環(huán)境，比如高溫、高輻射等，此時(shí)機(jī)器人便能發(fā)揮作用。但是，人為因素仍不容忽視。有時(shí)，人與機(jī)器的交互方式會(huì)因?yàn)闄C(jī)器學(xué)習(xí)而不斷演變，其目的就是為了讓人類的生活更便捷。”

正如人工智能模型會(huì)不斷變得更加智能一樣，安全工程師也需要不斷提升自身技能?！拔覀冃枰紤]能力管理，并關(guān)注人員、流程和開發(fā)框架，而不僅僅是工具和技術(shù)，” Johnson表示，“如果能做到這一點(diǎn)，無論是在設(shè)計(jì)開發(fā)和驗(yàn)證工具中運(yùn)用人工智能/機(jī)器學(xué)習(xí)，還是在產(chǎn)品中采用相關(guān)技術(shù)實(shí)現(xiàn)自動(dòng)化或自主決策，我們都將看到更高的效率和效果。”

就安全而言，最關(guān)鍵的是機(jī)器人能夠正確識(shí)別人類，并不會(huì)對(duì)其造成傷害。Synaptics公司技術(shù)與創(chuàng)新副總裁David Garrett表示：“機(jī)器人周圍的隔離區(qū)非常重要。”他以2022年的一起事故為例：“當(dāng)時(shí)一個(gè)機(jī)器人手正在下棋，孩子在機(jī)器人落子前來得及收回手，機(jī)器人移動(dòng)時(shí)直接折斷了他的手指?！被ヂ?lián)網(wǎng)上充斥著其他涉及機(jī)器人在實(shí)驗(yàn)室、工廠甚至節(jié)日?qǐng)龊习l(fā)生的事件。

將大語言模型作為其認(rèn)知框架一部分的物理人工智能系統(tǒng)，為安全性和可靠性增帶來了額外的挑戰(zhàn)。“不僅硬件或其他處理器需要進(jìn)行嚴(yán)格的測(cè)試，AI本身也需要進(jìn)行嚴(yán)格的測(cè)試，”是德科技首席安全分析師Rajesh Velegalati表示，“我們認(rèn)為，目前針對(duì)各個(gè)領(lǐng)域部署的AI，尤其是用于機(jī)器人或無人機(jī)的AI，安全審查還不夠充分。”

物理人工智能軟硬件驗(yàn)證

雖然行業(yè)焦點(diǎn)大多集中在軟件功能上，但如果沒有底層半導(dǎo)體硬件，這一切都無法實(shí)現(xiàn)。物理人工智能芯片可能在各種環(huán)境溫度和條件下使用，有時(shí)會(huì)處于高負(fù)載運(yùn)行狀態(tài)，有時(shí)則處于休眠模式。這增加了芯片設(shè)計(jì)以及驗(yàn)證的難度。

驗(yàn)證工程師應(yīng)該充分利用所有工具——仿真、仿真加速、形式驗(yàn)證，甚至數(shù)字孿生?！拔锢砣斯ぶ悄芟到y(tǒng)非常復(fù)雜，因此需要借助形式驗(yàn)證等技術(shù)，確保仲裁器等組件在最底層也能正常工作，”Cadence驗(yàn)證軟件產(chǎn)品管理高級(jí)總監(jiān)Matthew Graham表示，“此外，還需利用軟硬件協(xié)同驗(yàn)證。”

過去，工程師可以根據(jù)需要選擇使用哪些驗(yàn)證技術(shù)?！八麄兛赡軙?huì)說，‘我們不需要進(jìn)行形式化驗(yàn)證，也不需要過多關(guān)注功耗，因?yàn)槲覀兊漠a(chǎn)品并不涉及這些領(lǐng)域，’”Graham表示，“但實(shí)際上，每個(gè)微芯片都需要從功耗的角度進(jìn)行考量。它可能不是低功耗設(shè)備，但廠商肯定希望優(yōu)化功耗，尤其是在人工智能時(shí)代。每個(gè)設(shè)備都需要確保其底層某些基本功能的運(yùn)行正確性?！?/span>

大語言模型的訓(xùn)練方式對(duì)安全性有著顯著影響?！叭缃竦倪壿嬆Ｐ褪紫纫梅浅｝嫶蟮臄?shù)據(jù)集進(jìn)行訓(xùn)練，然后通過人機(jī)交互進(jìn)行改進(jìn)和強(qiáng)化，”Rambus公司安全I(xiàn)P高級(jí)技術(shù)總監(jiān)Scott Best表示，“這些系統(tǒng)隨后可以利用專門的數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練，成為適用于‘思維鏈’智能體應(yīng)用的推理模型，能夠以閉環(huán)方式根據(jù)測(cè)量結(jié)果生成自身的刺激?！?/span>

因此，工程師需要為物理人工智能系統(tǒng)和大語言提供保障。“人可能會(huì)走錯(cuò)路，也可能以錯(cuò)誤的方式使用它們，所以他們需要確保并防止這種情況發(fā)生，”新思科技公司的Saar指出。

用以訓(xùn)練LLM和物理AI的仿真技術(shù)

許多物理AI系統(tǒng)，如人形機(jī)器人或機(jī)器狗，被創(chuàng)造出來是為了作為視障人士和老年人的輔助工具，或協(xié)助急救人員。

“當(dāng)然，就像任何技術(shù)一樣，機(jī)器人也可能被濫用，”亞利桑那州立大學(xué)計(jì)算機(jī)與增強(qiáng)智能學(xué)院助理教授、系統(tǒng)學(xué)習(xí)評(píng)估與自然化實(shí)驗(yàn)室主任Ransalu Senanayake表示。

LENS Lab的機(jī)器人系統(tǒng)最初與大語言模型相連，隨后逐步整合計(jì)算機(jī)視覺（CV）模型和視覺語言模型（VLM），如今已升級(jí)為基于視覺-語言-動(dòng)作模型運(yùn)行。

“所有這些大語言模型——我稱之為大型文檔模型——都容易產(chǎn)生幻覺現(xiàn)象，” Senanayake表示，“關(guān)鍵在于實(shí)現(xiàn)‘可控幻覺’，即我們能夠以新的方式了解它們的思維方式，能夠?qū)ζ溥M(jìn)行評(píng)估，若存在問題便及時(shí)舍棄，若具備價(jià)值則進(jìn)一步推進(jìn)應(yīng)用。”

這些大語言模型基于標(biāo)準(zhǔn)模型進(jìn)行訓(xùn)練，然后根據(jù)具體場(chǎng)景進(jìn)行調(diào)整。

同樣，英偉達(dá)也利用仿真技術(shù)來訓(xùn)練其Groot N1開源、可定制的跨實(shí)體機(jī)器人基礎(chǔ)模型?！芭c可以利用互聯(lián)網(wǎng)上所有人類知識(shí)進(jìn)行訓(xùn)練的LLM模型不同，目前尚無此類數(shù)據(jù)可用于訓(xùn)練物理AI模型。獲取真實(shí)世界的數(shù)據(jù)成本高昂且可能存在危險(xiǎn)，而預(yù)訓(xùn)練對(duì)于訓(xùn)練像Groot這樣的模型來說作用有限，”英偉達(dá)Omniverse和仿真技術(shù)副總裁Rev Lebaredian表示，“我們需要一種可擴(kuò)展且經(jīng)濟(jì)高效的方式來生成龐大、多樣化且物理上精確的數(shù)據(jù)。”

為此，最新版本的Groot N1.6將采用該公司自主研發(fā)的Cosmos Reason世界基礎(chǔ)模型（WFM）作為其大腦，使人形機(jī)器人能夠分解復(fù)雜指令，并利用先驗(yàn)知識(shí)和常識(shí)執(zhí)行任務(wù)。同時(shí)，新版本的Cosmos Transfer和Cosmos Predict WFM將賦予人形機(jī)器人更大的軀干和手臂活動(dòng)自由度，從而實(shí)現(xiàn)更靈活的移動(dòng)和操控?！斑@些模型能夠生成數(shù)百個(gè)富含傳感器的虛擬環(huán)境用于機(jī)器人訓(xùn)練，從而減少對(duì)現(xiàn)實(shí)世界數(shù)據(jù)采集的依賴，”Lebaredian表示。

在機(jī)器人正式投入使用前，仿真在確保其功能安全方面發(fā)揮著關(guān)鍵作用。“因此，構(gòu)建盡可能貼近真實(shí)世界的物理精確模擬器至關(guān)重要，這樣我們就能在機(jī)器人真正投入物理世界、擁有實(shí)體之前，在多樣化環(huán)境中對(duì)單個(gè)機(jī)器人及機(jī)器人車隊(duì)進(jìn)行數(shù)百萬小時(shí)的模擬運(yùn)行測(cè)試，”Lebaredian指出。

仿真技術(shù)對(duì)于訓(xùn)練基于物理或受物理信息影響的人工智能尤其有用，例如，這些人工智能需要能夠在工廠車間內(nèi)導(dǎo)航?！拔锢韺W(xué)非常適合創(chuàng)建合成數(shù)據(jù)，因?yàn)槲锢肀举|(zhì)是恒定的，”Ansys（現(xiàn)為新思科技子公司）產(chǎn)品營(yíng)銷總監(jiān)Marc Swinnen表示，“這與人員地址、收入或其他非物理數(shù)據(jù)不同，后者需要真實(shí)數(shù)據(jù)來訓(xùn)練人工智能。我們可以模擬各種物理過程，這正是基于物理的人工智能的優(yōu)勢(shì)所在。我們可以在不使用任何客戶或第三方數(shù)據(jù)的情況下，訓(xùn)練人工智能模型并提供給客戶。硅材料中的熱傳導(dǎo)規(guī)律始終如一，與客戶身份無關(guān)，這讓整個(gè)訓(xùn)練過程更高效便捷?！?/span>

結(jié)語

自動(dòng)化技術(shù)和各類機(jī)器人已在某些行業(yè)站穩(wěn)腳跟，但這僅僅是物理人工智能系統(tǒng)融入日常生活的開端。其終極形態(tài)將是：人形機(jī)器人與仿生動(dòng)物機(jī)器人擁有親和的外觀，能夠在絕大多數(shù)地形上靈活移動(dòng)，并搭載高度定制化的人工智能模型。

隨著物理人工智能復(fù)雜性的不斷增加，安全框架構(gòu)建至關(guān)重要?！拔覀兠媾R的是海量數(shù)據(jù)、來自多源的復(fù)雜輸入數(shù)據(jù)集、復(fù)雜模型與復(fù)雜算法，而相關(guān)工具本身也具有內(nèi)在復(fù)雜性，”Johnson表示，“除此之外，通用軟件棧同樣復(fù)雜，需要計(jì)算密集型硬件來應(yīng)對(duì)這種復(fù)雜性的實(shí)時(shí)處理需求?！?/span>

整個(gè)行業(yè)的相關(guān)活動(dòng)正持續(xù)升溫。變革即將到來，未來幾年，機(jī)器人將大規(guī)模應(yīng)用普及，從新奇事物走向日常生活?，F(xiàn)在的挑戰(zhàn)是如何確保新技術(shù)的整合盡可能平穩(wěn)順暢。