Q:

選用什么樣的系統(tǒng)或平臺(tái)開(kāi)發(fā)機(jī)器人/機(jī)器臂？

A:

隨著人工智能技術(shù)的快速發(fā)展，開(kāi)發(fā)機(jī)器人/機(jī)器臂的平臺(tái)或者系統(tǒng)也是越來(lái)越多，不同背景知識(shí)和不同需求的開(kāi)發(fā)者對(duì)于平臺(tái)的性能要求也是各不相同。在這種情況下，NVIDIA 的開(kāi)發(fā)平臺(tái)可一定不要錯(cuò)過(guò)，總有一款方案適合你！

使用基于 Omniverse Enterprise 平臺(tái)的 Isaac Sim 工具進(jìn)行虛擬仿真

在現(xiàn)實(shí)世界中制造機(jī)器人需要從頭開(kāi)始創(chuàng)建數(shù)據(jù)集，既費(fèi)時(shí)又費(fèi)錢(qián)，而且會(huì)減緩部署速度。

因此，為了降低成本和加快部署，開(kāi)發(fā)人員正在轉(zhuǎn)向合成數(shù)據(jù)生成（SDG）、預(yù)訓(xùn)練 AI 模型、遷移學(xué)習(xí)和機(jī)器人仿真這幾種方式。

NVIDIA OVX服務(wù)器上運(yùn)行的 Omniverse Cloud 平臺(tái)即服務(wù)，為世界各地的 Azure 開(kāi)發(fā)人員帶來(lái)各種先進(jìn)的功能，使企業(yè)能夠擴(kuò)展 SDG 等機(jī)器人仿真工作負(fù)載，并為開(kāi)發(fā)團(tuán)隊(duì)提供持續(xù)集成和交付能力，讓他們?cè)谑褂?Isaac Sim 的同時(shí)能夠在一個(gè)共享的資源庫(kù)中修改代碼。

Isaac Sim是一個(gè)機(jī)器人仿真應(yīng)用和 SDG 工具，驅(qū)動(dòng)逼真的、物理準(zhǔn)確的虛擬環(huán)境。在 NVIDIA Omniverse 平臺(tái)的賦能下，Isaac Sim 使全球團(tuán)隊(duì)能夠開(kāi)展遠(yuǎn)程協(xié)作，一起構(gòu)建、訓(xùn)練、仿真、驗(yàn)證和部署機(jī)器人。

除了現(xiàn)有的基于云的方法，如在自管理容器中使用 Isaac Sim，或者在虛擬工作站或AWS RoboMaker 等全代管服務(wù)上使用 Isaac Sim 等，Omniverse Cloud 將通過(guò) Azure 為企業(yè)提供更多的云選項(xiàng)。

而工程師可以通過(guò)接入 Isaac Sim 中的 SDG 引擎Omniverse Replicator來(lái)建立生產(chǎn)級(jí)合成數(shù)據(jù)集，用于訓(xùn)練強(qiáng)大深度學(xué)習(xí)感知模型。

使用 Jetson Orin 打造高效率、高性能邊緣 AI 和機(jī)器人

NVIDIA Jetson Orin 模組現(xiàn)已可用于量產(chǎn)，可支持各種邊緣 AI 和機(jī)器人技術(shù)應(yīng)用，包括可提供每秒 40 萬(wàn)億次運(yùn)算（TOPS）AI 性能的最小 Jetson 模組Jetson Orin Nano，以及為先進(jìn)自主機(jī)器提供 275 TOPS 性能的Jetson AGX Orin。

與上一代 Jetson Nano 相比，全新 Jetson Orin Nano 開(kāi)發(fā)者套件的性能提高了 80 倍，使開(kāi)發(fā)人員能夠運(yùn)行先進(jìn)的轉(zhuǎn)換器和機(jī)器人模型。由于每瓦性能提高了 50 倍，剛開(kāi)始使用 Jetson Orin Nano 模組的開(kāi)發(fā)人員可以構(gòu)建和部署節(jié)能的入門(mén)級(jí) AI 機(jī)器人、智能無(wú)人機(jī)，以及智能視覺(jué)系統(tǒng)等。

在 Jetson 平臺(tái)上運(yùn)行的NVIDIA Isaac ROS和DeepStream等特定應(yīng)用框架與云框架緊密集成，如 Omniverse 平臺(tái)上的 Isaac Sim 和NVIDIA Metropolis等。開(kāi)發(fā)人員還可使用最新NVIDIA TAO工具套件對(duì) NVIDIA NGC 產(chǎn)品目錄中的預(yù)訓(xùn)練 AI 模型進(jìn)行微調(diào)，縮短部署時(shí)間。

已有超過(guò) 100 萬(wàn)名開(kāi)發(fā)人員和 6000 多家客戶選擇 NVIDIA Jetson 平臺(tái)。70 多家 Jetson 生態(tài)合作伙伴正在提供基于 Orin 的解決方案，以及覆蓋硬件、AI 軟件和應(yīng)用設(shè)計(jì)服務(wù)、傳感器、連接和開(kāi)發(fā)者工具的全方位支持。

Q:

如何制作一個(gè)機(jī)器人？

A:

提到制作一個(gè)機(jī)器人，許多人都會(huì)認(rèn)為是一件非常高大上的事情，但其實(shí)并沒(méi)有那么困難，就像風(fēng)靡全球的漫威電影《鋼鐵俠》中的主人公一樣，我們也可以自己動(dòng)手制作一個(gè)機(jī)器人。接下來(lái) NVIDIA 就為大家?guī)?lái)創(chuàng)客 Kris Kersey 的故事，他真的自己制作出了《鋼鐵俠》中的超級(jí)英雄頭盔。

Kris Kersey 是一名擁有 20 多年經(jīng)驗(yàn)的嵌入式軟件開(kāi)發(fā)人員，同時(shí)也是一個(gè)擁有 3 萬(wàn)多名訂閱者的 YouTube 教育頻道主播，以及漫畫(huà)與 COSPLAY 狂熱愛(ài)好者。

他在自己的首個(gè)項(xiàng)目中使用NVIDIA Jetson 邊緣 AI 和機(jī)器人技術(shù)平臺(tái)將這些興趣和專(zhuān)長(zhǎng)糅合到一起，完整還原了《鋼鐵俠》中的超級(jí)英雄頭盔。

這個(gè) 3D 打印頭盔 HUD 配備了計(jì)算機(jī)視覺(jué)功能，可以像電影中那樣顯示用戶所見(jiàn)之物的信息。

NVIDIA Jetson 平臺(tái)負(fù)責(zé)處理來(lái)自兩個(gè)攝像頭的數(shù)據(jù)（每個(gè)眼槽一個(gè)），這兩個(gè)攝像頭可以“看到”頭盔佩戴者目光所及的東西。然后，HUD 會(huì)顯示當(dāng)前溫度、濕度、高度和 GPS 位置等信息，還可以基于用于物體檢測(cè)的深度神經(jīng)網(wǎng)絡(luò)，對(duì)用戶視野中的物體進(jìn)行分類(lèi)。

為了與他人分享這份快樂(lè)，Kersey 在他的 YouTube 頻道—— Kersey Fabrications 上分享了整個(gè)制作流程。

他表示，超級(jí)英雄電影和科幻小說(shuō)都提醒自己，實(shí)現(xiàn)尖端技術(shù)需要跨學(xué)科協(xié)作。

他還提到：“就像這個(gè)項(xiàng)目一樣，一般情況下藝術(shù)家和故事講述者負(fù)責(zé)發(fā)揮自己的想象力，構(gòu)思出精彩的想法，然后由科學(xué)家和工程師把這些想法變成現(xiàn)實(shí)”。

Kersey 曾在佐治亞州的南方理工大學(xué)（現(xiàn)隸屬于肯尼索州立大學(xué)學(xué)習(xí)計(jì)算機(jī)科學(xué)，他在嵌入式微處理器架構(gòu)方面積累了豐富的工作經(jīng)驗(yàn)，且專(zhuān)門(mén)研究與 NVIDIA Jetson 平臺(tái)兼容的 Linux 操作系統(tǒng)。

Kersey 表示：“在 Jetson 平臺(tái)上編寫(xiě)軟件不需要學(xué)習(xí)新的編程語(yǔ)言或操作系統(tǒng)，所以對(duì)我來(lái)說(shuō)是很容易的?！?/span>

白天，他是一家亞特蘭大初創(chuàng)企業(yè)的軟件工程師。晚上，他在自己的個(gè)人創(chuàng)客空間做自己的項(xiàng)目。

“我的車(chē)庫(kù)從不是用來(lái)停車(chē)的。”相反，他的車(chē)庫(kù)中充滿著讓他的奇思妙想得以實(shí)現(xiàn)的各種工具、電路板和其他設(shè)備。

Kersey 小時(shí)候就癡迷于技術(shù)。他的母親是一位計(jì)算機(jī)輔助繪圖和機(jī)械設(shè)計(jì)教師。

“從很小的時(shí)候起，我就可以擺弄她用的電腦，我對(duì)電腦十分著迷。堂兄曾給了我一臺(tái)舊的 8 位電腦，剛開(kāi)始不太會(huì)用，我就掏出說(shuō)明書(shū)讀完整本，學(xué)會(huì)了基本的編程?！?/span>

后來(lái)，在幫助兒子完成一個(gè)科學(xué)奧林匹克競(jìng)賽項(xiàng)目時(shí)，Kersey 開(kāi)始接觸 3D 打印。

他表示：“從那時(shí)候起，我開(kāi)始真正喜歡上了 3D 打印，不過(guò)我兒子不怎么喜歡?！?/span>

2018 年，Kersey 開(kāi)設(shè)了自己的 YouTube 頻道，主要分享 3D 打印方面的內(nèi)容。在此過(guò)程中，他逐漸成為了一名資深創(chuàng)客，同時(shí)也將個(gè)人所學(xué)教給觀眾。

Kersey 完整還原的 3D 打印無(wú)線鋼鐵俠頭盔，簡(jiǎn)直與這個(gè)經(jīng)典電影系列中的頭盔如出一轍，就連頭盔的打磨和上色也是他親力親為完成。

頭盔模型以NVIDIA Jetson Xavier NX開(kāi)發(fā)套件為核心，驅(qū)動(dòng)頭盔的 HUD。

他提到：“為了讓頭盔戴起來(lái)與《鋼鐵俠》中的一樣拉風(fēng)，必須擁有實(shí)時(shí)、低延遲、高分辨率和高幀數(shù)的特點(diǎn)。屏幕上還必須顯示大量信息，這就需要有強(qiáng)大的圖形處理器，所以我選擇了 Jetson 平臺(tái)?！?/span>

Jetson 開(kāi)發(fā)者套件配備了強(qiáng)大的板載NVIDIA GPU和 AI 功能來(lái)加速嵌入式應(yīng)用。

Kersey 還使用NVIDIA TensorRT軟件開(kāi)發(fā)套件，讓項(xiàng)目實(shí)現(xiàn)了低延遲、高吞吐量的高性能深度學(xué)習(xí)推理。

為了打造出新一代頭盔 HUD，Kersey 使用了NVIDIA Jetson Orin Nano開(kāi)發(fā)者套件，并表示這個(gè)項(xiàng)目“直到最后一刻才見(jiàn)分曉”。NVIDIA Jetson Orin Nano 套件于 2022 年 9 月推出，為創(chuàng)建入門(mén)級(jí) AI 機(jī)器人、智能相機(jī)等制定了新的標(biāo)準(zhǔn)。

Kersey 表示，從打開(kāi) Jetson Orin Nano 包裝盒到部署和運(yùn)行軟件，只花了他兩個(gè)小時(shí)。

他目前想要使用Jetson Orin NX 16GB系統(tǒng)級(jí)模組升級(jí)項(xiàng)目，并從鋁制鋼鐵俠手炮（Repulsor）原型開(kāi)始，打造一整套包含頭盔的鋼鐵俠盔甲。

他表示很快將開(kāi)源該項(xiàng)目的代碼，這樣其他人也可以輕松地把自己變成超級(jí)英雄。