Habitat是一個(gè)新的嵌入式人工智能研究平臺(tái)?？梢园阉胂蟪梢粋€(gè)機(jī)器人的世界，在這個(gè)世界里，機(jī)器人的訓(xùn)練采用高效、逼真的3D模擬形式，之后它們就可以被轉(zhuǎn)移到現(xiàn)實(shí)世界中去。

Habitat包括:1. 一個(gè)高性能的3D模擬器，具有可配置的代理、傳感器和通用的3D處理功能，內(nèi)置了對(duì)Matterport3D、SUNCG和Gibson數(shù)據(jù)集的支持。2. Habitat API——一個(gè)集成的高級(jí)庫(kù)，允許用戶在不同的3D場(chǎng)景數(shù)據(jù)集中使用不同的方法訓(xùn)練和基準(zhǔn)測(cè)試人形智能代理。3. Habitat挑戰(zhàn)——以視覺(jué)導(dǎo)航為基準(zhǔn)并以推進(jìn)目標(biāo)為導(dǎo)向的努力。

Habitat是一個(gè)范例的轉(zhuǎn)變。它為人形智能代理提供了一個(gè)在現(xiàn)實(shí)環(huán)境中行動(dòng)和學(xué)習(xí)的環(huán)境，將加速對(duì)人形人工智能的研究。這并不是說(shuō)數(shù)據(jù)表已經(jīng)完全轉(zhuǎn)變了，但盡管數(shù)據(jù)集在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理過(guò)程中起到了重要的推動(dòng)作用，但功能豐富的模擬器可能很快就會(huì)開(kāi)始發(fā)揮作用。當(dāng)然，這還有很長(zhǎng)的路要走，只有人工智能研究社區(qū)的全面參與與投入才能取得成功。

最近，一組研究人員開(kāi)發(fā)了一個(gè)新的大規(guī)模語(yǔ)義KITTI數(shù)據(jù)集，該數(shù)據(jù)集在點(diǎn)云序列的點(diǎn)向注釋方面具有特殊的規(guī)模。該數(shù)據(jù)集是基于KITTI基準(zhǔn)的里程測(cè)量數(shù)據(jù)集，包含城市內(nèi)部交通、居民區(qū)、公路場(chǎng)景和鄉(xiāng)村道路，但不影響原始的里程測(cè)量基準(zhǔn)。

新數(shù)據(jù)集也是同類數(shù)據(jù)中最大的，包括23201個(gè)用于訓(xùn)練、20351個(gè)用于測(cè)試的完整3D掃描。為了開(kāi)發(fā)數(shù)據(jù)集，研究人員避免使用邊界框或KITTI數(shù)據(jù)集可用的注釋來(lái)確保標(biāo)簽的準(zhǔn)確性和一致性。該數(shù)據(jù)集已在PointNet、PointNet++、切線卷積、SPLATNet、超點(diǎn)圖和SqueezeSeg等六種點(diǎn)云語(yǔ)義分割體系結(jié)構(gòu)上進(jìn)行了評(píng)估和測(cè)試。測(cè)試結(jié)果表明，現(xiàn)有的點(diǎn)云語(yǔ)義分割模型無(wú)法匹配數(shù)據(jù)集的大小和復(fù)雜度。

語(yǔ)義KITTI數(shù)據(jù)集提供了一系列不同的基線實(shí)驗(yàn)，用于使用單個(gè)掃描、多個(gè)掃描以及語(yǔ)義場(chǎng)景完成任務(wù)的語(yǔ)義分割。它還致力于推動(dòng)計(jì)算機(jī)視覺(jué)和自動(dòng)駕駛機(jī)器人應(yīng)用的發(fā)展。最近的研究試圖通過(guò)一個(gè)深層條件變分自動(dòng)編碼器來(lái)解決2D到3D提升的固有困難。研究人員提出了一種基于深度學(xué)習(xí)的生成模型，以估計(jì)的2D姿態(tài)為條件，合成不同的3D姿態(tài)樣本。通過(guò)這樣做，他們解決了從2d到3d提升過(guò)程中遇到的模糊性。

這是首次將深度條件變分自編碼器(CVAE)應(yīng)用于3D人體姿態(tài)估計(jì)。研究人員使用兩種技術(shù)來(lái)預(yù)測(cè)最終的3D姿勢(shì)，包括有序排列和甲骨文。從RGB圖像中得到關(guān)節(jié)序數(shù)關(guān)系，并展示了它們對(duì)使用oracle報(bào)告的3D姿態(tài)樣本進(jìn)行排序的用法。該方法允許三維姿態(tài)建模，并提供了繪制不同的三維樣本的靈活性，從而在Human3.6M和Human-Eva基準(zhǔn)數(shù)據(jù)集上產(chǎn)生了有競(jìng)爭(zhēng)力的結(jié)果。研究人員是否終于解決了單目三維姿態(tài)估計(jì)的長(zhǎng)期難題？這項(xiàng)研究讓我的思緒回到了2014年GANs發(fā)現(xiàn)的時(shí)代。這是CVAE首次應(yīng)用于單眼3D姿態(tài)估計(jì)。

新框架在兩個(gè)基準(zhǔn)數(shù)據(jù)集上獲得了具有競(jìng)爭(zhēng)力的結(jié)果。此外，該模型可以在沒(méi)有配對(duì)3D監(jiān)督的情況下進(jìn)行訓(xùn)練，仍然可以產(chǎn)生有競(jìng)爭(zhēng)力的結(jié)果。我認(rèn)為這個(gè)新模型是人工智能研究社區(qū)愿意深入研究的東西，能夠幫助推動(dòng)3D姿態(tài)估計(jì)的進(jìn)步。

借鑒已有的生成模型，研究人員提出了新的模仿學(xué)習(xí)生成前代模型(GPRIL)，該模型對(duì)多步生成前代分布進(jìn)行建模，實(shí)現(xiàn)狀態(tài)-動(dòng)作分布匹配。新方法基于一個(gè)概念：即，使用專家演示和環(huán)境動(dòng)態(tài)增強(qiáng)訓(xùn)練數(shù)據(jù)集，這些數(shù)據(jù)集預(yù)先提供給人形人工智能，并且只能通過(guò)交互進(jìn)行觀察。狀態(tài)-動(dòng)作對(duì)使得人形人工智能能夠有效地模仿專家，并通過(guò)糾正行為和減少錯(cuò)誤進(jìn)行訓(xùn)練。

通過(guò)這種方式，該方法使得人形人工智能可以僅使用少數(shù)專家演示和與周圍環(huán)境的自監(jiān)督交互來(lái)學(xué)習(xí)魯棒性的策略。GPRIL在兩個(gè)模擬機(jī)器人操作任務(wù)上達(dá)到或優(yōu)于現(xiàn)有的仿真模型，并在真實(shí)機(jī)器人上顯示了相當(dāng)高的樣本效率。GPRIL可以幫助我們解決真實(shí)世界中訓(xùn)練人形人工智能的樣本效率低下或計(jì)算可行性方面的挑戰(zhàn)。此外，它還有潛力使自主技術(shù)訓(xùn)練過(guò)程更安全、快速。

來(lái)自中國(guó)的研究人員進(jìn)行研究時(shí)，發(fā)現(xiàn)大型機(jī)器人網(wǎng)絡(luò)仍然存在著一些經(jīng)常發(fā)生的問(wèn)題。在由大量機(jī)器人組成的網(wǎng)絡(luò)中，如果它們?nèi)狈γ芏确植计胶?，就?huì)導(dǎo)致交通擁擠、沖撞和停頓。作為這些問(wèn)題的解決方案，研究人員提出了一種用于倉(cāng)儲(chǔ)和物流應(yīng)用的分區(qū)任務(wù)規(guī)劃和行動(dòng)協(xié)調(diào)方法。在任務(wù)規(guī)劃方面，對(duì)倉(cāng)庫(kù)環(huán)境進(jìn)行了劃分，并使用一個(gè)交通熱力圖實(shí)現(xiàn)了機(jī)器人的密度分布。

然后，他們應(yīng)用近鄰任務(wù)分配技術(shù)，將特定的任務(wù)分配給最近的自由機(jī)器人，并在拓?fù)鋱D中進(jìn)行高級(jí)路徑規(guī)劃。所有行動(dòng)都能保證交通流動(dòng)的平衡，并使實(shí)時(shí)狀態(tài)呈現(xiàn)優(yōu)異表現(xiàn)。另一方面，該方法還通過(guò)在每個(gè)分區(qū)中的本地協(xié)作算法和用于協(xié)調(diào)成對(duì)相鄰分區(qū)的通道預(yù)留方法來(lái)實(shí)現(xiàn)行動(dòng)協(xié)調(diào)。在此基礎(chǔ)上，提出了一種在線循環(huán)規(guī)劃?rùn)C(jī)制，提高了模型對(duì)機(jī)器人運(yùn)動(dòng)延遲和通信故障的容忍度。最后，每個(gè)機(jī)器人對(duì)其規(guī)劃的道路路徑實(shí)施控制追蹤機(jī)制，以避免可能發(fā)生的碰撞。