隨著機(jī)器人的應(yīng)用版圖從工廠不斷擴(kuò)張到商場(chǎng)、超市等服務(wù)領(lǐng)域，面對(duì)的作業(yè)環(huán)境也越來(lái)越復(fù)雜，對(duì)于產(chǎn)品的安全性、可靠性、智能化等要求明顯提高，而機(jī)器人要應(yīng)對(duì)這一變化，首先要做的不是對(duì)系統(tǒng)盲目的做加法，而是需要提升環(huán)境感知能力，構(gòu)建一張更“完美”的地圖。

長(zhǎng)期以來(lái)，機(jī)器人使用的地圖主要為傳統(tǒng)的2D柵格地圖、拓?fù)涞貓D，用來(lái)指導(dǎo)機(jī)器人實(shí)現(xiàn)定位、導(dǎo)航、路徑規(guī)劃等功能，但這類地圖缺乏機(jī)器人用于理解環(huán)境、人機(jī)/物機(jī)交互等業(yè)務(wù)邏輯的高層次語(yǔ)義信息，使得機(jī)器人在智能避障、識(shí)別、交互方面有著天然劣勢(shì)，整體智能化水平不高，導(dǎo)航地圖亟待升級(jí)。

以應(yīng)用在商超、餐廳等場(chǎng)景下的服務(wù)機(jī)器人為例，場(chǎng)景特征表現(xiàn)為人員密集，且環(huán)境復(fù)雜度高，機(jī)器人作業(yè)時(shí)不僅要與人頻繁交互，還需要應(yīng)對(duì)密集的流動(dòng)人群，不斷進(jìn)行動(dòng)態(tài)避障或急停等安全規(guī)避動(dòng)作，要高效完成這些基于環(huán)境變化、目標(biāo)需求產(chǎn)生的實(shí)時(shí)性任務(wù)，意味著機(jī)器人不僅要能“看到”，還要能“看懂”，對(duì)周圍環(huán)境做到“了然于心”，傳統(tǒng)的柵格地圖、拓?fù)涞貓D顯然已無(wú)法滿足要求。

而要解決這類地圖問(wèn)題，構(gòu)建一張包含3D信息、環(huán)境語(yǔ)義的3D語(yǔ)義地圖顯得越發(fā)關(guān)鍵。

與傳統(tǒng)地圖相同，3D語(yǔ)義地圖同樣用于機(jī)器人的基礎(chǔ)導(dǎo)航，不同的是，它的地圖模型是針對(duì)真實(shí)場(chǎng)景的三維環(huán)境重構(gòu)，包含區(qū)域性場(chǎng)景信息及場(chǎng)景中每個(gè)獨(dú)立物體的屬性信息、空間中的三維模型、位姿信息等，使機(jī)器人在語(yǔ)義層次上理解環(huán)境信息，模仿人類大腦對(duì)環(huán)境理解的方式，從而為實(shí)現(xiàn)更高層次的智能化操作提供有效支持。

INDEMIND 3D語(yǔ)義地圖構(gòu)建技術(shù)

解決感知問(wèn)題是構(gòu)建3D語(yǔ)義地圖的前提，因此，目前的3D語(yǔ)義地圖構(gòu)建技術(shù)在技術(shù)實(shí)現(xiàn)上大多采用“多線激光雷達(dá)+視覺(jué)/ToF/其他傳感器”的融合方案,以此提升環(huán)境感知能力，實(shí)現(xiàn)3D語(yǔ)義地圖構(gòu)建，但缺點(diǎn)是成本高昂，加之三維識(shí)別算法，場(chǎng)景切割，導(dǎo)致系統(tǒng)復(fù)雜性較高。而INDEMIND的3D語(yǔ)義地圖構(gòu)建在技術(shù)實(shí)現(xiàn)上則采用單視覺(jué)(雙目)sensor方案，借助算法優(yōu)勢(shì)，即可輸出媲美甚至超越激光融合方案的完整的場(chǎng)景3D語(yǔ)義信息。

INDEMIND的3D語(yǔ)義地圖構(gòu)建是基于INDEMIND自研的立體視覺(jué)技術(shù)，通過(guò)對(duì)雙目視覺(jué)傳感器獲取到3D視覺(jué)點(diǎn)云信息進(jìn)行點(diǎn)云聚類，并結(jié)合邊緣端的嵌入式深度學(xué)習(xí)和VSLAM算法，可快速輸出個(gè)體性物體語(yǔ)義和區(qū)域性場(chǎng)景語(yǔ)義，實(shí)現(xiàn)3D語(yǔ)義地圖構(gòu)建。通過(guò)結(jié)合INDEMIND智能決策引擎，可實(shí)現(xiàn)智能避障、小區(qū)域局部作業(yè)、識(shí)別及人機(jī)/物機(jī)交互等各種高層次智能邏輯。

此外，由于真實(shí)場(chǎng)景中，無(wú)論是家庭、公司還是超市，大多擁有著3個(gè)及3個(gè)以上的細(xì)分場(chǎng)景，這意味著當(dāng)機(jī)器人收到指定房間作業(yè)任務(wù)后需要快速準(zhǔn)確地理解房間的功能屬性，找到對(duì)應(yīng)房間，并能根據(jù)不同房間的功能屬性進(jìn)行個(gè)性化作業(yè)。

因此，為了保證場(chǎng)景理解的準(zhǔn)確度，根據(jù)輸出的區(qū)域性場(chǎng)景語(yǔ)義和個(gè)體性物體語(yǔ)義，INDEMIND采用二者融合的方式實(shí)現(xiàn)場(chǎng)景理解。首先，根據(jù)獲取到的區(qū)域性場(chǎng)景語(yǔ)義信息，進(jìn)行整體特征識(shí)別;其次，會(huì)根據(jù)個(gè)體性物體語(yǔ)義識(shí)別，對(duì)場(chǎng)景中一系列獨(dú)立個(gè)體信息進(jìn)行識(shí)別，并作為場(chǎng)景特征標(biāo)志，最終通過(guò)二相疊加判斷，實(shí)現(xiàn)場(chǎng)景理解。

需要提到的是，目前在掃地機(jī)器人上應(yīng)用較為普遍的“單線激光雷達(dá)+視覺(jué)傳感器”的融合方案，雖然也能獲取到場(chǎng)景中的語(yǔ)義信息，但受限于傳感器限制，事實(shí)上只能識(shí)別到物體的二維信息，無(wú)法構(gòu)建3D語(yǔ)義地圖。

識(shí)別、避障、交互?3D語(yǔ)義地圖為機(jī)器人提供無(wú)限可能

3D語(yǔ)義地圖構(gòu)建技術(shù)，除了能夠?yàn)闄C(jī)器人的自主導(dǎo)航提供基礎(chǔ)指導(dǎo)，更能為識(shí)別、智能避障、交互等智能化操作的深入化開(kāi)發(fā)提供了可能性。

基于INDEMIND立體視覺(jué)技術(shù)的區(qū)域性場(chǎng)景語(yǔ)義和個(gè)體化物體語(yǔ)義技術(shù)，能夠快速提取環(huán)境中各類圖像特征，結(jié)合深度學(xué)習(xí)可立體識(shí)別行人、動(dòng)物、固定/移動(dòng)物體等個(gè)體性障礙物，以及樓梯、自動(dòng)扶梯等危險(xiǎn)場(chǎng)景，避免危險(xiǎn)情況發(fā)生，如去年發(fā)生的機(jī)器人扶梯跌落事件。

同時(shí)，通過(guò)識(shí)別到與顯示匹配的障礙物3D信息，機(jī)器人可作出類似人類規(guī)避動(dòng)作的精細(xì)化操作，能夠讓機(jī)器人有預(yù)判、有策略的實(shí)現(xiàn)智能避障。

此外，3D語(yǔ)義地圖通過(guò)對(duì)場(chǎng)景中獨(dú)立個(gè)體、房間信息做語(yǔ)義識(shí)別及物體分割，在交互上同樣能夠?qū)崿F(xiàn)精細(xì)化操作，以現(xiàn)有的掃地機(jī)器人為例，它的智能程度相對(duì)仍然較低，還停留在一些基礎(chǔ)的圖像識(shí)別和語(yǔ)音交互上，對(duì)于個(gè)性化的交互實(shí)現(xiàn)較粗糙，無(wú)法實(shí)現(xiàn)獨(dú)立的桌椅清掃等精細(xì)化交互，而3D語(yǔ)義地圖則為機(jī)器人人機(jī)/物機(jī)交互的深入升級(jí)提供了真實(shí)可操作性，如實(shí)現(xiàn)目標(biāo)跟蹤、局部清掃等。

審核編輯：湯梓紅