三維計(jì)算視覺(jué)研究?jī)?nèi)容包括：

1）三維匹配：兩幀或者多幀點(diǎn)云數(shù)據(jù)之間的匹配，因?yàn)榧す鈷呙韫馐芪矬w遮擋的原因，不可能通過(guò)一次掃描完成對(duì)整個(gè)物體的三維點(diǎn)云的獲取。因此需要從不同的位置和角度對(duì)物體進(jìn)行掃描。三維匹配的目的就是把相鄰掃描的點(diǎn)云數(shù)據(jù)拼接在一起。三維匹配重點(diǎn)關(guān)注匹配算法，常用的算法有最近點(diǎn)迭代算法 ICP和各種全局匹配算法。

2）多視圖三維重建：計(jì)算機(jī)視覺(jué)中多視圖一般利用圖像信息，考慮多視幾何的一些約束，射影幾何和多視圖幾何是視覺(jué)方法的基礎(chǔ)，在攝影測(cè)量中類(lèi)似的存在共線方程。光束平差法是該類(lèi)研究的核心技術(shù)。這里也將點(diǎn)云的多視匹配放在這里，比如人體的三維重建，點(diǎn)云的多視重建不再是簡(jiǎn)單的逐幀的匹配，還需要考慮不同角度觀測(cè)產(chǎn)生誤差累積，因此存在一個(gè)針對(duì)三維模型進(jìn)行優(yōu)化或者平差的過(guò)程在里面。多視圖三維重建這里指的只是靜態(tài)建模，輸入是一系列的圖像或者點(diǎn)云集合?？梢灾皇褂脠D像，或者只使用點(diǎn)云，也可以?xún)烧呓Y(jié)合（深度圖像）實(shí)現(xiàn)，重建的結(jié)果通常是Mesh網(wǎng)格。

SFM（運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)） vs Visual SLAM[摘抄] SFM 和 Visual SLAM

Multi-View Stereo （MVS）多視圖立體視覺(jué)，研究圖像一致性，實(shí)現(xiàn)稠密重建。

3）3D SLAM

按照傳感器類(lèi)型分類(lèi)：可以分為基于激光的SLAM和基于視覺(jué)的SLAM。

基于激光的SLAM可以通過(guò)點(diǎn)云匹配（最近點(diǎn)迭代算法 ICP、正態(tài)分布變換方法 NDT）+位姿圖優(yōu)化（g2o、LUM、ELCH、Toro、SPA）來(lái)實(shí)現(xiàn)；實(shí)時(shí)激光3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman濾波方法。通常激光3D SLAM側(cè)重于定位，在高精度定位的基礎(chǔ)上可以產(chǎn)生3D點(diǎn)云，或者Octree Map。

基于視覺(jué)（單目、雙目、魚(yú)眼相機(jī)、深度相機(jī)）的SLAM，根據(jù)側(cè)重點(diǎn)的不同，有的側(cè)重于定位，有的側(cè)重于表面三維重建。不過(guò)都強(qiáng)調(diào)系統(tǒng)的實(shí)時(shí)性。

（1）側(cè)重于定位的VSLAM系統(tǒng)比如orbSLAM，lsdSLAM；VINS是IMU與視覺(jué)融合的不錯(cuò)的開(kāi)源項(xiàng)目。

（2）側(cè)重于表面三維重建SLAM強(qiáng)調(diào)構(gòu)建的表面最優(yōu)，或者說(shuō)表面模型最優(yōu)，通常包含F(xiàn)usion融合過(guò)程在里面。通常SLAM是通過(guò)觀測(cè)形成閉環(huán)進(jìn)行整體平差實(shí)現(xiàn)，優(yōu)先保證位姿的精確；而VSLAM通過(guò)Fusion過(guò)程同時(shí)實(shí)現(xiàn)了對(duì)構(gòu)建的表面模型的整體優(yōu)化，保證表面模型最優(yōu)。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。

（4）目標(biāo)檢測(cè)與識(shí)別：無(wú)人駕駛汽車(chē)中基于激光數(shù)據(jù)檢測(cè)場(chǎng)景中的行人、汽車(chē)、自行車(chē)、道路（車(chē)道線，道路標(biāo)線，路邊線）以及道路設(shè)施（路燈）和道路附屬設(shè)施（行道樹(shù)等）。這部分工作也是高精度電子地圖的主要內(nèi)容。當(dāng)然高精度電子地圖需要考慮的內(nèi)容更多。同時(shí)室內(nèi)場(chǎng)景的目標(biāo)識(shí)別的研究?jī)?nèi)容也很豐富，比如管線設(shè)施，消防設(shè)施等。

（5）形狀檢測(cè)與分類(lèi)：點(diǎn)云技術(shù)在逆向工程中有很普遍的應(yīng)用。構(gòu)建大量的幾何模型之后，如何有效的管理，檢索是一個(gè)很困難的問(wèn)題。需要對(duì)點(diǎn)云（Mesh）模型進(jìn)行特征描述，分類(lèi)。根據(jù)模型的特征信息進(jìn)行模型的檢索。同時(shí)包括如何從場(chǎng)景中檢索某類(lèi)特定的物體，這類(lèi)方法關(guān)注的重點(diǎn)是模型。

（6）語(yǔ)義分類(lèi)：獲取場(chǎng)景點(diǎn)云之后，如何有效的利用點(diǎn)云信息，如何理解點(diǎn)云場(chǎng)景的內(nèi)容，進(jìn)行點(diǎn)云的分類(lèi)很有必要，需要為每個(gè)點(diǎn)云進(jìn)行Labeling?？梢苑譃榛邳c(diǎn)的分類(lèi)方法和基于分割的分類(lèi)方法。從方法上可以分為基于監(jiān)督分類(lèi)的技術(shù)或者非監(jiān)督分類(lèi)技術(shù)，深度學(xué)習(xí)也是一個(gè)很有希望應(yīng)用的技術(shù)。最近深度學(xué)習(xí)進(jìn)行點(diǎn)云場(chǎng)景理解的工作多起來(lái)了，比如PointNet，各種八叉樹(shù)的Net。

（7）雙目立體視覺(jué)與立體匹配ZNCC：立體視覺(jué)（也稱(chēng)雙目視覺(jué)）主要研究的兩個(gè)相機(jī)的成像幾何問(wèn)題，研究?jī)?nèi)容主要包括：立體標(biāo)定（Stereo Calibration）、立體校正（Stereo Rectification）和立體匹配（Stereo Matching）。目前，立體標(biāo)定主要研究的已經(jīng)比較完善，而立體匹配是立體視覺(jué)最核心的研究問(wèn)題。按照匹配點(diǎn)數(shù)目分類(lèi)，立體匹配可分為稀疏立體匹配（sparse stereo matching）和密集立體匹配（dense stereo matching）。稀疏立體匹配由于匹配點(diǎn)數(shù)量稀少，一般很難達(dá)到高精度移動(dòng)測(cè)量和環(huán)境感知的要求。因此，密集立體匹配是學(xué)術(shù)界和工業(yè)界的主要研究和應(yīng)用方向。

（8）自動(dòng)造型（構(gòu)型），快速造型（構(gòu)型）技術(shù)。對(duì)模型進(jìn)行凸分割，模型剖分，以實(shí)現(xiàn)模型進(jìn)一步的編輯修改，派生出其他的模型。

（9）攝像測(cè)量技術(shù)，視頻測(cè)量

1、點(diǎn)云濾波方法（數(shù)據(jù)預(yù)處理）：

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機(jī)采樣一致性濾波。

VoxelGrid

2、關(guān)鍵點(diǎn)

ISS3D、Harris3D、NARF，

SIFT3D、均勻采樣，曲率方法采樣

3、特征和特征描述

法線和曲率計(jì)算NormalEstimation、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、點(diǎn)云匹配

ICP、穩(wěn)健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、點(diǎn)云分割與語(yǔ)義分類(lèi)

分割：區(qū)域生長(zhǎng)、八叉樹(shù)區(qū)域生長(zhǎng)、Ransac線面提取、NDT-RANSAC、全局優(yōu)化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析、

分類(lèi)：基于點(diǎn)的分類(lèi)，基于分割的分類(lèi)；監(jiān)督分類(lèi)與非監(jiān)督分類(lèi)

目前基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分類(lèi)比較熱：PointNet，OctNet之類(lèi)的吧，需要多加關(guān)注。

6、SLAM圖優(yōu)化

Ceres（Google的最小二乘優(yōu)化庫(kù)，很強(qiáng)大），g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、CrossCorrelation、NDT

7、目標(biāo)識(shí)別、檢索

Hausdorff距離計(jì)算（人臉識(shí)別），Graph Matching

8、變化檢測(cè)

基于八叉樹(shù)的變化檢測(cè)

9. 三維重建

泊松重建、Delaunay triangulations

表面重建，人體重建，建筑物重建，樹(shù)木重建。

結(jié)構(gòu)化重建：不是簡(jiǎn)單的構(gòu)建一個(gè)Mesh網(wǎng)格，而是為場(chǎng)景進(jìn)行分割，為場(chǎng)景結(jié)構(gòu)賦予語(yǔ)義信息。場(chǎng)景結(jié)構(gòu)有層次之分，在幾何層次就是點(diǎn)線面等幾何圖元。

實(shí)時(shí)重建：重建植被或者農(nóng)作物的4D（3D+時(shí)間）生長(zhǎng)態(tài)勢(shì)；人體姿勢(shì)識(shí)別；表情識(shí)別；

10.點(diǎn)云數(shù)據(jù)管理

點(diǎn)云壓縮，點(diǎn)云索引（KD、Octree），點(diǎn)云LOD（金字塔），海量點(diǎn)云的渲染

責(zé)任編輯：xj

原文標(biāo)題：三維點(diǎn)云數(shù)據(jù)處理學(xué)習(xí)內(nèi)容總結(jié)

文章出處：【微信公眾號(hào)：新機(jī)器視覺(jué)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。