1. 3D圖(tu)像描述

2. RGB-D

3. 點云

4. 何為點云？

5. 點云(yun)的獲取

6. 點云的內容

7. 點云的屬性

8. 點云目前的主要存(cun)儲格式(shi)包括：pts、LAS、PCD、.xyz 和(he). pcap 等

9. 相應(ying)基(ji)礎算法(fa)庫對不(bu)同格式(shi)的支(zhi)持

10. 三維點(dian)云有(you)多種(zhong)表示方法

11. 相比于圖(tu)像數據,點云(yun)不直接(jie)包含空間結構,因此點云(yun)的深度模型必(bi)須解(jie)決三個主(zhu)要問題

12. DataSets

13. Metric

14. 基于點云的分類

15. 基于點云的(de)分割

16. 基于點(dian)云的(de)目標檢測(ce)

17. 點云(yun)數據(ju)的增強和完(wan)整化

三維圖(tu)像(xiang)(xiang)是在(zai)二(er)維彩(cai)色圖(tu)像(xiang)(xiang)的基礎(chu)上又多了一個維度(du)，即深度(du)（Depth，D），可(ke)用一個很直觀的公式表(biao)示為：

三(san)維圖像 = 普通的 RGB 三(san)通道彩色(se)圖像 + Depth Map。

3D圖像描述：

· 第(di)一種分法(fa)：

o 第多邊形網格

o 基于體素的描(miao)述

o 點云

o 隱式表面

o 基于視圖(tu)的描述

· 第二種分法(fa)：

o 深度圖像(xiang)（depth images）

o 點云

o 網格（meshes）

o 體(ti)積網格(ge)（volumetric grids）

RGB-D

RGB-D 是廣泛使用的 3D 格式(shi)，其(qi)圖像(xiang)每個像(xiang)素都有(you)四個屬性：即紅（R）、綠（G）、藍（B）和(he)深度(du)（D）。

在一般(ban)的基于像(xiang)素的圖(tu)像(xiang)中(zhong)，我(wo)們(men)可以通過（x，y）坐標(biao)(biao)定位任何像(xiang)素，分別(bie)獲(huo)得三種顏(yan)色屬性(xing)（R，G，B）。而在 RGB-D 圖(tu)像(xiang)中(zhong)，每個(ge)（x，y）坐標(biao)(biao)將對應(ying)于四(si)個(ge)屬性(xing)（深度 D，R，G，B）。

點云

我們在做 3D 視覺的(de)時(shi)候，處(chu)理的(de)主要是(shi)點(dian)云(yun)，點(dian)云(yun)就是(shi)一些點(dian)的(de)集(ji)合。相對(dui)于(yu)圖(tu)像，點(dian)云(yun)有其不可(ke)替(ti)代的(de)優(you)勢——深度，也(ye)就是(shi)說三維點(dian)云(yun)直接提供了三維空(kong)間的(de)數據(ju)(ju)，而圖(tu)像則需要通過透視幾(ji)何來反推三維數據(ju)(ju)。

何為點云？

· 其實點(dian)云是(shi)某個坐(zuo)標(biao)系下的點(dian)的數據集。點(dian)包(bao)含了豐(feng)富的信息(xi)，包(bao)括三維坐(zuo)標(biao) X，Y，Z、顏色(se)、分(fen)類值、強度值、時間等等。點(dian)云在組成特點(dian)上分(fen)為兩種(zhong)，一種(zhong)是(shi)有序(xu)點(dian)云，一種(zhong)是(shi)無序(xu)點(dian)云。

o 有(you)序點(dian)云(yun)：一般(ban)由深度圖(tu)還(huan)原的(de)點(dian)云(yun)，有(you)序點(dian)云(yun)按照圖(tu)方陣一行一行的(de)，從左上(shang)角(jiao)(jiao)到右(you)下(xia)角(jiao)(jiao)排列，當然(ran)其中(zhong)有(you)一些(xie)無(wu)效點(dian)因(yin)為。有(you)序點(dian)云(yun)按順(shun)序排列，可以很容易的(de)找到它的(de)相鄰(lin)點(dian)信息。有(you)序點(dian)云(yun)在某些(xie)處理的(de)時候(hou)還(huan)是很便利的(de)，但是很多情況下(xia)是無(wu)法獲(huo)取(qu)有(you)序點(dian)云(yun)的(de)。

o 無序(xu)(xu)點(dian)(dian)(dian)云(yun)：無序(xu)(xu)點(dian)(dian)(dian)云(yun)就是其中(zhong)的點(dian)(dian)(dian)的集合，點(dian)(dian)(dian)排列之(zhi)間沒(mei)有任何順序(xu)(xu)，點(dian)(dian)(dian)的順序(xu)(xu)交換后沒(mei)有任何影響。是比較普遍的點(dian)(dian)(dian)云(yun)形式，有序(xu)(xu)點(dian)(dian)(dian)云(yun)也可(ke)看做無序(xu)(xu)點(dian)(dian)(dian)云(yun)來處理(li)。

點云表示的優點：

· 點(dian)云(yun)表示保留了三維空(kong)間中(zhong)原(yuan)始的幾何信息(xi)，不進行離散化(hua)

點云當前面臨的挑戰：

· 數據集(ji)規模(mo)小(xiao)

· 高(gao)維性

· 3維(wei)點(dian)云的非建構(gou)化特性

點云的獲取：

· 點云不是通過普通的相機拍攝得到的，一般是通過三維成像傳感器獲得，比如雙目相機、三維掃描儀、RGB-D 相機等。目前主流的 RGB-D 相機有微軟的 Kinect 系列、Intel 的 realsense 系列、structure sensor（需結合 iPad 使用）等。點云可通過掃描的 RGB-D 圖像，以及掃描相機的內在參數創建點云，方法是通過相機校準，使用相機內在參數計算真實世界的點（x，y）。因此，RGB-D 圖像是網格對齊的圖像，而點云則是更稀疏的結構。此外，獲得點云的較好方法還包括 LiDAR 激光探測(ce)與測(ce)量，主要通過(guo)星載、機載和(he)地面(mian)三(san)種方式(shi)獲(huo)取。

點云的內容：

· 根據激光(guang)測(ce)量(liang)原(yuan)(yuan)理(li)得(de)到的(de)點(dian)(dian)云，包(bao)括(kuo)(kuo)三維坐標（XYZ）和(he)激光(guang)反(fan)射(she)(she)強(qiang)(qiang)度（Intensity），強(qiang)(qiang)度信(xin)息(xi)與目標的(de)表面材質、粗糙度、入射(she)(she)角方向(xiang)以及儀器的(de)發射(she)(she)能量(liang)、激光(guang)波長有關。根據攝影測(ce)量(liang)原(yuan)(yuan)理(li)得(de)到的(de)點(dian)(dian)云，包(bao)括(kuo)(kuo)三維坐標（XYZ）和(he)顏(yan)色(se)信(xin)息(xi)（RGB）。結(jie)合激光(guang)測(ce)量(liang)和(he)攝影測(ce)量(liang)原(yuan)(yuan)理(li)得(de)到點(dian)(dian)云，包(bao)括(kuo)(kuo)三維坐標（XYZ）、激光(guang)反(fan)射(she)(she)強(qiang)(qiang)度（Intensity）和(he)顏(yan)色(se)信(xin)息(xi)（RGB）。

點云的屬性：

· 空間分辨(bian)率(lv)、點位精度、表面(mian)法向量等。

· 點(dian)云(yun)(yun)可(ke)以(yi)表(biao)達物體(ti)的(de)空間輪廓(kuo)和具(ju)體(ti)位置(zhi)，我們(men)能(neng)看到街道、房屋的(de)形(xing)狀，物體(ti)距(ju)(ju)離攝像機的(de)距(ju)(ju)離也是(shi)可(ke)知的(de)；其次(ci)，點(dian)云(yun)(yun)本身(shen)和視角無關，可(ke)以(yi)任意旋轉，從不(bu)同(tong)角度和方向(xiang)觀(guan)察一個點(dian)云(yun)(yun)，而(er)且不(bu)同(tong)的(de)點(dian)云(yun)(yun)只要在同(tong)一個坐(zuo)標系下就可(ke)以(yi)直接融合。

點云目前的主要存儲格式包括：pts、LAS、PCD、.xyz 和. pcap 等

o pts 點云(yun)文件格(ge)式(shi)是(shi)最簡(jian)便的點云(yun)格(ge)式(shi)，直接按 XYZ 順序(xu)存儲點云(yun)數(shu)據， 可以是(shi)整(zheng)型(xing)或者(zhe)浮點型(xing)。

· LAS 是激光雷達數據(ju)（LiDAR），存儲格式比(bi) pts 復雜，旨在提(ti)供一種開放的格式標(biao)準，允許不同的硬(ying)件和軟件提(ti)供商(shang)輸出可互操作的統(tong)一格式。LAS 格式點云截圖，其(qi)中 C：class(所屬類)，F：flight(航線號)，T：time(GPS 時間(jian))，I：intensity(回(hui)波強度)，R：return(第幾次(ci)回(hui)波)，N：number of return(回(hui)波次(ci)數)，A：scan angle(掃描(miao)角)，RGB：red green blue(RGB 顏色值)。

· PCD 存儲格式，現有的文件結構因本身組成的原因不支持由 PCL 庫（后文會進行介紹）引進 n 維點類型機制處理過程中的某些擴展，而 PCD 文件格式能夠很好地補足這一點。PCD 格式具有文件頭，用于描繪點云的整體信息：定義數字的可讀頭、尺寸、點云的維數和數據類型；一種數據段，可以是 ASCII 碼或二進制碼。數據本體部分由點的笛卡爾坐標構成，文本模式下以空格做分隔符。
PCD 存儲(chu)格式(shi)是 PCL 庫(ku)官方指定格式(shi)，典型的為點(dian)云量身定制的格式(shi)。優點(dian)是支持(chi) n 維點(dian)類(lei)型擴(kuo)展機制，能(neng)(neng)夠更好地發揮 PCL 庫(ku)的點(dian)云處理(li)性能(neng)(neng)。文件格式(shi)有文本和二進制兩種格式(shi)。

· .xyz 一種文(wen)本(ben)格(ge)式，前面 3 個數字(zi)表示(shi)點坐標，后面 3 個數字(zi)是點的法向(xiang)量(liang)，數字(zi)間以(yi)空格(ge)分隔。

· .pcap 是一種(zhong)通用的(de)數據流格式(shi)，現在流行的(de) Velodyne 公司出品的(de)激光雷達默認采集(ji)數據文(wen)件格式(shi)。它是一種(zhong)二進制文(wen)件

· obj是一種文(wen)本文(wen)件，通(tong)常用以(yi)(yi)“#”開頭的(de)注釋行作為(wei)文(wen)件頭，數(shu)(shu)據部分每一行的(de)開頭關鍵字代(dai)表該行數(shu)(shu)據所表示的(de)幾(ji)何(he)和模型(xing)元素，以(yi)(yi)空格做(zuo)數(shu)(shu)據分隔符

相應基礎算法庫對不同格式的支持

· PCL（Point Cloud Library）庫支持跨(kua)平(ping)臺存儲，可以在 Windows、Linux、macOS、iOS、Android 上部署。可應(ying)用(yong)于計算資源(yuan)有限或(huo)者內存有限的應(ying)用(yong)場景，是一個大型跨(kua)平(ping)臺開(kai)源(yuan) C++ 編程(cheng)庫，它實現了大量點云相(xiang)關的通用(yong)算法和高效(xiao)數據結構，其基于以下第(di)三方(fang)庫：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實現點云相(xiang)關的獲(huo)取、濾波、分(fen)割、配準、檢索、特征提(ti)取、識別、追蹤(zong)、曲面重建、可視化(hua)等操作，非常方(fang)便移動(dong)端開(kai)發。

· VCG 庫(ku)（Visulization and Computer Graphics Libary）是專門為(wei)處理三角(jiao)網格(ge)而設計(ji)的(de)(de)，該庫(ku)很(hen)大，且提供了(le)許多先(xian)進的(de)(de)處理網格(ge)的(de)(de)功能(neng)，以及比較(jiao)少(shao)的(de)(de)點云處理功能(neng)。

· CGAL（Computational Geometry Algorithms Library）計算幾何(he)算法(fa)庫，設計目標(biao)是以(yi) C++ 庫的(de)形式，提供(gong)方便、高效(xiao)、可靠的(de)幾何(he)算法(fa)，其實現了很多處(chu)(chu)理點云以(yi)及處(chu)(chu)理網格(ge)的(de)算法(fa)。

· Open3D 是(shi)一個可以支持(chi) 3D 數(shu)(shu)(shu)據(ju)(ju)處(chu)理軟(ruan)件快速開(kai)(kai)(kai)(kai)發(fa)的(de)(de)(de)開(kai)(kai)(kai)(kai)源庫。支持(chi)快速開(kai)(kai)(kai)(kai)發(fa)處(chu)理 3D 數(shu)(shu)(shu)據(ju)(ju)的(de)(de)(de)軟(ruan)件。Open3D 前端在 C++ 和 Python 中公開(kai)(kai)(kai)(kai)了一組精(jing)心選擇的(de)(de)(de)數(shu)(shu)(shu)據(ju)(ju)結(jie)構(gou)和算法(fa)。后端經(jing)過(guo)(guo)高度優(you)化(hua)，并(bing)設(she)置為(wei)并(bing)行化(hua)。Open3D 是(shi)從(cong)一開(kai)(kai)(kai)(kai)始就開(kai)(kai)(kai)(kai)發(fa)出(chu)來的(de)(de)(de)，帶有很(hen)少的(de)(de)(de)、經(jing)過(guo)(guo)仔(zi)細考(kao)慮的(de)(de)(de)依賴項。它可以在不同的(de)(de)(de)平臺上設(she)置，并(bing)且(qie)可以從(cong)源代(dai)碼(ma)進行最小的(de)(de)(de)編(bian)譯。代(dai)碼(ma)干凈，樣式(shi)一致，并(bing)通過(guo)(guo)清(qing)晰(xi)的(de)(de)(de)代(dai)碼(ma)審查機(ji)制進行維護。在點云、網格、rgbd 數(shu)(shu)(shu)據(ju)(ju)上都有支持(chi)。

三維點云有多種表示方法

· （如圖(tu)(tu)所示(shi)(shi)），不同的(de)(de)(de)(de)(de)表(biao)示(shi)(shi)對應著不同的(de)(de)(de)(de)(de)處理(li)(li)方(fang)法(fa)。比較容(rong)易的(de)(de)(de)(de)(de)處理(li)(li)方(fang)式(shi)為(wei)將(jiang)其投影為(wei)二維圖(tu)(tu)像或者(zhe)轉換為(wei)三維體素(su) (Voxel)，從(cong)而將(jiang)無(wu)序的(de)(de)(de)(de)(de)空(kong)間點(dian)(dian)轉變為(wei)規則的(de)(de)(de)(de)(de)數據(ju)排列；也可(ke)以(yi)使(shi)用原(yuan)始(shi)(shi)(shi)點(dian)(dian)作(zuo)(zuo)(zuo)為(wei)表(biao)示(shi)(shi)，不做任何變換，該方(fang)式(shi)的(de)(de)(de)(de)(de)好處為(wei)最大可(ke)能保留所有原(yuan)始(shi)(shi)(shi)信息。此外，點(dian)(dian)云作(zuo)(zuo)(zuo)為(wei)空(kong)間無(wu)序點(dian)(dian)集，可(ke)以(yi)被看作(zuo)(zuo)(zuo)普適(shi)意義上的(de)(de)(de)(de)(de)圖(tu)(tu)數據(ju)。點(dian)(dian)云還有另外一(yi)(yi)種表(biao)示(shi)(shi)，稱(cheng)作(zuo)(zuo)(zuo)網(wang)格(ge) (Mesh)，其也可(ke)以(yi)被看作(zuo)(zuo)(zuo)是(shi)構建了局(ju)部連接關系的(de)(de)(de)(de)(de)點(dian)(dian)，即(ji)為(wei)圖(tu)(tu)。將(jiang)點(dian)(dian)云看作(zuo)(zuo)(zuo)圖(tu)(tu)數據(ju)，可(ke)以(yi)使(shi)用圖(tu)(tu)領域新(xin)興的(de)(de)(de)(de)(de)圖(tu)(tu)卷積(ji) (Graph Convolution) 技術進(jin)行(xing)處理(li)(li)。需要提及的(de)(de)(de)(de)(de)是(shi)，原(yuan)始(shi)(shi)(shi)點(dian)(dian)的(de)(de)(de)(de)(de)表(biao)示(shi)(shi)和圖(tu)(tu)表(biao)示(shi)(shi)之間并無(wu)明確界(jie)限（事(shi)實上原(yuan)始(shi)(shi)(shi)點(dian)(dian)云和網(wang)格(ge) (Mesh) 之間有一(yi)(yi)定區別，但若從(cong)語(yu)義理(li)(li)解方(fang)法(fa)的(de)(de)(de)(de)(de)角度看，可(ke)暫時忽略此區別，將(jiang)Mesh看作(zuo)(zuo)(zuo)是(shi)增加(jia)了一(yi)(yi)種連接關系）

o 基于二維投影的方法。CNN 最好(hao)的應(ying)用領域在于(yu)圖(tu)(tu)像處理(li)，將三維(wei)(wei)點(dian)云(yun)數據投影到二維(wei)(wei)圖(tu)(tu)像平面(mian)，即可(ke)使得 CNN 應(ying)用于(yu)點(dian)云(yun)數據成(cheng)為可(ke)能。

o 基于三維體素的方法。對三(san)維(wei)(wei)點(dian)云進(jin)(jin)行(xing)二維(wei)(wei)投影降(jiang)低(di)了(le)算法處(chu)理的難(nan)度(du)，但是(shi)三(san)維(wei)(wei)到二維(wei)(wei)的投影必然帶來幾何結構信(xin)息的損失，直接進(jin)(jin)行(xing)三(san)維(wei)(wei)特征的提(ti)取在一(yi)(yi)些場景下是(shi)非常有必要的。一(yi)(yi)種(zhong)(zhong)最自然的想法便是(shi) CNN 的延拓(tuo)，將(jiang)二維(wei)(wei)卷積神經(jing)網絡(luo)拓(tuo)展一(yi)(yi)個維(wei)(wei)度(du)，使(shi)其可(ke)以處(chu)理三(san)維(wei)(wei)排列的數據(ju)；同時，對點(dian)云進(jin)(jin)行(xing)體(ti)素化 (Voxelization)，將(jiang)其轉換為空間上規則排布的柵(zha)格，使(shi)得(de)三(san)維(wei)(wei)卷積神經(jing)網絡(luo)(Three Dimension Convolutional Neural Network, 3DCNN) 可(ke)以直接應(ying)用在這種(zhong)(zhong)表示(shi)上。

o 基于原始點的方法。無論是(shi)二維投影還是(shi)三位體素，均需要對原始點(dian)云(yun)進行(xing)一定的轉(zhuan)換，而轉(zhuan)換必(bi)然帶來數據信息的損失。

o 基于圖的方法。現實(shi)生活中存在大量的(de)(de)(de)非結構化數(shu)據(ju)，如交(jiao)通網(wang)(wang)絡(luo)、社交(jiao)網(wang)(wang)絡(luo)等，這些(xie)數(shu)據(ju)的(de)(de)(de)節點間存在聯系，可(ke)(ke)(ke)以表示(shi)為(wei)圖。研究圖數(shu)據(ju)的(de)(de)(de)學習(xi)是近年來(lai)學界的(de)(de)(de)熱(re)點。三維(wei)點云(yun)數(shu)據(ju)可(ke)(ke)(ke)以看(kan)作圖數(shu)據(ju)的(de)(de)(de)一種，圖網(wang)(wang)絡(luo)的(de)(de)(de)很多思想可(ke)(ke)(ke)以被借鑒于(yu)點云(yun)數(shu)據(ju)的(de)(de)(de)特征(zheng)學習(xi)中。圖卷(juan)積(ji) (Graph Convolution Network, GCN) 可(ke)(ke)(ke)分為(wei)基(ji)(ji)于(yu)譜的(de)(de)(de)圖卷(juan)積(ji)(Spectralbased GCN) 和基(ji)(ji)于(yu)空間的(de)(de)(de)圖卷(juan)積(ji) (Spatial-based GCN)。

相比于圖像數據,點云不直接包含空間結構,因此點云的深度模型必須解決三個主要問題:

1. 如(ru)何(he)從稀疏的(de)點云找到高信息密(mi)度的(de)表示,

2. 如何(he)構建一個網絡滿(man)足必要的限制(zhi)如size-variance和(he)permutation-invariance,

3. 如何以較低的(de)時間和計(ji)算資源消耗處理(li)大(da)量數據

DataSets

Metric

o Classification method: overall accuracy , mean accuracy

o Segmentation models: accuracy , (m)IoU

o detection tasks: (m)IoU , accuracy , precision , recall

o Object tracking: MOTA , MOTP

o scene for estimation: EPE

o 3D match and registration models: ROC curves

基于點云的分類

o 對點云的分類(lei)通(tong)(tong)常(chang)稱(cheng)為(wei)三維形狀分類(lei)。與圖像(xiang)分類(lei)模型(xing)相似，三維形狀分類(lei)模型(xing)通(tong)(tong)常(chang)是先通(tong)(tong)過聚(ju)合編碼器生成全局(ju)嵌(qian)入(ru)，然后將(jiang)嵌(qian)入(ru)通(tong)(tong)過幾個完(wan)全連(lian)通(tong)(tong)的層來獲得最終結(jie)果。

o 基于點云聚合方法，分類模型大致可分為兩類:基于投影的方法和基于點的方法

o 基(ji)于(yu)投(tou)影的方法

§ 基于(yu)投影(ying)的(de)(de)(de)方法將非結構化的(de)(de)(de)三維點云投影(ying)到特定的(de)(de)(de)預設模態中(例如體素、柱狀體)，并從目標格式(shi)中提取(qu)特征(zheng)，從而在相應方向上受益(yi)于(yu)之前的(de)(de)(de)研究成果(guo)。

§ Multi-view representation

§ MVCNN：

§ GVCNN

§ Volumetric representation

§ VoxNet

§ 3D ShapeNet

§ OctNet

§ OCNN

§ Basis point set

§ BPS

o 基于點的方法：

§ 與基于投影的(de)方(fang)法從空間鄰域中聚(ju)合點相比(bi)，基于點的(de)方(fang)法嘗(chang)試從單個點中學習(xi)特征。

§ MLP networks

§ Convolutional networks

§ Graph networks

§ 圖(tu)網(wang)絡(luo)將(jiang)(jiang)點(dian)(dian)云視(shi)為圖(tu)，將(jiang)(jiang)圖(tu)的頂點(dian)(dian)視(shi)為點(dian)(dian)，并根據每個點(dian)(dian)的鄰居(ju)生成邊。特征將(jiang)(jiang)在空(kong)間或光譜領(ling)域學習

基于點云的分割

o 數據來自 Mobile Laser Scanners (MLS), Aerial Laser Scanners (ALS), static Terrestrial Laser Scanners (TLS), RGBD cameras and other3D scanners

o 3D分割的目的是對每(mei)個點(dian)進行標記(ji)，這需要(yao)模型(xing)在(zai)每(mei)個點(dian)上收集全局(ju)上下(xia)文(wen)和(he)詳細的局(ju)部信息。。在(zai)三維圖像分割中，主要(yao)有兩個任務:語義(yi)分割和(he)實例分割。

o Semantic Segmentation

§ 語(yu)義分割方(fang)法(fa)大致(zhi)可分為基(ji)于投(tou)影的方(fang)法(fa)和基(ji)于點的方(fang)法(fa)

§ Projection-based methods

§ Huang和You將輸入(ru)點云投射到(dao)占用體素(su)中，然后將其送(song)入(ru)3D卷積網絡，生(sheng)成體素(su)級標簽。

§ ScanComplete利用全卷積網絡(luo)來適應不(bu)同的(de)輸(shu)入數據大小，并部(bu)署一個由粗到細的(de)策略來提(ti)高(gao)預測的(de)層(ceng)次分辨率(lv)。

§ Point-based methods

o Instance Segmentation

§ Proposal-based methods

§ 可以看(kan)作(zuo)是目標(biao)檢測和(he)掩模預測的結合(he)。

§ Proposal-free methods

§ 無提(ti)案的方法(fa)傾向于基于聚類等算法(fa)的語義分割(ge)來生(sheng)成實例級(ji)標(biao)簽。

§ 無提(ti)案方法不受區(qu)域提(ti)案層計(ji)算(suan)復雜度的影響;然而，它們通(tong)常很難從聚(ju)類(lei)中產生區(qu)分對象(xiang)邊界

o 同時解決(jue)語義(yi)分(fen)割(ge)(ge)和實例(li)分(fen)割(ge)(ge)的(de)樸(pu)素方(fang)法有兩(liang)種:(1)先(xian)解決(jue)語義(yi)分(fen)割(ge)(ge)，根據(ju)語義(yi)分(fen)割(ge)(ge)的(de)結果在某(mou)些(xie)標簽點(dian)上運行實例(li)分(fen)割(ge)(ge);(2)先(xian)解決(jue)實例(li)分(fen)割(ge)(ge)，直接分(fen)配帶有實例(li)標簽的(de)語義(yi)標簽。這兩(liang)個階梯式(shi)(shi)范式(shi)(shi)高度依賴于第(di)一步的(de)輸出(chu)質(zhi)量，不能充分(fen)利用兩(liang)個任務之(zhi)間的(de)共(gong)享信息。

基于點云的目標檢測

o 3D目(mu)標檢測可以分為3類：multi-view method，projection-based method，point-based method

o Projection-based methods

o Point-based method

§ 大多數基于(yu)點的方法都試(shi)圖在特征提取過程(cheng)中使信息損失最小化，是目前性能最好(hao)的一組方法。

§ ;與(yu)上述多視圖方(fang)法相比，基于(yu)分(fen)割的方(fang)法對(dui)于(yu)復(fu)雜場景(jing)和遮(zhe)擋對(dui)象(xiang)有更(geng)好的效(xiao)果。

點云數據的增強和完整化

o 由激光雷達收(shou)集的(de)(de)點(dian)云，特別是那些(xie)來自室外(wai)場景的(de)(de)點(dian)云，遭受不同種類(lei)的(de)(de)質量問題，如噪音，異(yi)常值(zhi)，和遺漏點(dian)。所以我們(men)的(de)(de)目(mu)標(biao)是補全缺(que)失的(de)(de)點(dian)，移除(chu)掉(diao)異(yi)常的(de)(de)點(dian)。

o Discriminative Methods

§ 傳(chuan)統的方(fang)法包(bao)括局部表面擬合、鄰域平均(jun)和(he)猜測底(di)層噪聲模型

§ PointCleanNet提(ti)出了一種(zhong)基于數(shu)據驅動的方法去消除(chu)錯(cuo)誤點減少噪聲

§ PCPNet首先對異常值進行分(fen)類(lei)并丟(diu)棄(qi)它們，然后估(gu)計一(yi)個將噪聲投影到原始(shi)表面的修(xiu)正投影

§ Total Denoising，在不需(xu)要(yao)額外(wai)數據(ju)的情況(kuang)下(xia)實現了非監督降(jiang)噪對點云數據(ju)

§ 臨界點層(ceng)(CPL)在保(bao)留重要點的同時學會(hui)減少(shao)點的數(shu)量(liang)。這一層(ceng)是(shi)確(que)定性的，不確(que)定順序的，并且通過避免(mian)鄰接搜索也很有效。

§ 通過將采樣(yang)后的點近似為原始點的混合來逼近點采樣(yang)的可微松弛

o Generative Methods

§ 通過生成假樣本，幫助定位網絡的潛在缺(que)陷(xian)。

§ point perturbation and point generation：擾動是(shi)通(tong)過對已有(you)的點進行(xing)可(ke)忽略的移動來實現(xian)的，生成是(shi)通(tong)過添加一些獨立分散的點或少量具有(you)預定義(yi)形(xing)狀的點簇來實現(xian)的。

§ 除了對(dui)抗性生成，生成模型也用于點(dian)云上采樣(yang)。向上采樣(yang)點(dian)云通常(chang)有兩(liang)種(zhong)動(dong)機。一(yi)是(shi)減少數(shu)據的(de)稀疏性和不規則(ze)性，二是(shi)恢復遮擋造成的(de)缺失(shi)點(dian)