点云与计算机视觉

在前面了解了什么是点云之后，小编接下来将会介绍点云与计算机视觉的相关知识，话不多说，咱们开始吧！

01 点云的预处理

根据任务的需求，点云处理也存在不同层次的处理⽅式，需要组合不同的处理⽅式，⽽这些处理在过程上有先后之分。按照功能和处理方式不同，将点云图像处理分为以下三个层次：

（1）低层次包括图像强化，滤波，边缘检测等基本操作；

（2）中层次包括连通域标记，图像分割等操作；

（3）⾼层次包括物体识别和场景分析等操作。

⼯程中的任务往往需要⽤到多个层次的图像处理⼿段，在传统的图像处理⽅法中（传统就是不包括CNN神经⽹络和⼤数据集），图像处理的过程需要递增的使⽤不同层次图像处理来完成任务。

02 三维语义分割

三维点云语义分割是指通过将原始点云数据划分成若干区域，按照相关的功能定义对相同属性和不同属性的数据点进行分割，并用标签标记被分割的区域，从而得到每个三维点的语义类别。

三维点云的语义分割技术在计算机视觉、语音识别、人脸识别、全息成像、生物医学分割、自动驾驶汽车等领域上得到了广泛的应用。但是由于点云数据的物体对象形状多样性、密度不均匀性和采样不规则性等特点，使得在三维空间中数据点的分布非常不均匀，不同物体之间可能存在着相互遮挡，匹配信息可能会出现错误，这些都将直接影响语义分割方法的准确性，阻碍了智能包装、智能自动驾驶技术等应用场景前进的步伐。

基于深度学习技术的三维点云语义分割方法按数据的表现形式可分为间接基于点云的方法(包括基于投影的方法、基于体素的方法、基于多视图的方法)和直接基于点云的方法(如下图所示)。其中，间接方法是一种将不规则点云转化为规则结构，然后输入到网络中进行分割的方法。该类方法可以很好地弥补卷积神经网络(Convolutional·Neural·Network,CNN)不能应用在点云的缺陷，但在转换的过程中会不可避免丢失一些重要的信息特征。而直接方法则是一种不需要转换形式，直接将点云输入到网络中实现分割的方法。该类方法能够充分利用点云数据的特性，降低网络计算的复杂度，提高语义分割的精度。

三维点云的语义分割

03 三维目标检测

基于深度学习理论的激光点云3D目标检测算法可大致可分为以下两类：

一类是基于体素(Voxel-based)的特征提取算法。基于体素的算法一般将非结构化数据的点云转化为3D体素或转化到二维(2D)俯视图网格上，通常用3D稀疏卷积或2D卷积提取特征，计算效率较高，但点云的体素化及3D稀疏卷积的下采样会损失原始点云的3D空间信息，导致基于体素的算法检测精度有所下降。

另一类是基于原始点云(Point-based)的特征提取算法。基于原始点云的算法利用点云网络(PointNet)或其变体直接从原始点云中提取特征，未对点云进行体素化及卷积下采样，因此，保留了原始点云的高精度3D空间位置信息；且基于原始点云的算法通过设置特征提取层(Point set abstraction)的聚合半径可以灵活设置感受野，从而实现较高的检测精度。