与新出现的智能传感技术,如3 d扫描仪和立体视觉,高质量的点云变得非常方便和低成本。研究基于点云的三维物体识别也受到广泛关注。点云是一种重要的几何数据结构。因为它的不规则的格式,许多研究人员将这些数据转换成常规的三维体素网格或图像集合。然而,这可能导致不必要的大量数据和造成问题。在本文中,我们考虑识别对象在现实意义上的问题。我们第一次使用欧氏距离聚类方法段现实场景中的对象。然后我们使用深度学习网络结构直接提取的特征点云数据来识别对象。从理论上讲,这种网络结构显示了强劲表现。在实验中,有98.8%的准确率训练集,和实验测试集的准确率可以达到89.7%。 The experimental results show that the network structure in this paper can accurately identify and classify point cloud objects in realistic scenes and maintain a certain accuracy when the number of point clouds is small, which is very robust.
点云是点的集合。它含有丰富的信息,可以三维坐标<我t一个lic>
X 与其他方法相比,大部分的点云的场景中对象模型在本文中没有重复的闭塞。欧几里得距离聚类分割方法可用于部分对象在复杂的场景。样品<我t一个lic>
n 深入学习网络结构提出了确定点云的对象是一个系统化的方法。的三维坐标<我t一个lic>
n 本文中的现实场景图所示 输入数据格式很容易使用刚性或仿射变换,所以实验结果可以进一步改善。现实的场景和网络结构,本文采用本文提供了理论依据和数值评估。 本文的主要内容如下: 使用欧氏距离聚类分割方法将多个对象在现实场景到集群和执行统一的数据处理。相同的和独立的数据处理是通过蒙特卡罗抽样方法,用零均值和规范化。 本文的其余部分组织如下:
有三个主要方法对3 d对象识别,基于3 d立体像素网格图像的集合,和点云数据。基于点云学习方法目前得到更准确的,如图 方法基于图像的集合数据如下。主要研究是使用几何方法将一个三维对象分成几个多视图几何二维图像和保留尽可能多的特征信息。此外,近年来,许多深入学习算法大多是基于二维图像,和许多优秀的研究成果出现在二维图像。七等人,苏et al。 方法基于3 d立体像素网格数据给出如下:该方法通过啮合或voxelizing各种3 d数据,然后设计了相应的三维卷积神经网络对特征提取和识别。参考文献( 基于点云的方法。该方法主要包括两种类型。一是将点云数据转化为一个多视图,多边形网络或立体像素网格,然后使用深度学习网络特征提取和识别(如上所述)。另一部分是直接处理点云数据。识别精度高,发展速度在过去的三年。Qi et al。 对光谱CNN ( 在点云数据集的生成:第一步在知识发现过程中(
为了完成点云的识别对象在现实的场景中,需要解决两个关键问题。第一个关键问题:如何在一个单独的多个点云对象真实的场景。自从对象深入学习网络的输入是一个完整的点云对象,和现实场景中的每个点云对象聚集在一起,需要设计一个算法细分多个云场景中的对象到一个点。它主要是基于每个点云的信息对象有不同的纹理和颜色段为每个单独的文件中并保存,然后输入每个点云对象培训深度学习网络的分类和识别。 第二个关键问题是设计并提出一种新的深度学习网络结构直接对点云数据处理它。解决上面提到的第一个关键问题后,我们将获得一个点云预处理对象,然后输入每个点的点云对象培训深度学习网络的分类和识别。点云的集合<我t一个lic>
x
欧氏距离聚类分割和数据预处理分为两个部分。首先,介绍了欧几里得距离聚类分割算法的工作原理( 欧几里得在多元统计聚类算法是一个重要的分类方法,可应用于细分领域的点云数据的测绘。这种方法本质上使用欧氏距离作为距离社区完成聚类分割。从点云数据三维数据,可以提取更多的搭配信息的三维物体。在n维空间欧氏距离 在本文中,点云数据的三维数据,所以你需要计算三维空间的欧氏距离,如以下公式所示: 本文首先计算两个点之间的欧几里得距离的点云数据,并使用指定的距离小于阈值作为分类标准。然后迭代计算,直到所有类之间的距离大于指定的阈值并完成欧几里得集群。具体步骤(1)使用八叉树方法建立点云数据的拓扑组织结构;(2)对每个点进行再搜索,计算点和之间的欧氏距离<我t一个lic>
k 后执行欧几里得距离聚类和分割在现实的场景,将会有许多不同的点云对象,这些点云对象是由不同数量的点。因为网络的前提下,识别点云对象:每个点云对象有相同数量的点,所以你需要使用抽样方法样品每个点云对象<我t一个lic>
n 蒙特卡洛抽样法的主要内容是使用蒙特卡罗思想最大化的一系列数据的近似。即点云采样,采样点必须保留原始点云的信息最大程度。较大的采样点的数量,更精确的近似结果和它匹配点的分布在原始点云。蒙特卡罗抽样的理论本文证明和算法实现如下。 对于任何给定的函数<我nline-formula>
由于没有解这个方程用数学推导的方法,应该注意的是,<我t一个lic>
x 以下理论可以清楚地证明这个近似的合法性。很明显,估计的<我nline-formula>
为一个随机变量<我t一个lic>
X 对于连续随机<我t一个lic>
X 因此,概率分布的累积分布函数通常可以通过集成概率密度函数。如果你需要<我t一个lic>
n 零均值和正常化(可以得到更好的实验性能)是一个必要步骤之前训练神经网络。一般来说,获得的样本数据有多个维度。也就是说,一个样本是由多个功能。原始数据直接用于培训,对培训结果的影响是不同的。零均值归一化,不同的功能可以有相同的规模。当使用梯度下降法更新参数,不同类型的特征有相同级别的影响参数。零均值、正规化培训期间可以加速收敛的重量参数。零均值是一组数据,每一个都是减去从这组的平均值。假设一系列的样本数据<我nline-formula>
为了使所有的数据都在一个统一的标准,我们使用min-max比例正常化所有数据<我nline-formula>
比较之前和之后的数据预处理(处理后在右边,左边在处理之前)。
深度学习在点集分成两个部分。首先, 所有数据点云的点从欧洲空间的集合。这些欧几里得空间的点集将遇到的两个关键问题:点云的障碍和旋转的不变性和翻译在的处理算法。本文给出了相应的解决这两个问题。 影响采集设备和坐标系统,扫描相同的对象使用不同的设备或位置,而三维点的顺序不尽相同。点云数据是非常不同的像素排列的二维图像或立体像素网格的体素的安排。点云是一组点没有一个固定的顺序。当使用一个深入学习网络点云来执行不同的任务,不管以什么样的顺序输入网络,必须输出相同的结果。RGB-D或灰度图像,每个像素的相对位置是固定的,而且没有障碍的问题。然而,对点云数据,有<我nline-formula>
有三种解决方案的障碍点云数据。(1)在一定的顺序输入点云数据。(2)递归神经网络的帮助下,增加训练数据通过添加各种排列。(3)聚合信息的每一个点的帮助下一些常见的对称函数。假设有这样一个排序策略,定义一个一维空间和高维空间中映射图。不难看出,当规模降低,稳定序列和扰动点都需要保持空间的距离,这是一个不可能完成的任务在实际情况。因此,战略不能解决疾病问题的点云数据。复发性神经网络的想法和希望火车复发性神经网络通过随机排列序列,作者已经表示,在OrderMatters秩序是非常重要的,不容忽视,虽然复发性神经网络有很好的影响相对较小的序列,但扩展到成千上万的输入元素是很困难的。使用对称函数解决疾病问题的点云数据,这一战略已经验证PointNet分类网络( 假设<我t一个lic>
f 正式,让<我nline-formula>
点云是一个几何对象。如果点云进行某些几何转换(如旋转和翻译操作),点云分类和分割的语义标签必须是常数。因此,我们希望我们的学习这些转换的点集是不变的。 对点云数据的旋转不变性和翻译,自然的解决方案是使所有输入集与正则空间特征提取之前。Jaderberg et al。 添加普通条款之后,不仅可以得到一个更稳定的解决方案,但也在很大程度上减少了参数。 调整网络结构的示意图如图 调整网络结构图。 因为PointNet [ 完整的网络结构图。 特征提取在图的主要部分 Softmax已经广泛的应用在深度学习。特别是当解决multiclassification任务,最终的输出单位的分类器需要使用将Softmax函数进行数值处理多个分类的输出值转换成对应的概率。将Softmax函数的定义 在这篇文章中使用的损失函数如下:
实验分为两个部分。首先, 在本文中,为了培养深度学习网络结构,我们选择ModelNet [ Modelnet40数据集模型(上)和点云数据输入深度学习网络(底部)。 此外,您需要设置网络的一些基本参数和解释评价指标的培训完成后的结果。优化网络通过使用一个锦上添花的随机梯度下降法。动量因子设置为0.9,重量衰减是0.0005,最初的学习速率是0.001,辍学率是0.7。使用随机初始化网络参数初始化。培训完成后,网络的训练参数得到,然后训练网络是用来测试机器视觉平台采集的数据通过识别和分类的任务。测试的性能指标使用准确率和定义如下: 深入学习网络培训的服务器硬件配置如下:Ubuntu 18.04系统,8核16-thread国米核心<我nline-formula>
整个培训过程。(一)培训过程的准确性(训练集)的函数迭代的数量。看来,训练集的准确性与迭代次数增加。当精度最终达到98.8%,可以说,培训过程已经完全学会了各种点云数据的特点。(b)叉的价值损失。值越小,预测偏差与实际偏差越小,更好的预测模型、熵损失价值减少随着迭代次数的增加。(c)学习期间学习速率的变化速度训练的过程。学习速率是减毒与一定的衰变率随着迭代次数的增加。(d)图,记录学习速率的衰减随着迭代次数的增加在训练。随着迭代次数的增加,学习速率的衰减率增加。 由于深度学习网络的特殊性,设置不同的参数相同的深度学习网络会有不同的结果。为了重现实验结果,深入学习网络的参数设置记录之前培训摘要表 初始和结束在训练过程中一些参数的值。 深入学习网络训练完成后,预设测试集是用来测试识别精度。有三个主要指标:平均损失,平均精度,平均分类精度。测试结果如表所示 结果在测试集。 本文的实验结果相比,闲置资金的更好的方法。比较结果如表所示 ModelNet40分类精度的比较(%)。 本文的任务是确定点云对象在现实的场景。表 结果在测试集。 表 图中显示正确的点云的实例和错误的实例对象的现实场景。左边的三点云对象是正确识别,实例和实例的错误识别。确认结果是一个表,但是实际的标签是一个衣柜。这个结果的主要原因是类似的外部特征。 识别对象出现在现实的场景。需要验证对象的信息,包括实例名、标签,预测和实际标签。在图中,红色的类别是用来选择错误的识别分类,另一个是正确的类别。错误的识别的主要原因是由于外部对象。识别错误造成太相似的特性。 为了测试网络的鲁棒性算法在本文中,我们测试点云对象识别的准确性,逐步减少每个点云对象的数量。理想情况下,点云的数量减少,准确性是尽可能维护的。通过实验,我们发现,减少数量的点云,点云对象识别的准确性逐步减少,但识别的准确性是保持在一个较高的水平。即使只有64点的信息,准确率仍在60%以上。深入学习网络的健壮性测试本文图所示 鲁棒性测试。它可以观察到,随着点数量的减少输入网络,网络的准确性测试集变得越来越低。只要输入点的数量大于或等于64点,测试集的准确性可以保持在80%以上。可以看出网络的鲁棒性仍然很好。
初始值 最终值
精度 0 0.988
叉损失 1.9408 0.024
学习速率 0.001 0.0000133
衰减率 0.5 0.982
平均损失 0.5014
平均精度 0.897
平均分类精度 0.873
方法 输入 ModelNet40 (%)
FPNN [ 体积 68.20
3 dshapenets [ 体积 77.30
VoxNet [ 体积 83.00
子卷( 体积 86.00
PointNet(香草) 点云 87.20
PointNet [ 点云 89.20
这篇论文 点云
床上 吉他 杯 瓶 碗 窗帘
0.99 0.94 0.70 0.70 0.99 0.90
书架上 人 门 键盘 植物 钢琴
0.91 0.95 0.85 0.85 0.80 0.87
椅子 笔记本电脑 灯 沙发 桌子上 衣柜
0.98 0.99 0.95 0.97 0.99 0.55
本文提出了一种新的识别方法点集对象在现实场景聚类和分割点云数据在现实场景使用欧氏距离聚类分割算法。它有效地解决了多个对象的聚类和分割问题在复杂的场景。直接使用的深度学习网络处理点云大大减少了计算的数据量。点云不引入量化工件,可以更好地维护数据的自然不变性。实验结果表明,本文中的网络结构可以准确地识别和点云分类对象在现实场景和维护一定精度当点云的数量很小,这是非常健壮。对于任何一个点云对象有全局特征和局部特征,本文提出的算法主要是提取全局特征和不利用地方特色。在接下来的工作中,我们要进一步改变网络结构提取当地特点和进一步改善点云对象识别的准确性在现实的场景。
使用的数据来支持本研究的发现可以找到在线版本
没有利益冲突有关出版的手稿。
这项研究受到了中国河北省自然科学基金(没有。F2017402182)和科技研究项目的学院和大学在河北,中国(没有。ZD2018207)。