一个室内场景分类方法用于服务机器人基于CNN特征

文摘

室内场景分类在环境中扮演着重要部分认知的服务机器人。随着深度学习的发展,微调CNN(卷积神经网络)目标数据集已经成为一种流行方式来解决分类问题。然而,这种方法不能获得令人满意的室内场景分类结果场景时由于过度拟合训练数据集是不充分的。为了解决这个问题,一个室内场景分类方法提出了本文利用CNN特性的场景图像生成场景类别特征对场景的小说特征匹配算法进行分类。这部小说特性匹配算法可以进一步提高场景分类的速度。此外,过度拟合训练数据是通过我们的方法消除即使是有限的。方法是评估两个基准场景数据集,场景数据集和麻省理工学院67数据集,分别获得96.49%和81.69%的准确率。实验结果表明,我们的方法优于其他场景分类方法的精度、速度和鲁棒性。进一步评估我们的方法,测试实验未知场景图像从太阳397数据集所做的,和模型基于各自不同的训练数据集获得94.34%和79.80%的测试精度,证明该方法在室内场景分类拥有良好的性能。

1。介绍

现场认知是一个关键的服务机器人的认知。现场信息可以帮助改善机器人的服务水平。室内场景分类是一种最导入任务的服务机器人,使机器人可以提供不同的服务,根据不同的场景。

大量的研究室内场景分类。传统的场景分类方法通常是基于人工视觉特性,比如筛选(尺度不变特征变换)1和冲浪(加速健壮的功能)2]。文献[3)利用一种改进的筛选功能命名RootSIFT建立弓(袋)模型,结合选择性注意场景分类。在[4),SPM(空间金字塔匹配)模型提出了基于弓对场景进行分类。文献[5)结构化CLM (codebookless模型)模型,提取海浪场景图像的特性,获得了更好的室内场景分类准确性。然而,提到的视觉特性是低级特征的图像没有丰富的语义信息。很难得到令人满意的结果,在复杂的场景分类。

近年来,深度学习图像分类(已经取得了巨大的进展6,7),对象检测(8- - - - - -10),等等。深入学习方法尤其是CNN变得流行的解决方案场景分类。一个场景分类模型,提出了在11基于深CNN特征。在[12)场景分类精度提高了转移学习。转移学习调整pretrained模型在一个新的数据集和pretrained模型对大规模数据集训练有素。通过这种方式,可以获得更好的准确性相比,从头开始训练。在[13CNN特性转移是用来分类的场景并得到了很好的结果。从引用引用我们可以发现深度学习在场景分类方法的更优秀的表现比人工视觉特性。然而,仍然有一些问题如下。深CNN模型有非常大的参数需要足够多的训练数据,即使由转移训练学习。培训CNN需要强大的gpu加速,这是昂贵的。如果数据集训练不足,过度拟合在角落。因此,很难得到满意的结果基于非常有限的室内场景数据集通过微调pretrained CNN。

针对上述问题,本文提出了一个室内场景分类方法用于服务机器人基于CNN特征。不同于微调CNN的一般方法,我们的方法利用CNN场景图像的特征生成场景类别特征分类室内场景的新特性匹配算法。小说的特征匹配算法可以进一步加快场景分类。同时时可以通过此方法消除过度拟合训练数据是不够的。方法是充分估计在两个基准场景数据集,现场15 (4]数据集和麻省理工6714)的数据集,在全新的场景和测试图像不同的训练数据集。

2。总体框架

基本上CNN是一种输入到输出的映射,可以学到很多输入和输出之间的映射关系,并且不需要任何精确的数学表达式。CNN通常采用卷积的层和抽样层交替设置。卷积层用于提取图像特征命名CNN的特性。CNN网络pretrained大规模数据集的特征包括丰富的表示信息。因此室内场景分类方法提出了服务机器人基于CNN特征。方法包含两个部分,总体框架见图1。

第一部分是CNN特征提取和处理。由CNN特征提取模型重建pretrained CNN模型。CNN的输出特征提取模型与歧视是一维的特征向量表示信息。然后一个类别的场景图像处理的模型创建场景分类功能,通常可以表示这种场景。通过这种方式,可以获得其他场景分类特性。这一部分是一个学习的过程,主要目的是让高的类别特征歧视场景分类的各种场景下一部分。

第二部分是关于场景分类。一个测试场景图像放到相同的CNN特征提取模型生成一个CNN的特征向量。然后CNN特征向量与现场类别特征提出了特征匹配算法,计算不同得分的每个场景类别。现场类别可以决定根据最大得分。

3所示。方法描述

3.1。获得Pretrained CNN模型

有很多开源深度学习框架如Theano [21),牛奶(22],MXNet [23),促进深度学习的发展。本文基于MXNet。

MXNet支持多种编程语言和学习算法,并提供多样化的pretrained深深CNN模型基于各种各样的大型数据集。三种类型的pretrained模型(见表1本文从MXNet选择)。选择深CNN模型是所有ResNets (7与不同的网络层)。模型1和模型2联合训练数据集包括ImageNet11K [24]数据集和Places365 [25数据集,分别达到0.3113和0.2255(精度。ImageNet11K对象和11797630张照片完全数据集包括11221类别。Places365数据集是关于场景与365类别的场景和8000000的图像。模型3是ImageNet11K数据集上训练。在这些大规模数据集训练后,三个模型的提取CNN功能强大的能力。

3.2。场景分类特征

首先CNN特征提取模型需要构建基于pretrained模型通过使用平层而不是softmax层。特征提取模型的体系结构如表所示2和ReLU激活函数中使用的模型。CNN特征提取模型的输出是一个矢量丰富的语义信息。向量的维数和长度是1到2048年,分别。生成场景的流程类别特征如下。

假设一个场景数据集的类别数和每个类别场景图像。

输入。在训练数据集场景图像。

输出。所有场景分类功能。

步骤1。把图像从场景类别到CNN特征提取模型创建一个特征向量 的形象。的 特征向量的长度吗 。

步骤2。CNN形象特征 所有图像的场景类别根据步骤1可以生成。的平均值算出了 和是现场的场景类别特征向量分类 。

步骤3。每个场景类别特征向量是由第2步和所有场景类别特征向量 。

步骤4。场景类别特征向量归一化到 通过z分数 在哪里是每个场景的平均值和类别特征标准偏差。如果原始场景类别特征向量是直接用于分析,它将突出矢量的作用与价值更高的综合分析和削弱的作用矢量值较低。因此,为了保证结果的可靠性,需要对原始矢量标准化。和改善将会在后续的实验中证明。图2显示元素值变化的场景类别特征向量归一化后。

上述步骤后我们可以得到所有场景类别特征向量为场景分类。之后,把一个测试场景图像到CNN特征提取模型和CNN测试场景图像的特征向量创建,也需要归一化到吗通过z分数。

3.3。场景分类特征匹配

场景分类结果发现通过测量场景类别之间的相似性特征和CNN的特性测试场景图像 。因此特性匹配是关键。服务机器人应具备实时场景分类的能力,这需要足够快的特征匹配算法。一些共同特征向量匹配算法比较和分析如下,和一个新的特征向量匹配算法。

向量之间的区别 和向量 可以表达的距离测量或相似。熟悉的距离测量是欧几里得距离。 大的值两个向量之间的欧几里得距离意味着更大的差异。常用的相似性度量是皮尔森相关系数 和余弦相似度 。 的输出范围 和都是 。两个向量的值接近1意味着更相似。假设向量和由z分数归一化。 把(6)(5),(7)。 方程(4)可以简化(8)的平均值和是1和标准差也是1。 可以发现,皮尔森相关系数等于余弦相似性时,输入向量都是标准化的。

从方差公式(9)我们可以得到10)。 由公式可以简化(9)和(10)(11)。 当足够大, 可以被视为 ,所以 。同样的, 。之间存在着直接的线性关系的平方欧氏距离和皮尔逊相关系数15]。在这些条件下,欧氏距离的平方可以展开如下。 以同样的方式,欧几里得距离等于皮尔逊相关系数以及余弦相似性。虽然这三个特征匹配算法有相同的属性,他们拥有不同的计算速度。他们都需要提取根耗时。灵感来自于公式(12),一个新特性匹配算法 提出了提取根。新算法可以提高计算速度,证明了实验。 CNN的特征向量测试场景图像匹配的场景类别特征向量 提出了特征匹配算法 。得分矩阵如下所示的输出。 最大的元素得分矩阵指数的场景类别。通过这种方式,我们可以得到测试场景图像的类别。

4所示。实验和分析

4.1。数据集

我们的方法是评估两个基准场景数据集,数据集场景数据集和麻省理工学院67。现场15个数据集包括15个种类的户外和室内场景。我们选择5类场景(客厅,商店,厨房,办公室,卧室)如图3因为我们的研究对象服务机器人主要在室内工作。有1245个灰度图像的5类。麻省理工学院67数据集包含67种室内场景和15620年完全RGB图像。所有67年麻省理工学院67类别的室内场景图像被用来训练提出了模型。67年在麻省理工学院的一些示例场景图像数据集显示在图4。实验中设计被指定为5倍交叉验证为了使实验结果可说服的和可重复的。每个类别的场景图像被分成5部分;1部分是用于创建场景类别特性和其余的测试。所有图片大小 像素。

4.2。实验结果和分析

该方法是用Python写使用MXNet深度学习框架和在个人电脑上运行。个人电脑操作系统是Ubuntu 16.04.4与英特尔i5 - 6500 CPU, 32 g内存和NVIDIA GTX 1080图形卡。为了充分测试性能的方法,一些实验进行了如下。

(1)标准化对分类结果的影响。这个实验是为了测试如果z分数归一化可以提高场景分类精度。两组将进行比较;使用z分数处理CNN特征向量,另一个没有。我们利用余弦相似性匹配特性自三没有z分数匹配算法并不等价。实验结果表中列出2和一个柱状图在图提供5进行比较。从表3和图5我们可以看到,使用z分数归一化可以获得更好的准确性对场景数据集和麻省理工学院67数据集和3种不同pretrained模型。

(2)特征匹配算法的计算速度比较。服务机器人应该能够识别实时场景,所以室内场景分类的速度是重要的。为了验证提出的优势特征匹配算法在计算时间,以下实验与其他算法进行了对比。欧几里得距离(ED)、余弦相似度(CS)、皮尔森相关系数(PCC)和所列出的特征匹配算法,分别测试两个数据集的基于三种不同pretraining模型。场景分类结果如表所示4。

从结果表4,我们可以看到,CS和PCC有类似的处理速度,这比埃德和我们的算法要慢得多。与ED相比,该算法更快。此外,数据集的规模和pretrained模型影响的场景分类的速度。相比之下我们的特征匹配算法能够满足需求的服务机器人的实时场景分类。

(3)与转移学习在cnn。转移使用学习策略;完全连接层pretrained CNN模型都是根据场景类别和数量的调整改变数据集。训练参数设置是学习速率0.0001,批量大小32,时代100(麻省理工学院67年)和200年(现场15)。图6显示了微调的训练曲线cnn现场15 67数据集数据集和麻省理工学院。比较表中列出的结果5。

训练精度曲线在图6表明,CNN模型可以完全适应训练数据集和获得约100%训练精度在现场15集由于类别的数量很小。然而,很难得到相同的高精度测试数据集和出现过度拟合。67年麻省理工学院(MIT)的数据集,大场景类别和缺乏准确性曲线和过度拟合训练数据集导致不稳定。从表5我们可以看到,该方法可以得到更好的结果,没有对每个数据集根据每个pretrained模型过度拟合。

(4)与其他高级场景分类方法。为了验证我们的方法的性能,其他高级室内场景分类方法作为参考进行以下比较测试。表6演示了室内场景分类的性能不同的方法。混淆矩阵由CLM +支持向量机(5和我们的方法如图所示7。性能对比麻省理工学院67数据集表中列出7,图8显示场景分类混淆矩阵麻省理工学院的67数据集三种pretrained模型基于我们的方法。

在表6我们的方法获得更高的场景分类精度和效率优于其他方法。场景分类混淆矩阵图7表明,我们的方法比CLM +更强劲的支持向量机(5]。大量的场景分类的麻省理工学院67数据集,它可以观察到从表7我们的方法与模型2获得比其他方法更好的结果。67年麻省理工学院分类混淆矩阵数据集在图8证明我们的方法的鲁棒性。

(5)测试实验在不同的场景数据。进一步评估我们的方法的室内场景分类能力,一个全新的场景数据集,太阳39726),这是不同于训练数据来源,是用于测试实验。有397 well-sampled类别130519在397年太阳RGB场景图像。所有的测试图像的大小 像素。测试模型训练现场15的数据集,数据与1336年相同的5类室内场景图像选择从太阳397年,和每一个场景都有大约267的图像。模型训练的麻省理工学院67年数据集、数据与15937年相同的67个类别的室内场景图像被用来使测试实验中,有大约237个场景图像在每个类别。测试结果在表列表8。为了进一步证明我们的方法的性能,测试场景分类混淆矩阵图所示9(15)模型训练场景和图10(模型训练于67年麻省理工学院)。

从测试结果表8可以得出一个结论,我们的方法拥有好的室内场景分类的能力在一个完全不同的源的场景数据,证明了提出的特征匹配算法指的是内容之间的距离不同的室内场景。虽然对灰度图像的模型训练现场15集,它们可以获得超过92%的准确率不同pretrained模型,这表明更多的证据表明,我们的方法是基于图像的内容和语义进行场景分类而不是低端抽象的特性,比如像素,颜色和边缘描述符。此外,数据9和10显示测试的场景分类混淆矩阵各种模型训练现场15和麻省理工学院67年各自的数据集,它描述了我们的方法的鲁棒性测试场景数据集。

5。结论

摘要室内场景分类方法用于服务机器人提出了基于CNN特性。我们利用CNN场景图像的特征生成场景类别特征分类室内场景通过一种改进的特征匹配算法。小说的特征匹配算法可以进一步加快场景分类。方法是充分评估两个基准场景数据集,数据集场景数据集和麻省理工学院67。与一般方法相比,微调CNN在训练数据集,这种方法可以获得满意的精度没有少量的过度拟合训练数据集和不需要反复训练。与其他室内场景分类方法相比,场景分类结果在精度方面,大大提高分类速度和鲁棒性的方法。实验结果表明,该方法具有良好的性能在室内场景分类和能满足任务需求的服务机器人室内场景分类。如今,计算机硬件的不断发展和云机器人、服务机器人的计算能力都得到很大的提高。我们的下一步是进一步提高现场认知能力的服务机器人基于深度学习的方法。

数据可用性

使用的数据来支持本研究的发现可以从公共场景数据集。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金(U1813215和61773239)和山东省的泰山学者计划。

引用

1. m·布朗和美国Susstrunk“多光谱为场景类别筛选识别,”学报2011年IEEE计算机视觉与模式识别会议(CVPR)科罗拉多斯普林斯,页177 - 184年,有限公司,2011年6月美国。视图:出版商的网站|谷歌学术搜索
2. a . h .湾Ess、t . Tuytelaars和l . Van干傻事,“骗补健壮的特性(冲浪),”计算机视觉和图像理解,卷110,不。3、346 - 359年,2008页。视图:出版商的网站|谷歌学术搜索
3. j .牛x布鲁里溃疡,k .钱,z,“室内场景识别方法结合全球和显著区域特性,”Jiqiren /机器人,37卷,不。1,第128 - 122页,2015。视图:谷歌学术搜索
4. 美国Lazebnik、c·施密德和j·庞塞”外袋特征:空间金字塔匹配识别自然类别,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 06年),页2169 - 2178,纽约,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
5. f . y . p . Wu Li Yang l .香港和z侯,“室内给养CLM-Based方法为服务机器人领域分类,“Jiqiren /机器人,40卷,不。2、188 - 194年,2018页。视图:谷歌学术搜索
6. c . Szegedy w·刘,y贾et al .,“要更深的曲线玲珑,”《IEEE计算机视觉与模式识别会议(CVPR 15)美国大众,页1 - 9,波士顿,2015年6月。视图:出版商的网站|谷歌学术搜索
7. k . x张,他任美国,j .太阳,“深残余学习图像识别,”《IEEE计算机视觉与模式识别会议(CVPR 16)778年,页770 -拉斯维加斯,内华达州,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
8. j . Redmon s Divvala r . Girshick,哈蒂,“你只看一次:统一、实时检测,”学报2016年IEEE计算机视觉与模式识别会议,CVPR 20162016年7月,页779 - 788。视图:谷歌学术搜索
9. j . Redmon和a·哈蒂”YOLO9000:更好,更快,更强”学报30 IEEE计算机视觉与模式识别、会议(CVPR 17),页6517 - 6525,檀香山,夏威夷,美国,2017年。视图:谷歌学术搜索
10. d . w . Liu Anguelov, d . Erhan et al .,“SSD:单发射击multibox探测器,“课堂讲稿在计算机科学(包括子系列讲义在人工智能和课堂讲稿在生物信息学):前言卷。9905年,21-37,2016页。视图:出版商的网站|谷歌学术搜索
11. b, a . Lapedriza j ., a . Torralba和a·奥利瓦,“学习深功能场景识别使用数据库的地方,”学报》第28届年会于2014年神经信息处理系统,少量的2014加拿大蒙特利尔,页487 - 495,,2014年12月。视图:谷歌学术搜索
12. t . Akilan问:m . j ., A . Safaei w .江,“迟到的融合方法利用multi-CNN高级特性,模型”学报2017年IEEE国际会议系统,人,和控制论,SMC 2017温莎,页566 - 571年,加拿大,2017年10月。视图:谷歌学术搜索
13. l .郑y赵,s王et al .,“良好的实践在CNN功能转移,”https://arxiv.org/abs/1604.00133。视图:谷歌学术搜索
14. a . Quattoni和a . Torralba“识别室内场景,”《IEEE计算机学会学报计算机视觉与模式识别会议研讨会(CVPR研讨会' 09)美国迈阿密,页413 - 420,2009年6月。视图:出版商的网站|谷歌学术搜索
15. 李问:王,p . l . Zhang和w·左,“有效codebookless模型图像分类,”模式识别59卷,第71 - 63页,2016年。视图:出版商的网站|谷歌学术搜索
16. s . n . Parizi j·g·欧柏林,p . f . Felzenszwalb“场景识别,可重构模型”学报2012年IEEE计算机视觉与模式识别会议,CVPR 2012皮斯卡塔韦,页2775 - 2782年,美国,2012年6月。视图:谷歌学术搜索
17. l .周、周z和d·胡“场景分类使用多分辨率低层次的功能组合,”Neurocomputing卷,122年,第297 - 284页,2013年。视图:出版商的网站|谷歌学术搜索
18. m .武断的话。如果陈。大山高:Rasiwasia, n .塞·伐斯冈萨雷斯,他“与费舍尔语义向量,场景分类”学报2015年IEEE计算机视觉与模式识别会议(CVPR),页2974 - 2983,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
19. p, h·王,邝,“G-MS2F: GoogLeNet基于多级特征融合场景识别的CNN,“Neurocomputing卷,225年,第197 - 188页,2017年。视图:出版商的网站|谷歌学术搜索
20. 美国白和h . Tang”分类场景探索场景部分信息没有建立明确的模型,“Neurocomputing卷,160 - 168。281年,2018年。视图:谷歌学术搜索
21. Theano开发团队,r . AI-Rfou g·阿兰et al .,“Theano: Python框架,用于快速计算的数学表达式,”https://arxiv.org/abs/1605.02688。视图:谷歌学术搜索
22. y, e . Shelhamer j·多纳休et al .,“咖啡:快速卷积架构功能嵌入”诉讼ACM多媒体会议(MM的14)ACM,页675 - 678年,奥兰多,佛罗里达州,美国,2014年11月。视图:出版商的网站|谷歌学术搜索
23. y . m . t . Chen Li Li et al .,“MXNet:一个灵活、高效的异构分布式系统中,机器学习库”https://arxiv.org/abs/1512.01274。视图:谷歌学术搜索
24. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”学报》第26届年会在神经信息处理系统(捏12)太浩湖,页1097 - 1105年,内华达州,美国,2012年12月。视图:谷歌学术搜索
25. 肖b, a . Lapedriza j . et al .,“学习深功能场景识别使用数据库的地方,”国际会议在神经信息处理系统中,少量的2014韩国大邱,页487 - 495,,2014。视图:谷歌学术搜索
26. j·肖,j·海斯,k . a . Ehinger a·奥利瓦和a . Torralba“太阳数据库:大规模场景识别从大教堂到动物园,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 10)3492年,页3485 - 2010年6月旧金山,加州,美国。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Shaopeng刘和Guohui田。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。