通过深度图像目标识别特征自适应联合稀疏表示

文摘

图像目标识别方法基于深度特性和自适应加权联合稀疏表示(D-AJSR)提出。D-AJSR data-lightweight分类框架,它能以较少的训练样本进行分类和识别物体。在D-AJSR卷积神经网络(CNN)是用来提取训练样本和测试样本的深度特征。然后,我们使用自适应加权联合稀疏表示识别对象,特征向量的重构,计算每个特征向量的贡献权重。针对深特征的高维问题,我们使用了主成分分析(PCA)方法来减少维度。最后,结合联合稀疏模型,图像的公共特性和私人特征从训练样本中提取特性集,构造联合特征词典。基于联合特征字典,稀疏表示分类器(SRC)用于识别对象。脸图像和遥感图像实验表明,D-AJSR优于传统的SRC方法和其他一些先进的方法。

1。介绍

稀疏表示具有其独特的优势在信号处理、图像处理、计算机视觉、模式识别等等。基于稀疏表示的图像识别可以分为两个部分:稀疏表示和分类识别。首先,我们需要建立一个字典来表示测试样品,然后用字典稀疏表示系数和分类识别的对象。赖特et al .,第一次提出了稀疏表示分类器(SRC) [1]。SRC原始训练样本作为字典来表示线性测试样本的稀疏表示系数,然后计算测试样本。它利用稀疏表示系数和训练样本来计算各种重建残差,所以测试样品可以确认根据残差最小重建。

赖昌星等人提出了一个张量基于多重线性稀疏主成分分析的特征提取方法(MSPCA)。MSPCA的关键操作是重写多重线性PCA (MPCA)多重线性回归形式和放松稀疏的回归。此外,它继承了稀疏的稀疏主成分分析(SPCA),它可以反复学习一系列稀疏投影,实现好的结果在人脸识别2]。通过引入稀疏或 - - - - - -规范学习,赖昌星等人提出了一个统一的稀疏学习框架,进一步扩展了局部线性embedding-based稀疏的情况下的方法。该方法在图像识别实现好的结果,尤其是在小样本的情况下(3]。还有一个广义鲁棒回归(嗯……)联合稀疏的子空间学习方法。通过合并损失函数的弹性系数,嗯……可以增强鲁棒性来获取更多的特征选择和分类预测和具有更好的鲁棒性的人脸识别4]。

卷积神经网络(CNN)是一个机器学习模型下深监督学习。对于图像识别,CNN可以直接使用图像数据作为输入数据不会增加手动预处理和特征提取。因此,CNN已经取得了良好的识别效果。CNN是非常适合提取图像特征,因为它可以提取各种图像特征包括纹理、形状、颜色和图像拓扑。

佳佳等人提出了一种新的图像分类和识别CNN-GRNN模型。这个模型使用一个简单的CNN模型对图像特征提取,然后用一般回归神经网络(GRNN)模型的分类(5]。Lu和全部提出了一个基于判别字典学习的人脸识别方法,伽柏过滤器用来学习新词典和分类的图像稀疏表示(6]。Mahoor等人提出了一个面对运动结合基于稀疏表示识别框架和使用运动组合的平均伽柏特性建立ultracomplete字典来提高识别精度的各种行为(7]。

上述研究在某种程度上,提高了识别效率,但他们也有自己的局限性。例如,只使用图像识别的CNN模型都将花费大量的时间来调整参数,需要大量的训练样本(8]。有时,很难获得大量实验样本,满足要求。相反,传统的稀疏表示字典上面介绍主要用于传统功能,不能满足高识别率的要求在许多情况下。针对这些情况,我们改善传统字典到一个扩展字典并使用深度特性的原子字典提出D-AJSR方法。

D-AJSR data-lightweight分类框架相对较高的识别率。与此同时,与人工智能方法相比,D-AJSR可以分类和识别对象与一些训练样本。

2。联合稀疏模型

2.1。基于稀疏表示的分类方法

SRC是脸图像的分类和识别框架首次提出由赖特et al。1),已逐渐应用于其他图像分类和识别。如果有训练样本 (,一般米< <n)属于k类,然后整个训练数据集可以表示为 在哪里 , 是jth的样本我th类,样本的数量吗我类。

基于稀疏表示理论(SR),一个新的测试样本在课堂上我可以是线性表达的训练样本吗如下(9]: 在哪里稀疏表示系数y, 。

而不考虑噪音,公式(2)可以写成 在哪里 。

为了得到稀疏x,SRC需要解决以下最小化问题: 在哪里系数向量和吗是规范。

对于每个类,我们可以构建一个映射函数 代表的非零元素选择系数向量对应于类我。测试样本与稀疏系数可以表示 。然后,y是分类通过使用最小剩余: 在哪里是规范和 。

2.2。联合稀疏模型

联合稀疏模型(地产)首次提出有效地编码多个相关信号(10]。在房子,由于信号之间的相关性,可以作为一组相关的信号,和每一个信号都可以表示成一个组合的公共特性和私人基于特定的稀疏特性。公共功能是公共所有的信号在一个信号设置的一部分,和私营特征是独一无二的每个信号特征部分。所以,jth信号可以表示为特定的公共特征和自己的私人特点: 在哪里代表了公共特性和代表了私人的特点j信号。

假设所有图像可分为K类和有J训练图像在每个类别jth形象的我类可以表示为 。如果一个图像表示为一维列向量,图像的我类可以表示为 。据地产jth形象的我类可以表示为 在哪里代表了公共图像的特点我th类和代表自己的私有特性(11]。如果是可以稀疏表示的标准正交基的训练图像,然后公式(7)可以写成 在哪里稀疏表示的吗变换的基础上和和代表了稀疏表示的公共和私人的基础 ,分别。如果双方的公式(8)乘以 ,然后公式(8)改变 。结合公式(7), ,所以的联合表示图像可以表示为

公式(9)可以简化为 在哪里和 。 overcomplete字典,包括两个部分:和 。 保留了判别信息,其稀疏表示可以得到解决最小化以下公式:

在获得 ,在课堂上所有图片的公共特性我和私人可以获得每个图像的特征字段根据逆变换:

所有公共特性和私人所有功能形成一个共同特征词典D:

所以,我们可以用下面的公式(14)来识别哪些类别的对象属于:

从上面可以看出,联合稀疏模型算法只使用两个部分来表示各种训练图像,有效地减少了存储空间的大小。

3所示。基于D-AJSR图像目标识别

D-AJSR如图的算法框架1。直接与地产私人特征总结,D-AJSR结合公共和私人特征联合字典。在此基础上,使用稀疏表示找到测试样本的稀疏解的自适应联合字典。

3.1。深特征提取

CNN可以自动从图像中提取复杂的局部和全局特征(8]。因此,D-AJSR介绍了CNN提取到稀疏表示深特性提高稀疏表示的识别能力。

本文采用VGG19特征提取。在ilsvrc - 2014图像分类竞争,VGG前5错误率7.3%获得了第二名的冠军目标检测(12]。VGG使用小卷积核的3×3在整个网络的建设和描深基础网络的3×3小卷积核。VGG19如图的网络结构2。

图3显示了提取特征的例子。左边的图像是原始图像,上面一行显示从第一层提取的特征,和下一行显示从第二层的特性。通过比较每一层提取的特征,它可以发现大多数纹理和细节特征提取的浅网,而轮廓和形状特征提取的更深层次的网络。相对而言,层次越深,越代表将提取的特征,但特征图的分辨率将变得更低。

3.2。自适应加权重建

构建联合字典时,不同样本中包含的对象信息也是不同的,和更大的样本方差含有更多的对象的信息。因此,我们考虑增加样本的权重有更多的对象字典中的信息和减少重量的样品用更少的对象信息的辨别能力,提高特征词典(13]。

特征向量就可以转换如下提取CNN: 在哪里代表的提取特征我th形象,代表了加权图像特性,和 表示特性的平均值。

公式(15)可以自适应地进行加权重建和归一化特征向量元素,可以增加标准差或方差的特征向量在某种程度上,帮助深特征字典包含更多信息,提高识别效率。

3.3。主要步骤的D-AJSR

D-AJSR的主要步骤如下:(1)VGG19网络是用于提取的深度特征训练和测试图像。(2)特征向量的自适应加权重建进行了改善特色字典的能力,和主成分分析(PCA)方法用于降低重建字典的维数。(3)每个类的公共特性的特征字典和私人每个图像的特征提取。所有的公共特性形成一个矩阵问,所有的私人特征形成一个矩阵H。因此,我们可以得到最终的联合字典功能 。(4)测试样本的稀疏表示是字典,进行联合特性和稀疏的系数是获得。特征图像y测试样本的重构,确定使用公式(14)。

4所示。实验和分析

为了验证D-AJSR的有效性,我们进行实验表面图像和遥感图像,分别。在实验中使用的计算机配置为英特尔酷睿i5 - 3210 m @2.5 GHz 4 GB内存。Matlab R2017a实验平台。深陷特征提取,我们可以得到64年全球深功能在第一层和第二层128深功能。本章实验结果都是10个实验的平均结果和D-AJSR 8(8)代表深特征图。

4.1。脸图像识别

在本部分中,实验是进行扩展YaleB [14和基于“增大化现实”技术15)的数据集,分别。SRC (1],CRC [16],RRC [17低秩矩阵恢复和结构不连贯的,(LR) [18),扩展SRC (ESRC) [19低秩表示方法(DLRR)[的],歧视;20.),和稀疏字典分解方法(SDD) (21)方法相比,D-AJSR在接下来的实验。

以下4.4.1。扩展YaleB实验数据集

扩展YaleB数据集包含2414个积极的图像大小为168×192 38人在不同的照明条件下,在图所示的一部分4。在实验中,16图像的每一个人都是随机选择的培训,剩下的用于测试。PCA过程后的特征维度25岁,50岁,75年、100年和150年分别。8深特性的初始尺寸是42×48×8 = 16128。实验结果如表所示1。

在实验中,我们选择从第二层的特性。在表1每一列中,大胆的数字表明最高识别率在同等条件下。从表可以看出1,D-AJSR维护所有尺寸精度高,和它的性能在50维度优于其他方法早在75年,100年和150年的维度。因此,D-AJSR可以大大降低特征维度在同样精度的要求。

4.1.2。基于“增大化现实”技术的实验数据集

基于“增大化现实”技术的数据集包含超过4000 126人的正面形象,每个大小为120×165。在实验中,我们使用2600 100人的面部图像的一个子集,包括50名男性和50名女性。每个人都有26个图像,分为两个独立的部分。每个部分有13个图片,其中7个是面部表情图片或无防御的光线变化的照片,3照片戴着墨镜,和3与围巾图片伪装,如图5(图片是随机选择的)。在这两部分中,我们使用一个部分培训和其他部分进行测试。脸图像的特征维度也25岁,50岁,75年,100年和150年,分别。8深特性的初始尺寸41是30××8 = 9840。

在实验中,我们选择从第二层的特性。在表2每一列中,大胆的数字表明最高识别率在同等条件下。因为有样品戴着墨镜和伪装,两个样品的数量很小,影响字典训练,我们的方法的识别率低于YaleB数据集。从表可以看到2,虽然D-AJSR方法没有达到最好的效果,当尺寸是25到50,它仍然是在一个中等水平。尺寸是25 - 50时,D-AJSR方法不执行,主要是因为主成分的数量是相对较小的方差贡献率低(小于0.6)。代表性的主成分变得更好,从维75年D-AJSR的识别率优于其他方法。

此外,我们还将实验结果与locality-constrained和标签嵌入字典学习算法(LCLE-DL) [22]。的平均识别率LCLE-DL大约是80%,而我们的方法的平均识别率为86.60%。识别的准确性,结果D-AJSR(8)方法相对更好。

4.2。遥感图像识别实验

在本部分中,遥感飞机从谷歌地球图片选择7.1.8构建数据集进行实验。遥感图像的谷歌地球卫星图像和航拍图像组成的,其中卫星图像来自QuickBird卫星和美国landsat卫星和航拍图像来自蓝天公司和桑伯恩公司等等。在实验中,在不同的拍摄时间和地点拍摄的图像被下载的数据集。图6显示了遥感图像的例子。

遥感图像的大小是170×170,和64深的初始尺寸特性从第一层是85×85×64 = 462400(图7)。PCA过程后,飞机图像的特征维度25岁,50岁,75年和100年,分别。在实验中,SRC方法(1)和自适应加权联合稀疏表示分类方法(AJRC) [13相比D-AJSR)。在这些实验中,我们选择从第一层的特性。实验结果如表所示3,大胆的数字每一列显示的最高识别率在同等条件下。

由于小数量的样本数据集,大飞机的阴影造成的干扰,和轮胎痕迹在地面上,全部3方法的认可率没有达到更好的效果的上述实验。同时,因为同一个对象的原子只有8个方向,识别的对象也会受到影响。但在相同的数据集,D-AJSR的影响仍然是优于其他方法。

4.3。综合分析实验

4.3.1。主成分的累积百分比

在实验中,当使用PCA降低维度的特性,特性与不同长度的累积方差贡献率表所示4。在表4,左列是特征图的数量选择从VGG19第二层,和获得的结果是YaleB数据集。

从表可以看出4,由于不同的图像大小和不同数量的深层特征,累计方差贡献率的特性相同的号码是不一样的。相反,如果选择了相同的累积方差贡献率,特征长度会有所不同。为了保持字典的大小一致,我们使用相同数量的主成分的实验。

4.3.2。效果和效率的不同特征映射的数字

D-AJSR的识别率随深度特征图的数量。对YaleB对象识别的数据集,我们使用深特性获得VGG19网络的第二层,总共有128个特征图。这些特征图谱包含对象的不同信息。我们选择不同数量的特征图谱在实验中,和识别结果如表所示5。表中的第一行由PCA主成分选择的数量,和左列是特征图的数量选择后深刻的特征提取。

大胆的数据表5在每一列的最高识别率。从表可以看出5,当特征图的数量小,识别速度的增加会增加特征图。当特征图的数量从1增加到4,平均识别率提高了4.89%,其中识别率增加最当选择25个主成分,达到了8.69%。然而,随着功能的增加地图,识别率的提高并不明显,甚至会降低。例如,当深特征图数量的增加从64年到128年,所有识别利率不同程度下降。因为深特征图的数量太大,原来的原子列向量太长和能量是很难集中注意力,所以最后的决议降低特征向量。因此,在实际应用中,我们需要选择适当的数量的特征图谱。

除了D-AJSR的识别率,我们也计算其时间效率。遥感图像上的实验数据集和与SRC和AJRC相比。训练效率不同的方法在遥感图像的结果如表所示6效率,测试结果如表所示7,单位时间内第二次(s)。在实验中,有225 150个训练样本和测试样本,样本大小是170×170。实验采用第一层的特征图,和D-AJSR(64)代表64深特征图。

从表6和7可以看出,D-AJSR的对象识别时间长于SRC。然而,当特征图的数量小于32,识别时间短于AJRC。226年深特征图的特征提取D-AJSR大约需要30秒。考虑的结果表5- - - - - -7,D-AJSR比其它两种方法更有利。

从上述实验中,我们可以看到,D-AJSR可以达到令人满意的识别结果数据集时小。一般来说,遥感识别的对象,VGG和其他神经网络方法通常需要成千上万的图像作为每个类的训练集,而D-AJSR仅需要一些图片为每个类原子输出识别结果。在许多情况下,很难获得大量的训练数据为特定任务,如敏感对象的识别在特殊情况下,识别不寻常的对象,等等。这时,D-AJSR可以充分发挥其优势,提供及时的识别结果。

5。结论

针对对象识别的应用需求,我们深特性引入到自适应联合稀疏表示和提出D-AJSR, data-lightweight分类框架。为了提高识别率的对象,也自适应地调整原子质量的方法。实验结果表明,该方法具有相对较高的识别率。相反,由于深特征提取是更复杂的比简单的改变特征提取方法的时间消耗也将相应增加。

当样品的数量太小,深度学习等方法不能提供可靠的识别结果由于培训不足。然而,D-AJSR可以提供识别结果时只有十几个,甚至一些样本,为目标识别提供了一种有效的解决方案没有足够的样品。此外,训练样本的角位移扩张后,D-AJSR也有一定的旋转物体的识别能力。在D-AJSR,特征提取需要一些时间。因此,稀疏的识别的框架下,如何选择特性,更富有表现力,可以快速提取的未来值得我们注意。

数据可用性

YaleB数据集和基于“增大化现实”技术的数据集是公共数据集,可以发现从文献[14,15]。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了国防预研基金(7301506);中国国家自然科学基金(61070040);湖南省教育部门(17 c0043);和湖南省自然科学基金(2019 jj80105) (CAD技术研究基于人工智能技术的结肠镜检查的儿童)。

引用

1. j·赖特,a, y, a . Ganesh s Sastry,和y妈,“基于稀疏表示的人脸识别,”IEEE模式分析与机器智能没有,卷。31日。2、210 - 227年,2008页。视图:谷歌学术搜索
2. y, z Lai问:陈,j .杨和d·张,“多重线性稀疏主成分分析,IEEE神经网络和学习系统,25卷,不。10日,1942 - 1950年,2014页。视图:出版商的网站|谷歌学术搜索
3. y, z Lai w . k . Wong j .杨·d·张,“近似正交稀疏的嵌入维数减少,”IEEE神经网络和学习系统,27卷,不。4、723 - 735年,2015页。视图:出版商的网站|谷歌学术搜索
4. z Lai d·莫j .温l .沈和w . k . Wong“广义鲁棒回归联合稀疏的子空间学习。”IEEE电路和系统视频技术卷,29号3、756 - 772年,2018页。视图:出版商的网站|谷歌学术搜索
5. z佳佳,s·库恩和l .兴”小样本使用改进的卷积神经网络图像识别,”杂志的视觉传达和图像表示,55卷,第647 - 640页,2018年。视图:出版商的网站|谷歌学术搜索
6. z z Lu和全部,”基于歧视字典学习的人脸识别算法和稀疏表示,“Neurocomputing卷,174年,第755 - 749页,2016年。视图:出版商的网站|谷歌学术搜索
7. m·h·Mahoor m .周k . l . Veon s . m . Mavadati和j·f·科恩,“面部动作单元与稀疏表示识别,”学报2011年IEEE国际会议上自动的脸和手势识别(FG 2011),页336 - 342,2011年3月,美国圣芭芭拉。视图:出版商的网站|谷歌学术搜索
8. w·w·王,杨y、x Wang Wang和j·李,“卷积神经网络的发展及其在图像分类中的应用:一项调查,“光学工程,卷。58岁的没有。4、文章ID 040901, 2019。视图:出版商的网站|谷歌学术搜索
9. 张,z, w .香港,w .香港,“结合稀疏表示和奇异值分解植物识别、”应用软计算卷,67年,第171 - 164页,2018年。视图:出版商的网站|谷歌学术搜索
10. d .男爵m . f . Duarte m . b . Wakin s Sarvotham Baraniuk r . g .,“分布式压缩感知”IEEE国际会议上声学学报》演讲和信号处理,台北,台湾,2009年4月。视图:出版商的网站|谷歌学术搜索
11. p .乐b·李,“压缩传感expression-invariant人脸识别方法,”学报2009年IEEE计算机视觉与模式识别会议麦迪逊,页1518 - 1525年,WI,美国,2009年6月。视图:出版商的网站|谷歌学术搜索
12. k . Simonyan和a . Zisserman”大规模图像识别,很深的卷积网络”美国学习国际会议上表示美国圣地亚哥CA, 2015年5月。视图:谷歌学术搜索
13. j·j·w . Wang Chen Li和x王,“远程目标识别基于自适应加权特征词典和联合稀疏表示,“遥感的印度社会杂志》上,46卷,不。11日,第1870 - 1863页,2018年。视图:出版商的网站|谷歌学术搜索
14. j . k . c . Lee Ho, d . j . Kriegman”获得线性子空间照明下的人脸识别变量,“IEEE模式分析与机器智能,27卷,不。5,684 - 698年,2005页。视图:出版商的网站|谷歌学术搜索
15. a·马丁内斯和商业部副部长r . Benavente上周“AR面对数据库,”科技。代表,普渡大学西拉法叶,在美国,1998年,CVC技术报告24。视图:谷歌学术搜索
16. l, m·杨,x,“稀疏表示或协作表示:这有助于人脸识别?“在《2011年国际会议上计算机视觉的视野,ICCV西班牙巴塞罗那,页471 - 478,,2011年11月。视图:出版商的网站|谷歌学术搜索
17. m, l . Zhang j·杨,d .张“正规化健壮的人脸识别编码,”IEEE图像处理,22卷,不。5,1753 - 1766年,2013页。视图:出版商的网站|谷歌学术搜索
18. 张炳扬。陈,C.-P。“魏,y . c . f . Wang低秩矩阵恢复的人脸识别和结构不连贯,”《IEEE计算机视觉与模式识别会议普罗维登斯,页2618 - 2625年,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
19. w·邓、j·胡和j .郭”扩展的SRC: undersampled人脸识别通过组内变异字典,”IEEE模式分析与机器智能,34卷,不。9日,第1870 - 1864页,2012年。视图:出版商的网站|谷歌学术搜索
20. j·陈和z,“稀疏表示人脸识别的区别的低秩矩阵恢复,”杂志的视觉传达和图像表示,25卷,不。5,763 - 773年,2014页。视图:出版商的网站|谷歌学术搜索
21. f·曹、冯x和j .赵“稀疏表示的人脸识别的字典分解,“杂志的视觉传达和图像表示,46卷,第268 - 260页,2017年。视图:出版商的网站|谷歌学术搜索
22. y z z . Li Lai, j .杨和d·张,“locality-constrained和标签嵌入字典学习算法的图像分类,“IEEE神经网络和学习系统,28卷,不。2、278 - 293年,2017页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019王伟et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。