文摘

卷积神经网络(CNN)是一个非常重要的方法,在深入学习,解决了很多复杂的模式识别问题。取得了丰硕的成果在图像识别,语音识别,自然语言处理。与传统的神经网络相比,卷积重量共享、稀疏连接,在卷积神经网络和池操作大大减少训练参数的数量,减少大小的特征图,简化网络模型,提高培训效率。基于卷积操作,操作池,softmax分类器,和网络优化算法在改善LeNet-5卷积神经网络,本文进行图像识别手写的数字和脸上的实验数据集,分别。方法结合局部二进制模式和卷积神经网络提出了人脸识别研究。通过实验,发现添加枸杞多糖LeNet-5图像信息来提高卷积神经网络可以提高人脸识别的准确性为99.8%,具有重要的理论和实践意义。

1。介绍

图像是一种视觉形式,描述客观世界的状态或将能量转化为一个二维平面。图像识别是基于图像识别的算法,这是一个技术的计算机分析图像中包含的特定类型的对象(1]。图像识别应用在许多领域,如生物医学病理诊断、军事侦察、危险环境和智能画像识别领域的生活服务。图像含有大量的对人类有用的信息(2]。有效的图像识别是整个社会的进步具有重要意义。

图像数据不仅包含人类信息也给主图像数据的公司带来巨大的利润。数据使用的科技巨头谷歌(Google inc .)带来540亿美元的收入在2009年在美国。这使人们看到矿业信息从图像的重要性。随着现代工业的迅速发展,图像数据和积累以前所未有的速度迅速膨胀。如何从图像中提取信息已成为一个值得研究的问题。深化信息挖掘,越来越多的算法用于我的信息在图像3]。机器学习闻名高效的挖掘能力,适应能力和学习能力。这是一个算法的性能适合图像处理和大数据。卷积神经网络算法是一个很好的深入学习算法特别设计来处理图像数据。

2。相关工作

神经网络的想法是让机器学习人类的思维方式来模拟人类获取信息的方式处理问题想法的灵感来自大自然。在此基础上,科学家们提出了人工神经网络理论(简称人工神经网络ANN) [4,5)提出了人工神经网络的反向传播(BP)算法。BP算法应用于浅了神经网络模型,和一个隐藏层添加到解决异或门,感知器无法解决的问题(6]。优化问题的计算复杂度降低,神经网络的算法成为最基本的算法。从那时起,研究和应用神经网络开始恢复。在1860年代,提出了卷积神经网络的概念。文献[7)发现,小面积的视觉形象猫的视觉皮层只处理一个神经元,这是接受域。文献[8]提出,这是第一个原型卷积神经网络,视觉系统的建模,可以承认当对象是流离失所,甚至有点变形。科学家提出的神经认知机包含两种类型的神经元,一个神经元S-cells提取特征滤波器卷积核的卷积神经网络,和其他神经元C-cell antideformation卷积神经网络。激活函数和池:卷积神经网络是多层感知机的基础上开发的。文献[9]提出是基于一个有效的BP训练方法,首先在英语手写识别领域取得成功。卷积神经网络已成功的第一个人工神经网络训练在深度学习10]。随后,卷积神经网络的各个方面不断改进,使其成为最有潜力和成功的模型。卷积神经网络广泛使用。在人脸识别中的应用,行人检测、自然语言处理机器人导航、医学发现,发现气候灾难,甚至去AI程序(11]。目前,有许多研究卷积神经网络在世界,主要针对提高卷积神经网络的结构。国内研究仍处于起步阶段。

图像识别是图像分类和检测的基础上,和正确的图像分类结果对计算机视觉的发展具有重要意义。图像识别是一个研究分析图像提取特征信息类别的图像。因为图像信息是非常复杂的,它是特别重要的选择有效的特征(12]。虽然特征提取算法是不断提出,传统算法很难满足性能和效率要求的大规模图像。经过50多年的发展在图像识别中,出现了大量优秀的机器学习算法(13]。浅神经网络算法等人工神经网络(ANN)、支持向量机(SVM)模型,高斯混合模型(GMM),和条件随机场(CRF)是正确分类的一系列对象(如水果、岩层,花生率超过90%。浅神经网络在获得好的分类(也有问题14]。例如,如果您需要手动选择功能,深化层数后培训效果并不理想(15]。深度学习是一个深度网络算法,自动学习图像特征(16]。深度学习分为监督学习监督学习和无监督学习(无监督学习)根据是否有标签17]。

2.1。卷积神经网络模型

越来越多的学者在不同的国家加入了机器学习和各种研究的高科技公司。机器学习是越来越聪明和各领域取得了杰出的成就,不断应用于实践及其结果。图1显示了深度学习在各领域的应用。

神经元是神经网络的基本处理单元,通常有多个输入和一个输出。基本结构模型如图2。

卷积操作有两个优良性能:稀疏连接,也就是说,在卷积操作中,一个输入神经元只连接到相应的输出神经元的一部分,和一个输出神经元只连接到相应的输入神经元的一部分。图3(一个)显示了稀疏连接的卷积方法,和图3 (b)显示了完整连接方法。可以清楚地看到,每一个输出神经元连接到所有输入神经元的完整连接方法,在卷积稀疏连接的方法,一个输出神经元只连接到相应的输入神经元的一部分,例如,输出神经元年代₃只是连接到输入神经元x₂,t₃,x₄。

参数共享,共享卷积操作的每个部分的参数。图4(一)显示了卷积操作,和图4 (b)显示完整连接操作。可以看出,每个连接的重量参数完整连接操作是不同的。因此,当输入和输出神经元的数量是5,所需的参数的数量是25。在卷积操作中,因为参数共享的本质,如重量参数x和年代、连接是一样的,所以当输入和输出神经元的数量是5和卷积核的大小是3,所需参数的数量是3。

卷积神经网络的输入图像,当图像只有黑色和白色,图片可以抽象为一个二维矩阵空间。彩色图像时,有三个颜色通道,每一层的神经网络和节点是由RGB三个向量,可以形象抽象为一个三维矩阵的空间。图5是一个原理图卷积神经网络节点的连接。从图可以看出,多个节点的上层卷积神经网络连接到单个节点的层神经网络。

3所示。Softmax算法

softmax,需要解决的是一个多级的问题(假设k分类问题),所以值范围的类标签y是k不同的整数值,不同的值代表不同的类。对训练集 与米样品,有 ,其中 。给定一个样本 ,我们可以使用假设函数来计算概率值 样本属于每个类别j,估计样本为每个类别的概率结果。假设函数是一个的输出k维数值向量(矢量元素值之和为1)组件的向量代表估计概率值的样本属于类。假设函数是下面的形式: 在哪里 是一个模型参数。如果一个 矩阵是用来表示参数 ,有以下: 。

softmax算法的代价函数如下: 在哪里是一个象征功能。的最小化问题 ,没有封闭的解,迭代优化算法(如梯度下降法)。推导后,梯度公式如下:

每次迭代的梯度下降法,需要更新如下: 。

通常,softmax成本函数将增加体重衰减项(18),它可以解决数值问题引起的参数softmax冗余。成本函数的加权衰减项如下: 在哪里 是重量衰减系数。它的梯度计算如下:

假设一个标记样本集 包含米样本。下面的方程描述了使用批处理梯度下降法来解决神经网络模型。一个样本 ,成本函数给出如下:

然后,成本函数的整体米样品被定义如下:

梯度下降法更新参数和B根据以下公式: 在哪里是学习速率,最关键的一步是计算偏导数。让我们介绍有效的偏导数计算方法:反向传播算法。

4所示。结果

我们训练了五个不同的卷积神经网络,损失值和迭代的数量之间的关系在训练过程如图6。为了清楚地看到每个曲线的差异,我们丢弃的选择过程,首先因为他们的损失值是相对较大的1000倍。图中描述了训练过程从1000年到10000年时期。从图可以看出,当一代又一代的数量达到3000,网络训练的损失值取得了较好的效果。在所有网络,LeNet-E网络可以实现最低损失值,表明在合适的情况下,参数学习的网络结构可以更好地表达图像的特性,也就是说,更深层次的网络结构可以更好地适应数据功能。从图可以发现,网络损耗的价值LeNet-D培训期间和LeNet-E网络非常不稳定。这表明尽管辍学策略有助于提高网络的识别率,它影响网络训练的稳定。

我们还阴谋测试准确性和迭代次数之间的关系,如图7。它可以发现LeNet-D和LeNet-E网络识别利率高于其他三个网络,表明网络和辍学的深度策略对识别率的影响更大。从LeNet-A的曲线,可以发现,随着数量的增加代,识别精度有下降的趋势,这可能是过度拟合。当网络的宽度不足以代表输入数据的特点,测试集的识别率将减少数量增加的网络选择。

5。结论

卷积神经网络是一个非常重要的功能在机器学习的学习模式。它在图像识别具有较强的表达能力,已广泛应用于模式识别领域。本文对卷积神经网络进行深入的研究,详细介绍了卷积神经网络的网络结构和具体操作的卷积和池,并引入了反向传播算法用于网络优化。基于LetNet-5网络模型,五个不同的网络结构是手写数字识别的构建。网络的影响深度,隐层卷积核,特征尺寸在识别精度进行测试。实验结果表明,更深层次和更广泛的网络结构更有利于提高识别率,较大的特征维度,和更好的识别率。最后,人脸识别方法基于局部二进制模式和卷积神经网络,提出了使用缝合的原始输入图像和局部二进制模式图像卷积神经网络的输入,这样卷积网络不仅学习面临的全球特性,而且当地面临的结构性特征。通过实验,发现添加枸杞多糖信息有助于进一步提高识别率。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称,关于这项工作他们没有利益冲突。