文摘

作为一个典型的深度学习模型,可以利用卷积神经网络(cnn)自动从图像中提取特征使用层次结构的灵感来自哺乳动物视觉系统。对于图像分类任务,传统的CNN模型采用将softmax功能分类。然而,由于将softmax函数的能力有限,有一些传统的CNN模型的缺陷在图像分类。处理这一问题,结合仿生模式识别新方法(BPR)和cnn提出了图像分类。BPR执行类识别几何覆盖集的联盟在一个高维特征空间,因此可以克服传统模式识别的一些缺点。该方法评估三个著名的图像分类的标准,也就是说,MNIST, AR, CIFAR-10。该方法的分类精度的三个数据集是99.01%,98.40%,和87.11%,分别高得多的比较与其他四种方法在大多数情况下。

1。介绍

图像分类和识别是一个复杂的任务的机器,它一直是一个热点问题在人工智能(AI)。特征提取的图像自动图像分类是一个重要的一步。有效表示图像,提出了很多方法,这些方法大致可以分为手工特征和机器学习功能。最具代表性的手工特征尺度不变特征变换(筛选)1)和面向梯度直方图(猪)2]。这些特性尤其有用的图像分类的小规模数据集。然而,这是一个太难的问题找到合适的特征从图像的大规模数据集。此外,手工特征通常是低级特征没有足够的中层和高层信息,这阻碍了性能(3]。

在过去的几年里,深层神经网络(款)取得了最先进的表演在广泛领域的4- - - - - -7]。灵感来自于哺乳动物视觉系统、深卷积神经网络(DCNNs)成为许多计算机视觉任务的最合适的架构(8]。cnn,通用的特征提取器,不断提高图像分类的准确性,避免了传统的手工特征提取技术在图像分类问题。从cnn的特性不是由人类设计的工程师,但从数据使用一个通用的学习过程9]。因为手工和机器学习特征都有自己的优势,这两个方法的合理组合成为一个热点最近[10- - - - - -12]。

cnn的典型架构通常包含很多层自动提取图像有用的特性和利用softmax函数(也称为多项逻辑回归)分类(13,14]。然而,通常将softmax分类器显示较低的预测性能(15]。此外,由cnn也意味着更高的精度得到了更深层次的结构,更多的学习参数,和大量的训练数据,导致成本增加训练的复杂性。此外,由于过度增加深度可以损害准确性,即使宽/过滤器尺寸不变,一个更深层次的结构并不总是保证一个更好的结果,验证了许多实验(16]。

解决上面提到的问题,已经提出了一些可行的研究。如果增加了well-performed分类器在CNN,分类精度将改善在某种程度上,这正是CNN-SVM的起点。CNN-SVM是CNN和SVM的组合(17],它把CNN作为可训练的特征提取器和支持向量机作为分类器。首先,CNN是利用学习图像数据的特征向量。然后学习向量表示美联储到支持向量机分类器作为图像分类的功能。应该注意的是,在整个过程中,CNN和SVM训练分别得到一个更好的结果(18]。结果由cnn和SVM的组合显示更高的准确度与单独使用cnn或SVM。的运行时间明显低于SVM的组合方法。成功的鼓舞下,这种组合也通过其他研究[19,20.]。

仿生模式识别(BPR) [21)是一种新的模式识别模型,基于“认知”而不是“物质的分类。“这个新模型更接近于人类的识别功能,认知问题类的类,比传统的统计模式识别使用“最佳分离”作为其主要的原则。BPR,“认知”一类重要的是基本分析和“认知”的形状无限点集组成的所有样品相同的类。在数学的工作(22)由前苏联院士,还有那写意Aleksandrov指出“拓扑空间的概念是非常一般,科学关于拓扑space-topology-is最一般的数学分支的连续性。“BPR的数学工具只是廖的方法来分析点集拓扑。因此,BPR也被称为拓扑模式识别(TPR)。

本文提出了一种新的方法,该方法结合了cnn和BPR减少训练网络的复杂性和提高分类的性能。因为cnn代表认知神经科学的一个灵感而BPR意味着认知心理学,它是合理的在认知科学的框架结合在一起。在我们的框架中,cnn是用来自动学习从原始图像特征向量,然后学特征向量投射到高维空间由BPR分类器。这样的组合将结合cnn的优势特征表示和BPR的分类。同时,采用一种自适应技术来解决问题的设置覆盖半径在BPR分类器。评估MNIST, AR, CIFAR-10数据表明,组合模型优于经典的CNN, CNN与支持向量机相结合,和主成分分析(PCA)结合BPR模型的分类精度。

剩下的纸是组织如下。节2,我们给cnn和BPR的一些简要介绍。节3,提出CNN-BPR模型。节4,三个不同的基准数据集被用来验证该模型的优越性。最后,部分5给出了结论。

2.1。卷积神经网络

cnn的想法是首先提出了23由福岛),开发的(24]勒存,et al .,和改进(25,26Simard], Cireşan等等。GPU加速硬件的发展促进了深CNN (DCNN),其中包括一个更深层次的架构与额外的回旋的层。

典型的美国有线电视新闻网是由卷积层,池层和完全连接层。CNN由一个或多个对卷积和池层最后结尾完全连接神经网络。卷积层相间max-pooling层模仿的性质复杂和哺乳动物视觉皮层简单细胞(27]。一个典型的卷积网络体系结构如图1。


图1
一个典型的卷积网络体系结构。

二维原始图像的像素可以直接接受cnn的输入。然后图像卷积与多个学习内核使用共享权重。卷积层是参数化的地图,地图的大小,和内核大小。每一层有米地图的大小( )。一个内核的大小( )是在输入图像的有效区域转移。每个地图层l连接到所有地图层 。神经元给定图的分享他们的重量,但有不同的输入字段。

接下来,池层减少了图像的大小在试图维护所包含的信息。汇聚层的目的是实现空间不变性降低特征图的分辨率。池的输出层最大,意思是,或者随机激活,对应max-pooling, mean-pooling,或stochastic-pooling不重叠的矩形区域的大小( )。池创建位置不变性大本地区域和downsamples输入图像的一个因素 和 在每个方向。结果是,max-pooling导致更快的收敛速度,通过选择优越的不变特性,提高泛化性能(28]。

卷积层和池层组合特征提取部分。后来,提取的特征加权和组合在一个或多个完全连接层。这代表了分类卷积网络的一部分。这些层是类似于一个标准层多层感知器(MLP)、输出层的神经元 连接到每个神经元层l。

最后,有一个输出为每个对象类别在输出层神经元。输出层神经元有一个每个类的分类任务。softmax激活函数;因此每个神经元的输出概率代表后类。

对于一个 分类问题,是标准的CNN使用softmax或1 - 编码在顶部。让p我指定一个离散型概率分布, , ,h是倒数第二的活化层节点,W是倒数第二层之间的权向量,将softmax层,总输入softmax层,由一个,是 然后我们有 和预测类 将

基于cnn通常训练有素的变体梯度反向传播法(29日]。所有培训模式以及期望的输出被送入网络。后来网络错误(实际和预期的输出之间的差异)通过网络和backpropagated用于计算网络的梯度误差的权重。这种梯度是用于更新权重值根据特定的规则(如随机、动力等)(30.]。

2.2。仿生模式识别

“仿生”的观点强调功能和模式识别的数学模型是“认知”的概念更接近人类的功能。一个重要的和必要的关注的焦点在BPR的原则homology-continuity (PHC) [31日]。

定理1。在特征空间 ,假设设置 在课堂上是一个点集包括所有样品吗 。如果 ,必须设置吗

“所有有用的信息包含在训练集”——是传统的模式识别的基础,但过去重要的定理超出这一假设。传统的模式识别是完全基于不同样本在特征空间的分离,因为没有先验知识的考虑在相同的采样点。然而,“普遍联系”是自然的客观规律,是紧随其后的是BPR,充分利用法律来改善事物的认知能力。图2显示了BPR的差异和传统的模式识别。


图2
英国石油(BP)的差异的原理图,RBF和BPR。

在图2,圆圈表示样品被认可;方形和三角形代表样品区别圈。这些小信号代表了一种理想化的分布特征空间中的样本点,和多边形线表示的分类边界传统的反向传播(BP)网络,大圆代表径向基函数(RBF)网络(这是一样的模板匹配),和腊肠形状代表了BPR的“认知”的方式。BPR之间的具体差异和传统的模式识别中所描述的表1。

表1
比较传统的模式识别和BPR。

3所示。该模型

在本节中,我们提出一个CNN-BPR组合模型的图像分类。系统框架如图3。首先,一个自动特征提取,提出了利用CNN。其次,采用BPR的分类器利用特征提取之前的模块,CNN。获得最优覆盖,使用一种自适应方法来计算一个适当的覆盖率阈值为每个类。


图3
提出CNN-BPR识别方法的流程图。
3.1。CNN-Based特征提取

CNN架构与卷积和max-pooling层交替使用。输出层中的每个节点对应一个字符类。CNN的训练之后,只剩下完全连接层的参数提取的最终功能向量将美联储BPR分类器。CNN-based特征提取器的数量是无关紧要的字符类可以非常紧凑。提取CNN-based特性,网络训练使用。CNN的培训是由两个主要过程,即正向传播和反向传播(32,33]。

3.1.1。CNN的向前传播

假设层 是一个卷积层和层 二次抽样层或一个输入层,功能地图吗j的层l计算如下: 在哪里 代表一个选择的输入地图。” ”表示卷积计算;就是卷积卷积的本质内核 在所有相关的功能层的地图 ;然后和他们一起激活函数的偏差作为输入,最后得到的输出卷积层 。

池层产生downsampled版本的输入地图。如果有 输入地图,然后会有没错 输出地图,虽然输出地图将会更小。更正式, 在哪里 表示 届二次抽样层, 是可以max-pooling池函数,mean-pooling或stochastic-pooling。每个输出映射给出自己的乘法的偏见 和一个添加剂的偏见 。

向前传播的过程是由卷积和池交替,以及完整的连接层,以前所有输出地图是通过每个复杂的卷积内核在这一层。

3.1.2。CNN的反向传播

CNN训练过程是一样的BP模型。在下面,我们定义一个平方误差函数作为损失函数 。多类问题 训练的例子, 可以给 在哪里 代表了 th训练的例子, 是它的标签,然后呢 是输出。

然而,不同于英国石油公司的单一结构,每一层的训练过程中有差异的CNN。在这里,我们简要介绍如何训练参数和计算梯度为不同类型的层。

(1)卷积层。反向传播的“错误”通过网络可以被视为“敏感。“假设每个卷积层 紧随其后的是一个二次抽样层 ,BP算法中的残差相等权重的加权求和和残差的节点连接 层,然后乘以这个点的导数值。下一层卷积的层 是二次抽样层 ,使用一对一的不重叠的抽样,所以剩余计算更简单。剩余的功能映射 层的 计算如下: ,“ ”表示element-wise乘法和 表示一个upsampling操作的目的是扩展层的大小l+ 1层的大小l,也是克罗内克积定义为:

现在鉴于敏感地图,偏差计算梯度通过简单加法中的所有条目 。 最后,要计算梯度的内核的重量,我们和梯度对于一个给定的重量超过所有连接提到这个重量: 在哪里 是补丁在 这是element-wise乘以 在卷积来计算元素(u, v)在输出卷积地图 。

(2)二次抽样层。二次抽样层的参数 和b需要学习。同样值得注意的是,该二次抽样层由卷积后连接层。二次抽样层的敏感性l被定义为 在哪里 卷积的敏感性层吗 。添加剂偏见又敏感的元素求和映射,可以重写(10),

乘法偏见 包括原始downsampled地图计算在当前层前馈通过。计算参数 ,我们定义 然后梯度 是由

3.2。基于BPR的分类

BPR的过程分类主要由构建复杂几何覆盖在高维空间中基于最小距离和歧视。一些相关的理论将简单地介绍下面的上下文。

3.2.1之上。在高维空间理论的复杂几何覆盖

BPR使用拓扑高维流形理论作为数学工具,可实现的方法,也叫做TPR的原因。使用高维流形理论BPR研究类似的样本在特征空间的拓扑性质。方法——“复杂几何覆盖(公司治理文化)在高维空间”——用于研究样本的分布特征和空间给合理的覆盖,所以样品可以被认识34]。

形成了公司治理文化在高维空间中,Multiweighted神经元是专门用来弥补单纯形。单纯形和Multiweighted神经元的定义如下。

定义2。假设 是一些无关紧要的点吗 维欧氏空间 可以说,这是向量 , 是线性无关的,然后点集 是一个 维单形与 作为它的顶点。
分别简单的线段、平面三角形、四面体可以被视为一维,二维,三维欧几里得空间中的单纯形。

定义3。假设 在特征空间是一个多面体吗 和之间的距离x和V满足 如果 满足 然后 叫多面体的报道。
当V是一条线段,平面三角形,或四面体,Multiweighted神经元U是一个超香肠神经元(HSN)ψ3个神经元,或三自由度(自由度)神经元,分别。图4显示了一个示意图表示这些类型的神经元模型。

(一)小企业模型
(一)小企业模型
(b)ψ3神经模型
(b)ψ3神经模型
(c)三自由度的神经模型
(c)三自由度的神经模型
图4
某些神经BPR模型。
3.2.2。识别算法基于一个三角形覆盖

假设 是一个训练集包括N类和 是kth类包含N采样点;下面是构建公司治理文化的步骤(35]:

步骤1。计算距离ρ任何两个点之间 ,并找到两个点P11和P12从训练集 ,让 ,在那里 。然后找出第三点 ,在那里 最近的点离开P11和P12但不是一致的。连接这三个点 构成第一个平面三角形T1,它可以覆盖着 神经元和覆盖空间θ1是 在哪里 表明之间的距离X和T1,是门槛,其余的设置 。

步骤2。判断是否点年代的报道吗θ1;如果这是真的,那么排除这些点年代,让 。找到另一个点P21从组 最小距离的总和 , , 。重命名的两个点 作为P22和P23,这是最近的两个 ,然后 构建第二架飞机三角形T2。同样的,T2覆盖着一个ψ3神经元生成覆盖空间θ2,其余的设置 。

步骤3。找出其他点 为一步2,标记为P我1,两个最近的点标记为P我2和P我3。 构造平面三角形 并进一步报道θ我,其余的设置 。

步骤4。判断集合 是空的;如果这是真的,那么终端建设;否则重复步骤3。
上面的步骤后,最终覆盖类k所有报道的神经元的联盟,是吗

基本的识别过程是判断哪些覆盖测试样本将被覆盖。完全覆盖不同类别的训练样本将不可避免地导致重叠的空间。一个测试样本可能落入没有或重叠覆盖;然后它属于一个接近它。因此,最小的距离需要计算测试样本之间和每个覆盖。让 样本之间的距离 和覆盖空间的类 ;我们有 在哪里 的数量是 神经元在课堂上 , 的总类和 一个样本之间的距离是识别和神经元的报道吗 在课堂上 。然后歧视函数被定义为 伪代码中给出了CNN-BPR的伪代码1。

(1)培训过程
输入:训练数据的标签 ,K的总类。
;%的原始训练数据发送到CNN获得提取的特征向量
;%提取的特征向量映射到高维空间
%由公司治理文化类的类
为我1到K做
;%计算在课堂上任何两个点之间的距离
;%找到最接近的两个点D(我),标记为 和
;%删除标记点
;% FindPtoN是一个函数用来找到最小距离的总和
%的F 来 和
;% , 和 构成了第一架飞机三角形θ1
%P1的报道 与覆盖半径 被称为ψ3
%的神经元, 表明之间的距离 和
;
;% ExcludeP是一个函数用来排除分F(我)覆盖了
;
而 %重复上面的步骤,直到F(我)是空的
;
;
;
;
结束
;%最终的公司治理文化的类 每个联盟吗ψ3神经元
结束
输出: ;%的公司治理文化的集合类
(2)分类的过程
输入: 是一个图像分类
;
;% 之间的距离是 和神经元的报道 在课堂上
输出: %的类 属于
伪代码1
CNN-BPR算法的伪代码。

4所示。实验和讨论

验证该算法,使用三个不同的数据集,即MNIST, AR, CIFAR-10。每个数据集将简要介绍了在接下来的段落。每组实验中,表现在CNN, CNN-SVM, PCA-BPR [36],HOG-SVM [37),该方法比较不同条件下的训练数据量。为CNN,我们用代码下载https://github.com/rasmusbergpalm/DeepLearnToolbox和其他三个方法相比,它们都是结合算法;根据具体步骤我们重装他们从他们的论文。结果证明该方法的有效性。

4.1。实验MNIST

MNIST [38]数据集包含手写数字灰度图像。一些MNIST数据集的图像如图5。它拥有十个不同的类别,即每个数字从0到9。每个形象都有一个固定大小的28×28个像素。内的数字为中心的形象和大小归一化。完全,MNIST包含70000张图片,其中包括60000 10000年培训和测试图像。


图5
100年从MNIST随机选择的图片。

MNIST,输入层是紧随其后的是一个卷积层C15×5过滤器和10的地图尺寸24×24。随后max-pooling层 上一层减少了大小12×12×2×2过滤器。C3还雇佣了5×5过滤器,但12地图维度8×8像素。 收益率4×4 2×2池窗口的特征图谱完全连接到100隐藏神经元。这些100隐藏神经元最终连接到输出单元。可以简要描述为CNN的结构28×28 input-10c5-mp2-12c5-mp2-10output。

因为CNN受雇为一个自动特征提取器和BPR方法作为分类器,训练后20世学习速率为0.1,完全连接层与100投影到特征空间的维度。然后,一系列的ψ3神经元用于介绍这些特征点类的类。

CNN, CNN-SVM PCA-BPR,该方法在数据集进行测试。CNN-SVM,我们使用上面的100维完全连接神经元作为SVM的输入,从LIBSVM RBF核函数。PCA-BPR,相同尺寸大小的特性从顶部- 100中提取主成分,然后ψ3神经元用于介绍这些特征点类的类。实验结果如表所示2。此外,为了方便与其他方法比较,我们设置不同数量的训练样本,500,1000,6000,10000,60000。图6给出了比较结果。

表2
分类精度MNIST的不同的方法。

图6
分类精度与MNIST训练样本的数量。
4.2。基于“增大化现实”技术的实验

基于“增大化现实”技术的数据库包含超过3200额图片70男性和56岁女性,有26个图像的每个人39]。在AR包含诸如照明变化、变化表达式和面部伪装(即。、太阳镜和围巾)。我们随机选择100例(50名男性和50名女性,总共2600张图片)在实验中,和图像裁剪尺寸165×120。对每个人来说,我们选择了五个图片,总计500脸图像进行测试,并设置不同数量的训练样本,其余图像,500,800,1600,2100。一些面对图像如图7。


图7
在基于“增大化现实”技术的数据集样本图像。

CNN的体系结构表示为165年×120输入- 20 - c5 - mp4 - 50 80 - c3 - c5 - mp2 mp2 - 120 fc - 100输出、培训50时代学习速率为0.01。则由120维的特征点 3个神经元。实验结果如表所示3和图8。

表3
分类精度不同的基于“增大化现实”技术的方法。

图8
分类精度与基于“增大化现实”技术的训练样本数量。
4.3。实验CIFAR-10

CIFAR-10是自然的RGB图像的数据集[32×32像素40]。它包含10类10000 50000训练图像和测试图像。所有这些图像有不同的背景,不同的光源。图像中的对象并不局限于一个中心,和这些对象有不同的大小,范围在数量级。CIFAR-10如图的一些图片9。


图9
在CIFAR-10数据集样本图像。

由于RGB输入图像,会有三个频道在每个第一卷积过滤层,这意味着过滤器的大小 与输入图像和三维复杂,导致12大小30×30层的地图 。下面的结构mp2 - 16 - c3 - mp2 - 120 - fc - 10 -输出、培训40时代学习速率为0.1。则由120维的特征点ψ3个神经元。实验结果如表所示4和图10。

表4
分类精度CIFAR-10的不同的方法。

图10
分类精度与CIFAR-10训练样本的数量。

从上面的实验,可以看出CNN-BPR通常优于其他四个方法。条件下最大的训练数据集,CNN-SVM显示0.17%,2%,和1.9%相比,改进CNN,分别和CNN-BPR节目通常更高的改善为0.12%,3.4%,和3.38%相比,CNN。

也可以看到猪和BPR执行比另一种更好的方法在小型均匀数据集的情况下,虽然随着训练样本的增加,CNN CNN-SVM超过PCA-BPR,这意味着可以更好地代表了比猪和PCA特征的大规模异构数据集。

5。结论

摘要CNN-BPR组合模型对图像分类算法。该模型对CNN特征提取器,可自动学习功能表示。BPR是善于提供一个精确的分类器。结果准确性MNIST的数据集而言,基于“增大化现实”技术,通常和CIFAR-10表明,该方法优于其他方法,而验证CNN-BPR结合图像分类模型的有效性。

从认知科学的统一框架中受益,CNN和BPR的组合代表了比其他方法更好的性能。在未来,更多的选择受生物学分类方法将研究和比较,以确定最佳CNN-based框架图像分类任务。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这项工作得到了国家自然科学基金(没有。41306089),江苏省的科技项目(没有。BY2014041),江苏省研究生创新计划(没有。2016 b48514),常州的科技支持计划(没有。CE20150068)。