文摘

基于深度学习和数字图像处理算法,我们设计和实现一个准确的银行券文本自动识别系统,提出一种改进的基于ResNet识别方法的问题困难的图像文本提取和识别精度不足。首先,深hyperparameterized卷积(DO-Conv)是用来代替传统的卷积网络中提高识别率,同时减少模型参数。然后,空间注意模型(SAM)和挤压激发块(SE-Block)融合和应用于修改ResNet提取纸币图像的具体特征的通道和空间域。最后,label-smoothed叉(LSCE)损失函数是用来训练模型自动校准网络以防止分类错误。实验结果表明,改进的模型是不容易受图像质量的影响,本文模型具有良好的性能在文本在特定业务票场景中检测和识别。

1。介绍

文本自动识别是计算机视觉领域的热门研究话题(1),和其技术主要包括两个部分:文本检测和文字识别。传统的光学字符识别(OCR)是基于图像处理(最小化、纹理分析、连通域分析等)(2- - - - - -4]。现代商业票据的许多类型和随机放置,所以很难达到很好的识别结果与传统的OCR检测方法。此外,传统的OCR使用手动提取特征设计训练文本识别模型,这是一个耗时和费力的过程。汉字有很多种类和复杂的性格结构,和识别效果往往是穷人5]。

深度学习的快速发展,卷积神经网络(CNN)在计算机视觉领域获得了巨大的成功。相比与传统的浅特性提取通过手工设计,CNN自然可以集成低/中/高/不同级别的功能,更有利于鉴别器作出决定。在图像分类任务,从AlexNet [6),优秀的网络结构,如VGG [7),《盗梦空间》(8],ResNet [9],DenseNet [10],SeNet [11)派生。cnn的优秀表现在图像分类任务使得越来越多的用户迁移他们的通用目标探测任务。R-CNN [11)是第一个算法成功地应用深度学习目标探测。从那时起,快速R-CNN [12),快R-CNN [13],面具R-CNN [14),和其他检测模型不断优化和改进大大提高检测的准确性和速度。目前,大部分地区主流建议是目标探测网络是基于改进的R-CNN更快。原更快R-CNN是通用目标探测任务,我们改进和优化它,让它更好的适应文本检测,尤其是对银行票据。

近年来,文字识别技术结合CNN和RNN递归神经网络()得到了很多的关注。CNN是用于提取表征图像特性,RNN是自然适用于序列数据的识别问题,所以这个网络体系结构是适合识别基于图像的文本行。卷积RNN [15)是一个代表方法这种类型的网络体系结构,它使用CNN网络来提取图像的高层语义特征,将提取的特征转换成特征序列,然后使用一个双向长期和短期(BiLSTM)内存网络(2,16]。这个模型使用一个CNN网络高层语义特征提取,将提取的特征转换成特征序列,然后使用一个BiLSTM网络(17- - - - - -19捕捉上下文信息在前后两个方向序列和使用一个CTC(联结主义时间分类器)20.)解码序列特性来获得最终的文本识别结果。CNN + BiLSTM + CTC-based网络模型已成为主流票文字识别框架。

深度学习和图像处理算法的基础上,本文设计并实现了一个法案自动识别系统,可以准确地识别文本信息识别特定任务的银行账单的内容。

使用一些降维方法,也可能错过重要信息(21]。与传统方法相比,CNN是健壮的噪音,因此,CNN不受预处理[22]。cnn使用大量的数据来训练模型,和训练模型更通用。近年来,随着深度学习的发展,银行票据识别方法基于cnn出现(23- - - - - -25]。在[26),VGG-16网络框架是用于银行注意识别,虽然取得了较好的效果培训大量数据后,模型的计算复杂度大,训练时间太长了。在[27),提出了一种完整的卷积网络提取账单功能,这是非常能干的特征提取,但对图像细节和容易误分类。工作(28)与微分深DenseNet网络使用图像作为网络输入,使训练和验证不容易受到噪音,但训练时间较长。在[29日),但是CNN对纸币识别融合提出了卷积,虽然良好的识别结果,他们的方法和实验没有评估使用一个公共数据库。在[30.),随机森林和神经网络的结合降低了存储空间的手掌静脉识别和分类错误和有很好的性能,但是图片需要重新加工,需要长时间(31日]。

为了获得更好的纸币识别结果,本文改进了ResNet网络首先减少ResNet网络使用深hyperparameterized 8层和卷积(DO-Conv)代替传统的卷积来减少网络计算和提高网络性能。然后,山姆和SE-Block双重关注机制融合注意通道和空间有效地提取图像的详细信息的渠道和空间。最后,标签平滑损失函数应用于叉使分类概率结果更接近正确的分类和进一步提高图像分类的准确性。

3所示。ResNet网络模型

ResNet深CNN架构由微软研究院出版。当训练网络模型,网络越深,越有可能经历梯度和梯度爆炸消失,影响模型的性能(32]。为了解决这个问题,一个残块是用来建立一个直接连接通道,直接绕过了输入信息输出,提高了网络性能。由于这一优势,残余网络广泛应用于图像识别领域。剩余的结构如图1,输入 直接通过两个卷积层获得的输出 ,和 图中残余解决网络的映射函数:


图1
剩余模块。

纹理特征通常用作纸币识别特性。然而,一些不同的个体相似度高的银行券的纹理特征,因此需要更详细的功能区分它们。残余网络可以学习新的特性,而网络性能和参数保持不变,使剩余网络更适合手纸币图像数据库。基于ResNet,网络优化的运行时间和识别精度。

4所示。改进基于ResNet网络

4.1。深Hyperparametric卷积

CNN使用卷积内核提取手银行票据的特点并添加一个额外的深度卷积传统卷积层形成一个深的血钙过多卷积。这种组合构成参数化,这就增加了网络合理的参数,提高提取的纹理特征的质量一方面银行票据,以便网络模型更适合银行票据识别。传统的卷积层如图2。在图中,P是一个二维张量, ,在哪里米代表特征图的空间维度 输入的是渠道的数量特征图。卷积核K是一个三维张量, ,其中 输出的是渠道的数量特征图,和输出卷积操作后 - - - - - -维特征图(33]。


图2
传统的卷积。

与传统的卷积,卷积内核负责一个频道在深卷积,卷积和通道只能由一个卷积内核。在传统的卷积核,每个通道的卷积核是点缀着整个地图。在深卷积,每个输入通道的特性映射P是卷积D信道卷积的内核。因此,每个通道的输入特性图(一个m维特征)是为采用卷积特性,和D被称为深度乘数(34]。如图3,K是一个三维张量,每个输入通道是为采用卷积特性,输出是什么


图3
深度卷积。

深血钙过多深卷积核的卷积是一个组合J和传统的卷积K。深卷积核是第一次卷积与传统卷积核卷积形成新的内核,然后,新的内核是复杂的卷积功能映射来获得最终的功能。

从图4,J和K计算获得 , 。自 是完全相同的大小传统的卷积核,计算工作使用传统的卷积核是一样的。只有当D≥米, 可以执行相同的线性变换吗K在传统的卷积(35]。深血钙过多卷积给网络一种overparameterization,这不仅增加了合理参数和加速网络的训练也提高了提取纹理特征的质量,同时保持原有的计算工作。


图4
深hyperparameterized卷积。
4.2。注意力机制

在本文中,我们使用山姆和SE-Block双重关注机制并将它们添加到ResNet网络,从而进一步提高网络的能力来提取银行券的更深层次的详细特征通道和空间域。与原来的注意机制的卷积模块,山姆和SE-Block双重关注机制使用一个全局池层而不是最大池层和平均池层压缩特性,可以避免过度参数的模块和损失,因此,实现准确的预测。图5显示的结构改善注意力机制。


图5
双重关注机制的结构。

一个线性整流功能(ReLU) [36)层,和乙状结肠函数生成频道使用参数权重的特性 ,是

空间注意力地图是通过一个3×3标准卷积层 :

获得了新的剩余模块通过将改进的注意机制在剩余模块和取代ReLU SELU放大微小的变化。剩余的结构模块与注意力机制如图6。


图6
改善剩余模块。
4.3。叉损失函数

为了解决过度自信的问题,本文对熵函数执行标签平滑。

label-smoothed叉(LSCE)损失函数是作为制定

使用标签平滑熵函数本质上是添加一个平滑因子ε。使用标签平滑后的熵函数 在哪里 表示真正的结果; 表示预测的结果;N是银行券的数量分类。从方程(9),可以看出标签平滑使之间的差异最大的平均预测和其他银行注意分类流畅,可用于网络,防止过度拟合和提高网络的预测和泛化能力。

在这篇文章中,我们完善的特点,网络模型小类之间的差异的银行票据和很多微妙的特性。改进后的残余网络结构如图7,这与传统的网络模型相比具有明显的优势。首先,网络的层数减少到8,这减少了模型参数和运行时间,和DO-Conv的使用可以提高网络的质量一方面银行券的提取纹理特征。最后,叉标签平滑的函数是用来解决问题的过分自信,有效区分手纸币图像的相似度高,这也进一步提高了识别精度。


图7
改善残余网络。

5。实验

摘要实验训练和测试文本检测和文本识别,分别。所有的实验都进行软膏18.04系统8线程corei7 - 7700 k的CPU @4.2 GHZ硬件配置,32 G的内存,和GTX1080ti显卡。

我们使用公共银行券数据集(25,28),其样本图像如图8。


图8
样品不同的银行券。

本文使用的数据包含100近10个不同类型的业务账单的图片。图像的像素大小各不相同,从1500年1000×2000×3000。根据图片中的人物,人物在商业票据可以分为两类:印刷字符和打印的字符。打印字符包括标题、项目区域类型描述字符,等等。

5.1。文本检测实验

在模型训练过程中,我们的长度判断收敛速度模型训练和模型的收敛效果的最终值损失。我们随机将标记100个图像划分为训练集和测试集的8:2。输入图像缩放大小一致,图像的长边是小于或等于1800,短边是小于或等于1500(至少其中一个是等于和保持原始图像的纵横比)。Faster-RCNN,我们的目标探测模型训练集上的调整。如果识别字符框的交集的比率和明显的矩形框连接大于0.5,检测被认为是真实的。

我们使用平均精度(美联社)作为评价指标在我们的测试阶段。期间产生的损失曲线模型训练如图9。


图9
文本检测培训损失曲线。

相比与原锚架规模R-CNN更快,我们重新设计了9个不同尺度的锚框架基于文本的区域分布的统计训练集。结果表1表明我们的新锚架天平非常有效地提高检测效果。

表1
实验结果的文本检测。

从表1,我们可以看到ROIAlign改善美联社8百分比与ROIPool相比,显示ROIAlign特征提取的有效性策略。

5.2。文字识别实验

汉字的字典包含5990个字符,标点符号,英文和数字(语料库词频统计,全半角合并),并且每个样品固定在10个字符。每个样本都是固定的,10个字符,字符是随机拦截从语料库中的句子,和图像的分辨率统一280×32。

亚当(自适应时刻估计)优化算法(37)是使用一个初始的学习速率为0.001,批处理大小为256,100年000次迭代,学习速率调整到0.000在70000年01th迭代。

为了更好地验证蒸发器的性能,我们进行了几组对比实验用蒸发器和LSTM CRNN模型,分别。图10显示了不同模型的精度曲线验证设置,和表2显示了不同模型的实验结果的比较验证组训练后。双层模型的准确性略有改善,但识别时间也会增加。使用蒸发器的实验结果表明,该模型可以有效地减少识别时间不牺牲精度LSTM相比。


图10
验证组识别精度曲线。
表2
实验结果在蒸发器/ LSTM验证集。

测试集的文本图像识别使用236法案,从现场测试集的一部分图像的文本检测数据集。表3显示字段识别准确性,单字原图识别精度,平均识别时间不同的模型在测试集上。结果表3表明,蒸发器的使用而不是LSTM可以有效地减少识别时间不牺牲准确性。

表3
实验结果在蒸发器/ LSTM验证集。

6。结论

解决困难在纸币识别中,本文利用DO-Conv改善网络的性能,而不是传统的基于ResNet卷积网络,使提取的质量特性不增加计算复杂度。其次,注意机制是提高提取的详细功能介绍银行乐器的通道和空间域图像。最后,标签的熵函数平滑作为损失函数来解决过度自信问题,提高分类的准确性。实验结果表明,改进后的网络的识别精度为99.4919%,这是一个提高3.4553%与基础网络相比,证明了改进模型的有效性。在未来的工作中,我们将进行深入研究攻击检测和软件和硬件优化。

数据可用性

本文中使用的数据集可从相应的作者。

的利益冲突

作者宣称没有利益冲突的这方面的工作。