文摘

本研究提出了一个智能系统的设计基于深度学习的分级水果。为此,基于最近的残余学习网络“ResNet-50”旨在解决水果,尤其是香蕉变成健康的或有缺陷的类。系统实现的设计通过使用转移学习使用存储知识的深层结构。数据集的香蕉已经收集了深层结构的实现。仿真结果显示一个伟大的设计系统的泛化能力测试时测试(看不见的)香蕉图片和获得精度高99%。设计基于残余学习系统的仿真结果与其他系统的结果用于分级香蕉。比较结果表明设计系统的效率。开发的系统可以用在食品加工行业,在实际的应用程序的准确性,成本,和速度的智能系统将提高生产速度和允许满足消费者的需求。系统可以代替或协助操作员可以发挥他们的能量在选择水果。

1。介绍

在食品行业,加工过的水果的质量是极其重要的。满足消费者的需求和生产高质量的水果以非常快的速度生产线需要的实现高性能技术(1]。此外,食品工业是为数不多的几个领域的限制条件和约束由于其依赖天气条件和劳动力市场2]。例如,如果没有收获的果实在最合适的时间由于天气原因,收获的质量和数量可能减少由于恶劣的天气条件和过度成熟的水果。多年来,在这个行业最工艺流程主要是由操作员控制。一些微妙的任务,比如采后分级的健康和有缺陷的产品是基于人造的决定。操作员有时会接触到眼睛的疲劳由于睡眠不足和疲劳引起的超负荷工作,可以影响他们的表现。水果排序是一个决策的任务是基于一些视觉特性的水果和决定是否一个水果是健康的或有缺陷的时候通过传送带。因此,它是一种可以完全解决计算机视觉问题使用机器学习,可以防止操作员(造成的错误3]。

最近,不同的研究工作已经进行了控制和分级使用计算机视觉和机器学习技术的水果。常见的应用程序分类和排序的水果4,5),识别的水果缺陷6],成熟检测[7),和食品安全评价8]。文献[6)声称,产品应该有一定的重量,尺寸,颜色,和密度以满足质量标准。因此,他们提出了机器视觉系统来控制1 - 10传送带,每秒15水果的最大性能。系统旨在将水果为一组类使用的重量,大小和颜色的水果。提出了系统是基于自动视觉检测在水果和蔬菜使用机器视觉算法和传感器。使用视觉水果开发系统的功能实现色彩处理,重量检测、尺寸测量,和密度检测。作者声称系统性能是令人满意的,因为它是人类的标准相比,并没有观察到显著差异。此外,系统的计算时间也减少到15水果/秒,同时,系统控制2传送带。

近年来,研究工作进行了测定香蕉大小(9],香蕉成熟[10),和排序的健康和不健康的香蕉11]。文献[5]介绍了香蕉的自动分拣系统。系统是基于纹理特征的提取香蕉的使用灰度同现矩阵应用灰度共生矩阵建立()。三个算法反向传播神经网络(摘要),支持向量机(SVM)和径向基函数网络(RBFN)被用于分类的目的。实验结果表明使用SVM分类率最高的100%。然而,RBFN和摘要得分分别为96.25%和98.8%。由于这些研究的实现,系统性能,如生产质量和数量一直在增加。另外,生产过程转向了更快的操作模式。

最近,不同的机器学习算法是求解实现不同的工程和图像处理问题。机器学习,特别是深度学习技术,经历了一次重大发展,大幅改善其性能在不同领域如医学(12,13),农业(14),和食品工程15]。不同的深度学习结构设计以改善他们的表现在问题的解决方案。这些是AlexNet [16与8层),VGG [17与18层),GoogLeNet [1822层。按照时间顺序,上述网络是越来越深。然而,“深入”的结构引起了优化难度的训练网络,即。消失的梯度。因此,该网络的泛化性能的影响。网络的精度变得饱和,迅速退化。为了克服这个问题,剩余的学习培训采用很深的网络(19]。一些研究已经进行使用剩余网络求解不同的工程问题。在文献[20.),深层残留的组合神经网络(ResNet)和低和上界估计提出了预测未来流量以构造预测区间。在文献[21),深层神经网络用于识别六种谷物害虫。介绍了残余网络为了提高卷积模型的设想。文献[22)提出了一种局部二进制残块促进很深残网络可训练的参数。结果表明,使用结构减少至少69.2%可训练的参数。研究[23)提出了一个深卷积神经网络称为作为光学字符识别致密残余网络。研究[24)提出了多种改进的残余网络医学图像的超分辨率重建。残学习或残网络(ResNet)构建特殊构造通过跳过一些联系和跳过一些层。这些ResNet模型基本上是由两到三层连续跳过而不是使用层连接,它被用于其他深纯网络(AlexNet)。跳过层允许避免梯度消失的问题。在这项研究中,我们使用剩余的学习网络参数的优化。这项研究的设计深50层的网络,称为ResNet-50,为了香蕉水果到健康或有缺陷的类别。学习和转移剩余学习应用网络的优化参数和系统的开发。

研究结构如下。部分2介绍了用于分级ReseNet-50香蕉。部分3介绍了数据集和网络的训练过程。部分4介绍了这项研究的结果和讨论。部分5给出了结论。

2。剩余的学习

深层网络多层神经网络结构与多个隐层。深层网络的学习基本上是分层次进行,从低水平更高,通过各层网络(25]。深度学习基于卷积神经网络(cnn)已经广泛应用于各个领域,解决不同的工程问题和显示显著的性能问题解决方案(26- - - - - -32]。如前所述,“深入”的结构引起了优化难度在训练的网络,即。,消失梯度问题,影响网络的性能。在这项研究中,我们提出残余学习要解决这个问题,设计一个深学习结构分级的水果。

图1描绘了一个块ResNet残留。如图,在残余网络,堆放层执行剩余映射通过创建快捷方式连接执行标识映射(x)。他们的输出添加到输出叠加层的残余功能F (x)。

培训期间深使用反向传播网络,的梯度误差计算和传播到浅层。在更深的层次,这个错误变得越来越小,直到最后消失。这被称为梯度消失很深的网络的问题。问题可以解决使用剩余的学习(19)如图1和2。

图2显示了原始残余的部门或单位l在剩余的网络。图中描述了重量、批量标准化(BN),和纠正线性单元(ReLU)。剩余的输入和输出单元计算如下: 在哪里h (x (l))身份映射,F是剩余函数,x_l是输入,W_l是权重系数。标识映射可以写成h (x (l))=x(左)。这个定义ResNet架构的基础。

剩余网络发达的网络有不同的层数,34岁,50岁,101年和152年。在这项研究中,使用了ResNet-50。网络由50层。的34-layer ResNet,通过替换每个双层块3 - layer瓶颈,创造一个50-layer ResNet。

3所示。材料和方法

3.1。数据集

拟议中的ResNet-50深度学习结构申请分类香蕉。该模型重新训练使用两个香蕉香蕉图像数据集,包括健康和有缺陷的。注意,健康意味着香蕉可吃的,可用于水果产业为原料,在缺陷意味着他们恶化,而不是食物。第一个数据库研究中使用来自[5]。数据采集阶段是仔细考虑,使用数码相机捕获的图像,然后转换成可管理的实体。收集图像大小为960×720像素;因此,我们downsampled他们为了适应输入ResNet-50是224×224像素的大小。数据集包含300张图片,其中包括150名健康和150有缺陷的香蕉。第二个数据库还包含300张图片。在这里,健康的香蕉从数据集获得图像水果36032),包括不同的水果类型。只有150名健康香蕉从这个数据集收集图片。然而,类的平均分配,150年的图像缺陷香蕉从网上收集。总的来说,一个数据集包含600张图片,其中包括300名健康和300有缺陷的香蕉图片。

3.2。数据增加

数据增加雇佣为了创建一个更健壮的分类系统和网络的训练期间防止过度拟合。因此,翻译和尺度不变性被转变为了有能力检测香蕉的情况在不同的角度和转变。因此,香蕉的600原始图像旋转角度0°、90°、180°。此外,这些图像也随机翻译水平和垂直两个像素。总的来说,2400图像形成的数据集。注意图像的一半是健康的香蕉,而另一半是有缺陷的。图3显示了一个示例数据库的形成。

3.3。转让ResNet-50学习

在这部作品中,“ResNet-50”模式是使用Matlab重新训练和测试环境。网络模拟在Windows 64位台式电脑的英特尔酷睿i7 4770图形处理单元(GPU)和8 GB随机存取存储器。

学习算法用于训练和测试pretrained模型(ResNet-50)。图像被用于训练的40%,而剩下的60%是用于测试和评估网络的性能。注意,网络被计算评估其训练和测试精度和损失函数使用以下公式: 正确的概率分类图像表示为P (N),n图像的数量,而T代表图像的总数在训练和/或测试阶段。

ResNet是一个很深的网络,当它第一次被使用,它是用于跳过连接方法来减轻消失梯度问题。该模型首次提出2015年ILSVRC竞争的主要突破允许超过150层网络的训练。一个简短的ResNet-50如图的体系结构4。看到,网络由四个阶段不包括第一阶段、每一个卷积和身份。每个卷积和身份块卷积是由3层大小1×1和3×3和1×1曲线玲珑。第一阶段由4个不同层如卷积、批正常化(BN),纠正线性正则化单元(ReLU)和最大池(Max池)。最后,网络平均池层紧随其后的是一个完全连接层和softmax激活函数(多项逻辑回归)。这个输出层有两个神经元为了分类香蕉变成健康的或有缺陷的。同样重要的是,要提到ResNet-50拥有超过2300万可训练的参数。因此,它是一个很好的结构在计算时间方面,采用转移学习。

在这项研究中,学习是为了转移杠杆ResNet-50到另一个分类任务的知识解决香蕉。转移学习ResNet-50可以简单地描述的两个阶段,即:、冻结和微调。在冰冷的阶段,公开的重量和学习参数pretrained模型都是冻结和使用。微调开始通过移除的完全连接层(FC) ResNet-50然后重构三个完全连接层与两个输出在输出层神经元对应于健康和有缺陷的香蕉。我们指出,FC层的权重是发起随机在训练。相反,其余层的权重是冷冻为了作为一个强大的高水平的抽象特征提取器的输入图像,因为他们已经从ImageNet训练数以百万计的图像数据集(33]。

如前所述,网络训练使用只有40%的数据。随机梯度下降法优化方法(34)是用于训练网络的批量大小为每个迭代64张照片。

最小化代价函数,一个初始的学习速率和减少因素完全连接层被设置为0.0001和0.1,分别在训练。选择时代的数量是复杂的,因为它直接与优化在训练。因此,如果时代的数字是高,网络可能overfit和表现不佳。因此,为了避免过度拟合问题,错误和性能率验证图像监控。发现ResNet-50达到最高时代6训练精度和良好的泛化能力。表1表明,网络的训练性能比较好,因为它获得了100%的准确率在很短的时间内(37秒)和少量的时代(6)尽管网络的深度和培训计划(40:60)。

图5显示了网络的训练进展曲线及其相关的损失函数(错误),分别。学习曲线显示与每个时代变化的训练精度。从曲线,可以看出,网络只在时代1的学习很困难,但是一旦它已经过了那个阶段,网络的性能大幅提高,直到它达到100约时代2。网络达到一个非常小的损失,如图5。

4所示。结果与讨论

为了验证提出的可行性转移上优于香蕉排序系统,我们进行实验测试的60%剩余的数据集的图像。这些图片是没有见过的测试图像系统,和这些测试图像的数量超过训练图像。正如前面提到的,学习计划40:60。下表2,ResNet-50有很高的识别率为99%(表2在测试期间)基于公式(2)和(3)。这意味着99%的健康和有缺陷的香蕉是正确的图像分类在测试过程中,随着网络获得了高综合能力测试时60%的看不见的香蕉图片。

图6显示了一些香蕉图片样品用来测试ResNet-50。图7显示了一些分类错误的和正确分类样本异常使用ResNet-50香蕉。看到的是分类错误的图片都是有缺陷的香蕉。所有的健康的香蕉是正确分类。此图显示了正确的网络结果分类有缺陷的香蕉,虽然它没有另一个缺陷(图进行分类7(b))。

我们想象的学习特性不同的卷积和池层是为了看一看里面的网络学习它的深层。图8显示了卷积的学会了内核层1。看到这些学会了过滤器由梯度和不同层次的特点,方向,和边非常有利于香蕉排序的过程。

网络学习检测更高层次和更复杂的功能比卷积检测到第一层。图9显示了激活显示卷积更深的了解内核层。

功能在每一个频道可能会改变取决于他们的激活的力量。在图10,我们将展示最强烈激活通道(图10(b))的一个香蕉图像(图10(一)从同一卷积层图9。注意,每平方的图像(图10(b))是一个激活一个通道的输出卷积层1图9。尽管如此,相对于原始图像(图10()),值得注意的是,这个通道激活在特定的左和右边缘的边缘。右边的通道激活积极和消极黑暗的边缘。

提出了香蕉分级模型的比较与其他相关工作表3。它是最相关的研究,采用图像处理方法和纹理分析区分颜色,强度,边缘,形态学形状。这些都是手工制作的工程机制特征提取的图像,并且耗费时间和有限的人类的约束。另一方面,深入学习网络自动执行此任务在其卷积和汇聚层,使其强大和有效的特征提取器不同概念的抽象层次。因此,它是基于剩余,我们提出了系统学习,也有助于提高网络的性能由于其跳过连接方法,优于其他模型展示在表3。

注意,在训练中使用的数据模型中使用的相同的数据(4,5];然而,我们增加了更多的图像从不同的数据集作为深的网络需要大数量的例子学习比传统的网络。也指出,该网络优于其他网络尽管学习计划训练图像使用低于测试(40:60)。相比之下,更多的培训比测试的例子使用的所有其他相关工作。这演示了剩余的鲁棒性和有效性学习(ResNet-50)香蕉分级任务。

5。结论

这项研究的设计深度学习结构分级香蕉健康或有缺陷的。剩余的学习采用分级系统的设计。系统提出了一个新的深度学习的方法叫跳过连接,导致更大的性能在不同类型的分类和目标检测等任务。在训练和测试,我们得出这样的结论:ResNet-50的很深的网络有能力准确地概括一个香蕉的品位与一个很小的误差。与其他模型相比,这种网络显示了更好的准确性测试看不见的测试数据,尽管其学习计划(40:60),使用更多的培训比测试的图片。这种网络的鲁棒性和重要性分级香蕉图像由于其学习的低和高水平的功能通过其深厚的残块,卷积,和汇聚层。这个深度有助于提取不可思议的特性导致识别率达到更高在训练和测试。这样一个系统的重要性是它迫切需要在食品工业中,由于大需求以非常快的速度要求。这样一个系统应该确定最有效、无误、可靠、准确、灵活的系统在食品工业领域生产。

数据可用性

数据集用于支持本研究的发现可以从下载链接https://figshare.com/articles/dataset/DeepBanana/14230262。

的利益冲突

作者宣称没有利益冲突。