文摘
准确的检测和识别各种各样的水果和蔬菜通过使用人工智能(AI)的方法永远是一个具有挑战性的任务由于相似性等各类水果和具有挑战性的环境照明和背景变化。因此,开发和探索一个专家系统自动果实的识别变得越来越重要在许多成功的方法;然而,这种技术还远未成熟。深上优于模型已成为最先进的图像分割和分类的技术和有很多的承诺在农业等具有挑战性的领域,在那里他们可以处理大变化数据比经典计算机视觉方法。在这项研究中,我们提出了一个基于深度学习框架自动检测和识别水果和蔬菜与艰难的现实场景。该方法可能有助于鉴别和区分水果商贩各种水果和蔬菜有相似之处。该方法应用深刻卷积神经网络(DCNN)事业区分天然水果图像的吉尔吉特-伯尔蒂斯坦(GB)地区这一领域以水果而闻名的生产在巴基斯坦以及世界上。实验结果表明,该建议深度学习算法自动识别的有效能力96%的水果和高精度。这高精度展览,该方法可以满足世界的应用程序的要求。
1。介绍
我们生活在一个时代,我们仍然使用条形码技术在水果商店和超市水果价格和回溯等其他信息来源。店主记得这是一个巨大的挑战和管理个人水果类别的条形码。基于机器学习算法的目标检测和识别取得了很大关注1]。水果和蔬菜水果商店和超市包装在小盒子里,然后使用条形码来确定其价格。然而,大多数的客户更愿意选择他们的水果而非预先包装的。历史上的水果识别系统为购物中心,中et al . (Bolle2)的研究人员发明了一种简单的水果识别系统加入规模和形象系统的组成。卷积神经网络(CNN)是一种神经网络,它可以用来使机器能够想象事物和执行一个任务,如图像的分类和识别3]。CNN可以输入图像,处理它们,某些分类进行分类。图像处理使用cnn作为最常见的一种深度学习技术(4]。Nuske et al。5)提出了一个视觉在葡萄园葡萄产量估计检测方法。作者使用视觉纹理和形状贝瑞检测。收益率的方法校准贝瑞计数各个葡萄园行和预测在9.8%的重量与实际作物。Everingham et al。6)提供了一个审查的视觉对象类(VOC)从2008年到2012年的挑战。他们介绍了一些算法的数据集VOC以及评价指标来分析其性能。歌等。7)提出了一个自动的方法,将多个图像识别和计数的不同颜色和复杂形状的水果。Zitnick和美元(8)提出了一个simple-box-object得分来衡量现有的边的数量框-成员和重叠边缘的边界框。Kapach et al。9]提供了一个全面审查的最先进的解决方案用于机器视觉获取机器人。山本et al。10)开发了一种方法使用传统的数字RGB相机随着机器学习正确地检测不同水果的完整的番茄,包括不成熟,成熟,和年轻的水果。这个方法测试图像的水果检测结果给召回0.80和0.88的精度。Girshick [11介绍基于区域)提出了一种快速卷积神经网络快速R-CNN)目标检测的方法。快速R-CNN可以训练深VGG-16网络R-CNN九倍。王等人。12)建立了一个计算机视觉系统快速、自动、准确检测和注册苹果从连续的输入图像。减少自然照明的方差,它与人工控制照明在夜间。之前的一些工作(13,14)讨论水果识别系统的问题和挑战,也提出了水果识别基于深度学习算法。米娅et al。15)进行了计算机视觉方法深入探索识别罕见的孟加拉国当地水果。这些地方的水果进行分类使用捕获的图像的特征提取。之前的一些研究[16- - - - - -18)使用基于迁移学习方法降低水果识别任务参数的数量和成本计算的训练过程。目标数据集很小,与基础训练数据集。
之前大多数现有的水果检测和识别算法使用传统方法提取基本特性,比如颜色,大小,坐标,他们的需求和目标图像和纹理。他们有一些薄片等检测水果与不同的背景图片。本文的主要贡献可以突出显示如下:(1)我们提出了一个简单、高效的深度学习框架,用于水果和蔬菜的自动识别(2)本文的另一个贡献是,我们建立了一个水果图像数据库有20个不同的类别组成的10000张照片(3)该方法实现了精度这意味着该方法可用于实际的应用,如水果的商店和超市吗
2。方法
在这项研究中,我们提出了一个简单、高效的水果和蔬菜的检测和使用深卷积神经网络分类算法。本文的主要目的是应用深度学习与数据扩展技术不同类别的水果和蔬菜。深层神经网络输入没有任何预处理。我们提出了一个简单而有效的机器学习框架,只有三个卷积层和两层完全连接。该方法可以学习最好的特性从一个大输入图像数据集没有任何预处理。图像数据集各种现实世界的场景已经被用于测试该网络的性能。根据实验结果,提出了实现高精确度的方法。该方法的详细架构一直在讨论部分2。1。
2.1。提出深度学习框架的体系结构
拟议的深度学习取决于神经网络模型。神经网络模型的主要优势是学习通过观察类似事件(事件并做出决定19,20.]。一个卷积神经网络模型是一种神经网络模型。然而,选择一个卷积神经网络框架为特定任务不是一件容易的工作。在我们建议的框架中,第一阶段是与max-pooling深卷积神经网络组成的。split-and-merge算法用于删除每个图像的背景。
我们使用的真彩色图像的大小 作为输入到模型中。最初的图像RGB格式;然后,我们把图像转化为灰度。之后,我们为图像模型进行进一步的处理。卷积池层提取特征图的 当地接受域卷积(内核)和1像素的步幅,max-pooling操作在一个紧随其后 在我们提出的模型。卷积层和也使用 卷积核,导致特性矩阵,和所有其他参数保持不变。在我们的网络中,我们使用ReLU激活函数,因为它多次训练神经网络速度没有显著的泛化精度。经过几次卷积和max-pooling层中,我们使用一个完全连接层。SoftMax神经元对应的20个不同种类的水果和蔬菜。提出的主要业务网络如图1。
每一个事先的基础是建立在卷积,池、采样、分类,所以了解这些过程回旋网的发展有着深刻的理解是至关重要的。这些行动将在下面详细解释。
2.2。卷积的层
卷积函数事先从输入图像中提取特征,产生特征图的输出。作为我们的基础模型,我们使用三个卷积层 纳税人。一个 卷积的内核也测试了,但最好的结果是通过一个3×3卷积内核。地图的特性产生的输出。地图的图层1的输出特性是如图2。
2.3。修正线性单元(ReLU)
我们在提出ReLU用作一个激活函数深度学习框架。使用ReLU作为活动的主要目的是引入非线性,也为了减少消失梯度问题并接受模型快速学习和表现的更好。
2.4。汇聚层
一个 窗口平均池的大小 使用地图和纠正的最高价值功能。可以减少网络中节点的数量,通过使用平均池层。众所周知,池平均减少了参数的数量和扩大相关领域。
2.5。完全连接层
提出网络变换的卷积模块的输入特性映射到一个维特征向量。在该网络中,我们使用两层完全连接。完全连接和Softmax层用于构造线性分类模块位于网络的输出。
2.6。辍学层
在该方法中,我们使用一个辍学0.3层的速度。使用辍学层的目的是为了避免模型过度拟合问题,这可能会经常发生在深度和机器学习模型函数太紧密地结合起来,一组有限的数据点。
3所示。数据收集
这个分析中使用的数据库图像的水果接管两个月。所有的图片的分辨率 像素高清罗技摄像头。我们遇到各种各样的挑战时收集这个数据库,包括光,黑暗,阳光,带来变化,照明变化、摄像机捕获的工件,和阴影。split-and-merge算法用于删除每个图像的背景。使我们的模型健壮,我们需要处理光照变化,捕捉构件,镜面反射阴影,阴影在实际识别场景在超市和水果商店。在所有情况下,我们检查我们的模型的鲁棒性,它表现非常优秀。这是保存在RGB颜色空间,每通道8位。图片为同一类别在不同时期和天。这增强了数据集的不确定性,使场景更现实。有很多品种的质量和照明图像。果数据聚集在一个不受限制的合理设置。 There are also images taken by moving the weight machine near to the windows and then capturing the images by opening and closing the window curtains. The individual number of training samples that we have used to train our proposed model are listed in Table1。
样本数据与不同的环境变化如表所示2。同一组的图像拍摄在不同的设置,包括白天和黑夜。分类器的识别精度受到一些水果有相同的颜色和大小。大量数据需要完全理解深刻的学习算法。当数据集小,深度学习算法不能很好地工作。卷积神经网络可以被训练识别水果使用我们现有的数据。
4所示。仿真结果
广泛的实验进行了评估拟议的网络性能在不同的场景,如闪电和姿势变化的挑战。正如我们知道,选择一个CNN架构实时目标识别和识别是一项艰难的任务,因为准确的层数,层,利用神经元的数量在每一层都是很难确定的,在本文中,我们检查了不同网络架构来找到最好的一个。在网络训练期间,我们时代的数量设置为20。如培训和确认损失曲线所示,培训损失减少通过增加数量的时代,如图3和4。后重复几个试验等不同的过度拟合策略添加辍学层,使用数据,使用结构,推广,和调整hyperparameters,两个得到了显著改善。在数据显示3和4,第一个测试精度大大提高96%,20世纪,和过度拟合的问题是消除。
5。混淆矩阵
混淆矩阵,我们都知道,是一个 矩阵用于分析网络性能的一个分类模型,输出类的数目。这为我们提供了一个全面的照片我们的分类框架如何执行和错误的类型。矩阵比较实际的目标值与我们提出预测的深度学习框架。在我们的不确定性矩阵,X设在标签而显示了水果Y设在显示了水果的实际标签,而对角元素显示了该模型正确的预测。不确定性矩阵的对角线值越高,越高对预测由我们提出的模型。图5显示模型的混淆矩阵对角元素的分类结果显示正确的预测。
测试图像的识别概率,以及各自的识别利率对于每个水果类,我们的分类报告在表所示3。计算精度真阳性的数量除以假阳性的数量,TP和FP真阳性和假阳性的数量,分别。召回实际上告诉我们有多少实际的阳性病例提出的模型能够预测正确。分类器来定位所有阳性样品的能力被称为回忆。类出现在游戏的次数称为支持。
5.1。精度
精度也被称为积极的预测价值。精度是积极的类的数量预测,属于积极的类: 精密= 0.96。
5.2。回忆
精度和召回是结合两个数字来评估分类或信息检索系统的性能。检索实例的分数在所有相关的实例被称为回忆,也称为灵敏度:
5.3。F1-Score
它也被称为一个f值或者一个F-measure。具体来说,F1-score反映之间的适当平衡精度和召回:
6。比较与其他先进的方法
我们比较我们的结果最近的深层神经网络方法。侯赛因et al。13,14)提出了一些先进的算法。提出的算法实现了99%的精度识别水果。然而,这些方法未能发现水果具有不同背景的图像。因为作者利用图像与背景在训练模型和他们不使用形态学技术去除背景,所以模型未能发现具有不同背景的图像。我们的方法可以检测和识别水果图像与不同背景与众多的照明条件。该方法实现了精度为不同类别的水果。
7所示。结论
在本文中,我们提出了一个简单、高效的机器和深度上优于框架等具有挑战性的环境中检测和识别水果灯光和背景的变化。在不同的情况下,该方法能够轻松识别水果图片。我们在数据集包括所有真实世界的挑战来提高该方法的鲁棒性。因此,我们建议的方法显著提高识别速度和可能适合实际应用。我们在图像数据集测试网络的性能,发现它有一个检测精度为96%。我们比较我们的结果基于一些最近提议的深入学习算法,发现之前我们提出的方法优于现有的方法在各种环境挑战。该算法的局限性之一是,该方法不执行在模型训练的场景,一个数据集,然后在另一个数据集进行测试。在未来的工作中,我们想扩大我们的数据集,包括大量水果和蔬菜的种类和也想调查源-目标域不匹配的问题。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究受到了研究者支持项目(RSP2022R476),沙特国王大学,利雅得,沙特阿拉伯。