花的端到端检测基于YOLOv4使用移动设备

文摘

摘要小说花anchor-based检测应用程序的方法,提出了结合注意机制在智能检测花花园AIoT更准确和快速。虽然许多研究人员重视花分类在现有的研究中,花检测在很大程度上被忽视的问题。我们列出了主要处理的问题研究的一个新的设计和花检测中的应用。首先,一个新的端到端花检测anchor-based方法插入网络的体系结构使它更宝贵的和快速的和损失函数和注意力机制引入我们的模型抑制不重要的功能。其次,我们的花检测算法可以集成到移动设备。显示我们花检测方法是非常可观的通过一系列的调查。检测精度的方法是类似于最先进的,在同一时间和检测速度更快。它使花卉在计算机视觉检测的主要贡献。

1。介绍

近年来,花卉的分类和检测已经相当兴趣的计算机视觉社区可应用于AIoT聪明的花园。聪明的花园的花可以自动设计和建议使它更美丽。以前的工作主要集中在花分类(1- - - - - -5)使用传统检测器和方法(6,7]。虽然已经成为一个趋势花分类和基于深度学习anchor-based检测方法,花检测是很少关注。在大多数的研究深度学习anchor-based花检测的方法可以分为两大类,二级目标检测(8- - - - - -10和单程对象检测11- - - - - -14]。

1.1。花的分类和基于深度学习两级检测方法

我们都知道,花检测已成为一个热点话题在对象检测自卷积神经网络在2012年世界重生。和主流花检测分为两类,单程检测器方法和两阶段检测器方法,基于锚定方法。锚的本质是候选人盒,设计不同尺度和比例,款进行分类。积极的锚可以学习如何返回到正确的地方,它扮演了一个角色,类似于滑动窗口机制在传统检测算法。近年来,许多研究人员执行花朵和水果的分类和基于卷积神经网络(CNN)的检测方法(15- - - - - -18),这是一种前馈神经网络卷积计算包含和深层结构。它是代表深度学习中常用的算法。2014年,CNN特色Girshick等人提出了一个地区(RCNN)第二级对象检测(RCNN)。在2015年,他们提出了快速RCNN,这使我们能够训练检测器和边界框回归量在相同的网络配置。基于这些模型,2015年任等人宣称更快RCNN探测器,这是第一个端到端和近实时深度学习检测器(RCNN更快),建议检测,特征提取,边界框回归等等已经逐渐融入一个统一的端到端RCNN快学习框架。因此,许多研究人员应用在花和各种各样的水果检测包括各种各样的水果如芒果、杏仁、和苹果19- - - - - -22]。

已经取得了很大的进步在花检测基于两阶段方法精度高。然而,认为需要增加的速度。

1.2。花的分类和基于深度学习单程的检测方法

克服上述局限,考虑运行时间的速度,另一个单程花检测方法是证明。Redmon等人在2015年展示了YOLO单程意思探测器,将图像划分为几个区域,每个区域的边界框和概率预测。它具有检测速度快,有助于处理实时流媒体视频。与其他算法相比,如两级检测方法,它有一半尽可能多的假背景的获取上下文信息有效和强大的多功能性和泛化能力。然后,Redmon等人进行了一系列改进基于YOLO[意思12),包括YOLOv2 [13]和YOLOv3 [11),相同的精度两阶段检测器在更高的速度。在YOLOv2速度比其他检测系统在各种监测数据集,除了速度和准确度之间的权衡。众所周知,提高召回和定位精度在YOLOv2关注,同时保持分类精度。然而,在YOLOv3,保持速度优势的前提下,提高预测精度;尤其是小物体的识别能力加强。调整网络结构和多尺度特性检测方法和softmax用于对象分类才是最重要的。因此,许多人都努力执行花和水果检测这些算法的基础上YOLO检测方法(意思23- - - - - -25]。而其检测速度已经大大提高了与两阶段检测器相比,它的定位精度降低,尤其是对一些小型对象。为了克服这些限制,刘等人在2015年提出一枪MultiBox检测器(SSD)提高精度,尤其是小对象。SSD的主要贡献是引入多和多分辨率探测技术来执行检测只能在它的顶层。很多水果和花检测方法是基于SSD (26,27),取得了极大的成功。

虽然已经取得了很大的进步在单程花检测和近年来已成为一种趋势,然而,获得丰富的图像信息和增强精度仍然是一个挑战。大部分的研究都集中在精度和速度;然而,很少有研究考虑对象的准确性提出速度检测。因此强调精度应符合探测器的速度在我们的方法。总之,花检测是基于单程工作方法;精度仍然是增强一点。

尽管当前anchor-based深度学习花检测方法工作得很好,他们仍然受到以下六个问题:(1)由于花朵的形状不规则,边界框覆盖大量的nonflower地区,造成很大的干扰。(2)锚的设置需要手工设计,和不同的需要设计不同的花的数据集,这是很麻烦的,不符合款的设计理念。(3)锚的匹配机制使得extreme scale的频率(非常大和非常小的对象)来匹配低于中等大小的物体。是不容易学好这些极端花样品款当学习。(4)大量的锚造成严重失衡。花(5)的未标记的数据集,它只可以训练花分类模型,它不能执行花在移动设备和AIoT检测。(6)标签数据集花消耗大量的时间和力量,因此大部分的人员无法注意花检测可应用于移动设备和AIoT。

为了克服上述局限,一个新对象检测方法基于新的anchor-based方法和new-labelled花采用数据集。获得更多的有用的信息和宝贵的图像中对象的位置,萨姆是利用注意力机制,地图频道关注模块的输出特性是作为这个模块的输入特性图。在我们的论文,我们可以把山姆注意机制应用到渠道和空间维度,它可以嵌入在大多数当前的主流网络和可以提高网络模型的特征提取能力没有显著增加的计算量和参数。基线数据集的数据集是牛津大学102年花,我们有标记数据集所有类别和所有标签和几何位置执行花在智能检测和其他植物检测花园。骨干网是CSPDarnet53网络,它被设计用来解决的以前的工作在推理过程中需要大量的计算从网络结构的角度。同时,SSP块添加在CSPDarknet53显著增加验收,提取最重要的上下文特征,并没有减缓网络运营。我们的贡献总结如下:(我)我们现在花检测方法,一个端到端的深卷积神经网络在AIoT花检测应用于智能花园。我们应用是CSPDarnet53网络的骨干网络,可以减少计算时确保准确性的梯度变化集成到特征图。和花的运行时间检测在我们使用的架构是最快最先进的模型与其他模型相比,尤其是集成到移动设备。为了提取最重要的上下文特征,也增加了接受,SSP块添加在骨干网网络运营。此外,萨姆是用来选择注意机制更为重要的信息从许多当前任务目标信息(2)我们贴上牛津102花与注释数据集包含102类别的花朵一般在英国,与每个类别包含40到258图片,总共8189张图片执行花检测。我们都知道,以前的工作很重视这个花与未经分类数据集。在我们的工作,花检测重视与注释花数据集可以训练我们的架构。也,花检测我们提出可以集成到移动设备,使其方便操作在一个聪明的花园,可以应用于插花,花卉园艺。更重要的是,它不仅可以提高用户的人机交互体验的插花,但节省时间和成本的园艺家。它已经初步意识到AIoT漂亮的花园的概念

本文组织如下。部分2描述了材料和方法在我们的论文包括网络架构和我们标签的数据集。部分3描述我们的结果和讨论。节中我们得出结论4。

2。材料和方法

花检测系统的体系结构如图所示1,当花朵图片是通过移动设备基于5 g网络意味着互联网的一切;它通过我们的骨干网,颈部模块SPP和潘YOLOv3头的模块。最后,花图片可以获得的结果可应用于AIoT漂亮的花园。

2.1。网络体系结构

我们的网络的体系结构如表所示1,我们利用的骨干网是CSPdarknet53网络,结合CSPNet [28)和darknet53。CSPNet旨在解决以前的工作在推理过程中,需要大量的计算从网络结构的角度。认为高的问题造成的推理计算梯度信息网络优化而CSPNet可以减少重复计算时确保准确性的梯度变化集成到特征图。它不仅可以提高CNN学习能力还可以减少计算瓶颈和轻量级内存成本,同时保持精度。这是一个利用ResNET想法供参考和残渣模块添加到Darknet53网络可以帮助解决深层网络梯度问题。两个卷积层和一个快捷方式连接每个残留模块中包含有几个重复中残留的模块层。池层和完整的连接层没有参与架构;网络欠采样是通过设置步幅卷积的2。通过这个卷积层后,图像的大小将减少一半。卷积、BN和漏Relu包含在每一个卷积层,和一个后补零添加每个剩余模块。

是研究CSPDarkNet53在目标检测的优势,更好的为骨干的测试模型。在CSPDarknet53 CSPDarknet53的参数图像分类是27.6米,比其他的神经网络,并接受域的大小也比神经网络更大。所以这是一个非常合适的骨干花为我们提出了检测方法。

此外,SSP块连接到CSPDarknet53骨干网络,它可以生成一个输出固定大小不管输入大小和可以使用不同尺寸的相同的图像作为输入池长度相同的特性。SPP放在最后卷积层时,它没有对网络结构的影响,取代原池层。不仅可以用于检测图像分类也为对象。当SSP块CSPDarknet53利用,它显著增加验收,提取最重要的上下文特征,并没有减缓网络运营。

此外,PANET [29日在YOLOv3)是用来代替红外系统参数聚合方法不同的骨水平不同的检测器的水平。增强自下而上的路径,旨在促进了信息的流动,有助于缩短路径的信息,提高特征金字塔,并准确定位信号出现在低水平来增强整体功能水平。PANET发达自适应网格功能池连接特性的所有功能层,使有用的信息从每个功能层直接传播提出了下面的子网。

YOLOv3 [11)是利用头部的架构,这是一个anchor-based检测模型。剩余网络结构是用来参考形成更深层次的网络级和多尺度检测YOLOv3模型中,可以改善地图和小目标检测效果。

2.2。花的数据集

如图2102年牛津花数据集是一种常见的数据集用于研究和实验在植物领域。它包含102个类别的鲜花共同在英国,与每个类别包含40到258图片,总共8189张图片。大比例,手势,和光线变化的图像可以用于图像分类的研究。然而,它不能用于花检测时在AIoT智能花园。此外,花未标记的数据集不能应用在移动设备和其他智能设备。

牛津102花在我们的工作中,数据集的标签不仅包含花分类执行检测中利用智能AIoT花园。如图3,花标签数据集可以导致所有的花,植物,和水果检测研究中,特别是在自然环境中完成。数据集由专业数据注释器标签分类花数据集可以导致花检测模型的准确性和更容易花进行实时检测。

更多的培训数据会导致一个更合理的模型。如果有数据量有限,它可以利用数据增加增加训练样本的多样性,以增强模型的鲁棒性,避免过度拟合,提高模型的泛化能力。常用的方法包括翻转、旋转,转变,调整大小,随机作物或垫,颜色抖动和噪音。在我们的数据集,数据增强也用来提高我们的模型。

2.3。损失函数

在我们的工作中,损失函数DIoU损失是我们使用的损失函数,这是可行的直接减少锚之间的归一化距离坐标系和目标坐标系实现更快的收敛速度和更准确和更快的重叠,甚至包括与目标框时回归。

DIoU损失是借据(十字路口在联盟)的基础上,考虑到信息中心的边界框的距离。它可以定义如下的定义,公式(1),目标框和吗是预测盒子。和借据的损失函数被定义为公式(2);结果表明,它的工作原理,如果边界框重叠;没有重叠,如果不改变梯度。

因此,GIoU可以改善借据的损失的情况下,不改变梯度不重叠边界框,它添加了一个惩罚项的基础上借据的损失函数。它被定义为下面的公式(3)。额外的参数在公式表示的最小边界框,可以覆盖和 。然而,如果一个人的或覆盖另一个盒子,惩罚项不能工作,这可以被视为一个借据的损失。

解决的局限性,介绍了DIoU可定义为公式(4), , 代表了锚的中心点坐标系和目标坐标系,分别是两个中心之间的欧氏距离。同时,代表的最小矩形的对角线距离可以同时覆盖锚和目标框。更重要的是,锚箱之间的归一化距离和目标框是DIoU建模。DIoU的损失函数可以定义为公式(5)。

此外,意识也提出我们的损失函数。意识损失函数有几个优点:(1)它可以增加之间的重叠区域地面真理盒和预测盒。(2)它可以最小化中心点之间的距离。(3)它可以保持定量框架高度一致。

意识可以定义为公式(6根据公式()4),代表了一个积极的平衡和定义在公式(7)测量的一致性比例补充道。

意识的损失函数可以定义为公式(8),权衡参数可以定义在公式(9)。

在我们的工作中,DIoU损失函数可以应用在NMS (Nonmaximum抑制)删除冗余检测盒。不仅重叠区域被认为是检测框之间的距离,和目标的中心点盒是考虑,可有效避免上述两个功能损失的错误。

2.4。激活函数

激活函数是一个函数运行在神经元的神经网络,负责神经元的输入到输出的映射。它的功能是提高神经网络模型的非线性变化。在图4米什激活函数和比较不同的常用的激活函数显示,原始图可以被发现在米什30.]。

在我们的架构中,米什(30.)激活函数是我们利用的激活函数,它取代了漏水的Relu这是一个非常小的常数泄漏,包含的改进功能与米什Relu YOLOv3 [11]。漏水的Relu self-regular非单调的神经激活函数和一个光滑激活函数允许更好的信息到神经网络获得更好的精度和泛化。它可以被定义为公式(10在公式(),10),结果表明, 。

它比漂亮的(更精确的和珍贵的31日)定义为公式(12)和Relu [32)定义为公式(11)当执行实验。

2.5。注意机制

我们都知道,注意力机制已成为神经网络结构的重要组成部分,有大量的应用在自然语言处理等领域,统计学习,和计算机视觉领域的人工智能。深度学习的注意机制是类似于人类本质上的选择性视觉注意机制。核心目标是选择更重要的信息当前任务目标从众多的信息。

SE (33)和萨姆(34模型是常用的注意机制在深度学习网络。SE模型的目的是调整功能层的通道,只注意通道水平会有反馈能力更强,但不能反映“关注”的意义在空间维度上,而山姆是地图的输出特性的频道关注模块,这个模块的输入特性映射更适应我们的架构,因为它节省了大量的计算资源。在我们的工作中,修改山姆已经使用,如图所示5。看到spacewise注意力是用来代替逐点的关注。此外,潘被替换为串联连接。

3所示。结果与讨论

我们描述我们的花的结果检测图6,这显示了花的结果检测包含添加到每个类别类别和程度的信心。信心水平是98%,98%,94%,和84%,分别测试结果,达到了预期的效果。是证明花检测可以实现在一个高标准的精度与速度。我们使用的GPU 2泰坦Xp。相机在一个移动设备的基本要求是基于华为P20 Pro,处理器是HiSilicon麒麟970。AIoT应用于智能花园时,基本的移动网络依赖5 g网络,这是一个高速、低延迟、低功率消耗和无所不在的网络。

4所示。结论

总之,似乎花检测基于最先进的方法是非常可观的。虽然被广泛接受,但由于花中有一些限制检测算法并没有被完全集成到移动设备来执行我们花的最终应用程序的结果检测来提高用户的人机交互体验在一个聪明的花园结合虚拟现实。这是一个倾向于花检测提出了我们的论文与虚拟现实相结合。在一个聪明的花园,可以意识到花可以安排智能不仅仅取决于人们在智能手机或其他移动设备。此外,智能园艺可以成真,可以减少人力和财务成本,它只依赖于人机交互。在未来的工作中,我们将支付重视它在我们未来的工作来完成这个目标。

数据可用性

我们使用的数据是可用的,这是叫牛津102花的一部分,他们可以访问和下载执行花分类研究和其他的实验。在我们的工作,我们的数据集是用注释标记基于这个数据集。所以用注释的一部分是可用的通讯作者要求(8528750 @qq.com)。

的利益冲突

作者宣称没有利益冲突的有关这项工作的研究和出版。

确认

我们的工作是由中国国家自然科学基金,项目没有。:61503082,项目名称:研究大规模本体匹配的基于进化算法。

引用

1. 公元Aggelopoulou, d . Bochtis s Fountas k.c.情郎,t . a . Gemtos gdp nano,“产量预测基于图像处理在苹果园,”精准农业,12卷,不。3、448 - 456年,2011页。视图:出版商的网站|谷歌学术搜索
2. a .博世a Zisserman x穆尼奥斯,”形象classifification使用随机森林和蕨类植物,”2007年IEEE 11计算机视觉国际会议2007年10月,里约热内卢,巴西,。视图:出版商的网站|谷歌学术搜索
3. 美国Lazebnik、c·施密德和j·庞塞”Beyound袋特征:空间金字塔匹配识别自然场景分类,”2006年IEEE计算机学会计算机视觉与模式识别会议(CVPR 06年)美国,纽约,纽约,2006年6月。视图:出版商的网站|谷歌学术搜索
4. d·劳”独特的形象特征尺度不变的要点,国际计算机视觉杂志》上,60卷,不。2、91 - 110年,2004页。视图:出版商的网站|谷歌学术搜索
5. M.-E。Nilsback和A . Zisserman“花classifification视觉词汇,”2006年IEEE计算机学会计算机视觉与模式识别会议(CVPR 06年),页1447 - 1454,纽约,纽约,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
6. j . Lu w·s·李,h . Gan和x,“不成熟的柑橘类水果检测基于局部二进制模式特性和分层轮廓分析,“生物系统工程卷,171年,第90 - 78页,2018年。视图:出版商的网站|谷歌学术搜索
7. l . Haozhou c . Lipeng m . Longtao g . Zongbin和c . Yongjei”基于k - means聚类识别方法猕猴桃的花,“农业机械化研究杂志》上,42卷,不。2、22日至26日进行的,2020页。视图:谷歌学术搜索
8. 任,k .他、r . Girshick和j .太阳,“快R-CNN:对与地区建议网络实时目标检测,”IEEE模式分析与机器智能,39卷,不。6、2017。视图:出版商的网站|谷歌学术搜索
9. r . Girshick“快速r-cnn。”2015年IEEE计算机视觉(ICCV) IEEE国际会议,2016年。视图:谷歌学术搜索
10. k . x张,他任美国,j .太阳”空间金字塔池深卷积网络视觉识别,”IEEE模式分析与机器智能,37卷,不。9日,第1916 - 1904页,2014年。视图:谷歌学术搜索
11. j . Redmon和a·哈蒂”YOLOv3:增量改进”,2018年,http://arxiv.org/abs/1804.02767。视图:谷歌学术搜索
12. j . Redmon s Divvala r . Girshick,哈蒂,“你只看一次:统一、实时检测,”《IEEE计算机视觉与模式识别会议(CVPR)美国拉斯维加斯,NV, 2016年6月。视图:谷歌学术搜索
13. j . Redmon和a·哈蒂”YOLO9000:更好,更快,更强”2017年IEEE计算机视觉与模式识别会议(CVPR)火奴鲁鲁,嗨,美国,2017年7月。视图:谷歌学术搜索
14. d . w . Liu Anguelov, d . Erhan et al .,“SSD:单发射击multibox探测器,“计算机视觉——2016年大会,2016年。视图:谷歌学术搜索
15. p·a·迪亚斯a泰伯,h . Medeiros”Multispecies水果花检测使用一个精致的语义分割网络,”IEEE机器人和自动化信件,3卷,不。4、3003 - 3010年,2018页。视图:出版商的网站|谷歌学术搜索
16. b . Shree r·b·迪和n s王妃,“水果从图像检测和显示其营养价值使用深亚历克斯网络”软计算和信号处理。智能系统和计算机的进步,第898卷普拉萨德,j . Wang g . Reddy诉,诉Reddy, Eds。施普林格,新加坡,2019年。视图:出版商的网站|谷歌学术搜索
17. k . Bresilla g . d . Perulli a . Boini b . 20 l . c . Grappadelli和l . Manfrini”比较深度学习网络对苹果果实检测到古典硬编码算法,”Acta Horticulturae,卷1279,不。1279年,第216 - 209页,2020年。视图:出版商的网站|谷歌学术搜索
18. 美国Bargoti和j·安德伍德,“图像分割水果检测和产量估算的苹果园,”《机器人技术领域,34卷,不。6,1039 - 1060年,2017页。视图:出版商的网站|谷歌学术搜索
19. 广域网和s . Goudos“快R-CNN多层次水果检测使用一个机器人视觉系统,”计算机网络第107036条,卷。168年,2020年。视图:出版商的网站|谷歌学术搜索
20. j . Lim h·s·安·m·Nejati j·贝尔,h·威廉姆斯和m . d .英航深的基于神经网络的实时猕猴桃花在果园环境检测,2020年。
21. p . Lin w·s·李,y . m . Chen n .佩雷斯和c . Fraisse”一个深层提出可视化表示的架构,以探测草莓花在户外领域,“精准农业,21卷,不。2、387 - 402年,2020页。视图:出版商的网站|谷歌学术搜索
22. 美国Bargoti和j·安德伍德,在“深在果园,水果检测”2017年IEEE机器人与自动化国际会议上)举行(“国际机器人与自动化会议”,页1 - 8,新加坡,新加坡,2017年6月。视图:谷歌学术搜索
23. h . y, g .杨z Wang Wang e·李和z .梁,“苹果检测在不同生长阶段在果园中使用改进的YOLO-V3模型,”计算机和电子产品在农业卷,157年,第426 - 417页,2019年。视图:出版商的网站|谷歌学术搜索
24. a·柯伊拉腊k·b·沃尔什和c·麦卡锡,z . Wang“深度学习实时检测和果园水果水果负载估计:基准测试的“MangoYOLO”,“精准农业,20卷,不。6,1107 - 1135年,2019页。视图:出版商的网站|谷歌学术搜索
25. j .赵和j .曲”的检测方法基于YOLOv2番茄常见的生理疾病,”2019年第10届国际信息技术大会在医学和教育(时候)、青岛,中国,中国,2019年8月。视图:谷歌学术搜索
26. b . h . x Peng黄y y邵et al .,“一般改进SSD模型挑选对象识别多种水果在自然环境中,“中国农业工程学会的事务,34卷,不。16,155 - 162年,2018页。视图:谷歌学术搜索
27. 梁,w·朱,j .长,y, w .太阳,和w·吴”一个实时检测框架基于SSD的树上芒果网络”智能机器人技术与应用国际会议施普林格,可汗,2018年。视图:谷歌学术搜索
28. 彭译葶。王,H.-Y。m·廖中州。吴,P.-Y。陈,J.-W。谢长廷,I.-H。叶,“CSPNet:一个新的支柱,可以提高学习能力的CNN,”《IEEE计算机视觉与模式识别会议研讨会(CVPR车间)美国美国,西雅图,佤邦,2020年6月。视图:谷歌学术搜索
29. s .刘问:陆,h .秦j .史和j .贾“路径聚合网络例如分割,”《IEEE计算机视觉与模式识别会议(CVPR),页8759 - 8768,盐湖城犹他,美国,2018年6月。视图:谷歌学术搜索
30. d . Misra“米什:自我正规化non-monotonic神经激活函数,”2019年,http://arxiv.org/abs/1908.08681v2。视图:谷歌学术搜索
31. p•拉马钱德兰b Zoph,诉勒,“寻找激活功能,”2017年,http://arxiv.org/abs/1710.05941。视图:谷歌学术搜索
32. 诉Nair g·e·辛顿,“修正线性单位提高限制玻耳兹曼机”,807 - 814页。视图:谷歌学术搜索
33. 沈l . j .胡,g .太阳“Squeeze-and-Excitation网络”2018年IEEE / CVF计算机视觉与模式识别会议美国盐湖城,UT, 2018年6月。视图:谷歌学术搜索
34. 美国吸引,J.-Y j .公园。李,i s Kweon“CBAM:卷积块关注模块”。视图:谷歌学术搜索

版权

版权©2020 Zhibin Cheng和泉。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。