文摘
近年来,Pterois Volitans,也被称为红色的狮子鱼,已成为严重威胁迅速入侵我们沿海水域。作为一个凶猛的捕食者,没有天敌,适应不同的栖息地,和繁殖率高的,红色的狮子鱼已经衰弱的当前的努力来控制人口。本文第一步加强这些努力采用自主车辆。为此,一个水下机器人辅助计划旨在援助矛- - - - - -狩猎潜水者更有效地定位和狩猎狮子鱼。一个小- - - - - -大小,开源ROV与集成相机程序使用深度学习方法实时检测红狮子鱼。潜水被限制到一定深度范围内,时间和空气供给。ROV程序被设计成允许潜水员找到红色的狮子鱼在每次潜水之前,所以他们计划他们的狩猎最大化。轻量级、可移植性、用户- - - - - -界面友好、能源效率和低成本的维护是方案的一些优势。开发系统的性能检查目前入侵地区的红狮子鱼在墨西哥湾。ROV显示成功检测红狮子鱼实时高的信心。
1。介绍
生物入侵可能导致环境破坏和生物多样性的丧失,往往由于人类引起的全球变化(1- - - - - -3]。外来物种的入侵物种,可能严重影响生态系统和栖息地。这些效应可以演变为全球后果(4]。陆地和淡水系统适当的大部分的入侵,同时,在过去的十年中,海洋入侵的速度大大增加,影响生态系统的稳定性,提高生态和经济问题1,5]。总的来说,最近的研究(6)表明,入侵物种对环境和经济成本1200亿美元。在海洋生物中,Pterios volitans(红色狮子鱼)是最侵入性和侵略性物种,只采取了二十年来填充在美国东海岸的很大一部分7- - - - - -9]。
不管红狮子鱼是如何首次引入[10- - - - - -12),快速繁殖率、缺乏重要的捕食者,和广泛的饮食消费让他们严重威胁珊瑚礁和许多其他海洋环境(13- - - - - -16]。作为证据,这一威胁,在图11995年红狮子鱼的传播是与2015年相比。红色的狮子鱼快速增长,达到50厘米3年(16]。小型鱼类和甲壳类动物都是潜在的猎物的红狮子鱼(1,9];他们什么都可以消费,他们可以适应的嘴。由于他们有毒的背、骨盆和肛门刺红狮子鱼是致命的13]人类潜水员[9)和本地掠食动物很快学会避免他们。没有天敌一方面和快速繁殖的能力,也就是大约200万个鸡蛋/女性每年,红色的狮子鱼人口指数增长和国家决议呼吁立即(17]。
意识到这种毁灭性的入侵近年来,科学家们试图找到有效的方法来控制红狮子鱼传播和防止更多损害生态系统(17]。红狮子鱼控制人口的方法之一是狩猎的潜水员配备“动物园”18)和一个“精灵狮子鱼枪工具”(19]。潜水员矛红狮子鱼,然后让他们进入管管理员包含通过单向门,鱼,直到潜水员返回到表面。这个方法并不是由于人数限制的潜水员潜水时间和少量的狩猎可能在每个潜水。潜水员面临许多限制寻找和定位水下红狮子鱼由于显著的深度,气缸容量有限,水下低能见度条件下,温度差异,高压等的快速传播红色狮子鱼呼吁更有效和积极的解决方案的问题(20.,21]。因此,引入辅助技术方案来检测红狮子鱼可以帮助增加每个潜水捕食的有效性。
最近,几个方法来检测鱼在水下被用于不同的目的,如钓鱼、生物研究等。这些方法采用高分辨率声纳扫描或应用方法。然而,sonar-based发现者无法区分鱼物种。找到一个特定的鱼类可以非常具有挑战性的使用可用的技术。用机器人代替人类在严酷的环境下这样的问题(是一种常见的解决方案22]。尽管如此,机器人,水下自动检测对象有挑战。低照明、移动相机随着移动物体,有限的视野,和背景颜色变化由于有机和人工浮动碎片的一些技术细节,添加更多的红狮子鱼检测的复杂度。尽管其中一些挑战已经发表在文献[23),应用在水下条件仍然是具有挑战性的。存在一个广泛的研究离线检测水下的鱼数等不同的目的(24,25)和测量的长度(26]。在[25他们执行检测、跟踪和计数鱼;他们用于检测的方法是一种移动平均算法应用离线记录的视频。在[27]radio-tag系统监测入侵鱼类。林吴et al。28)开发的水下目标检测基于重力梯度,检测对象水下使用重力仪。在[29日)提出了几种方法和实现离线视频分类为目的的鱼。在[30.]深卷积神经网络用于珊瑚分类。秦深学习提出了用于水下图像分析(31日]。在[32)进行的一项调查在使用各种海洋深度学习对象不包括红色的狮子鱼。此外,西迪基et al。33]研究了自动分类系统,有能力识别鱼从水下视频,还研究了自动化方法的可行性和成本效率像深度学习。尽管许多物种中包括(33),与红色的狮子鱼,选定的物种有一个不那么复杂体型如p . porosus和bengalensis。提出了一个基于图像的自动系统在24),用于估计质量的自由游动的鱼。秦et al。34)提出了活鱼识别使用深架构,支持向量机和SoftMax分类比较。类似于(33)的结果(34)是测试鱼类用简单的身体形状,例如,椭圆形或半圆形状和物种体型变量被排除在外。挑战狮子鱼检测是需要不同的手势在不同的性情如违规,保卫,隐藏或正常游泳(1]。换句话说,不像鲑鱼,鲑鱼,金枪鱼,红狮子鱼等,没有一定的体型。最好的作者的知识,可用的水下目标检测方法尚未应用于实时检测红色的狮子鱼。
在这种工作,一个紧凑开源ROV是用来帮助潜水员检测红狮子鱼以更有效的方式。机制的方案如下。ROV拴在电脑上表面接收的视频相机ROV上集成。计算机处理视频帧real-in-time并能检测出红色的狮子鱼。通过prespotting红狮子鱼,潜水员们不需要消耗时间和空气狩猎。
深度学习的能力从高维数据中学习模式特别是图像处理问题使得它对象检测或分类的主要工具近年来在多个应用程序(35]。拟议中的实时红狮子鱼检测方案采用深学习方法在基于matlab的图形用户界面(GUI)的电脑。用户使用操纵杆和调查水下导航而ROV程序实时发送的视频相机。每一帧的视频处理,发现红狮子鱼在屏幕上进行标识。ROV利用惯性测量单元(IMU)报告发现狮子鱼的位置。这一方案提供了一个独特的平台,可用于检测其他的物种。进一步,发现、定位和记录人口红狮子鱼是有用的生物学家确定红狮子鱼传播模式(7]。
本文的其余部分组织如下。部分2概述机器人的规格和导航;也讨论了算法和方法,用于检测红狮子鱼。节3仿真和实际测试结果,提出了挑战。部分的结论4。
2。设计
该辅助系统是由以下子系统:(1)OpenROV机器人,由执行机构,控制董事会,照明系统,相机,和导航系统(2)电脑和图形用户界面(3)红狮子鱼检测系统
设计系统的总体框图如图2,阐述了上述子系统下面。
2.1。OpenROV 2.8
OpenROV 2.8是一个远程机器人潜艇开放获取其操作源代码。尺寸小,重量轻(30×20×15厘米和2.6公斤)可以进行,由单个用户。它到达的最大前进速度2节,这是足以风平浪静的海面,潜水的地方。这个ROV拴在机器人和所有数据通过90米transceived双线式绞合线与100 mbps的吞吐量。Tenda HomePlug和第三方委员会(上部接口板)由OpenROV设计(36)用于以太网转换为二线连接协议。通信信道是描绘在图3。三个700千伏(rpm / v)无刷电机与电子速度控制(ESC)推动ROV在三维空间中移动。数据4和5显示OpenROV布局。
OpenROV 2.8与六3.3 v的电池驱动,持续至少30分钟的冲浪,当充满电。所有的电子产品都是在一个丙烯酸情况下真空安装如图4,在一个内部的底盘。此外,安装相机的最大帧速率30 fps高清720 p的质量。
2.2。用户界面面板(摘要)
提供数据访问和控制,基于matlab的图形用户界面(GUI)编码如图6。对于所有的测试和模拟,程序是运行在一个酷睿i7 PC 16 gb的RAM和NVIDIA GPU GTX 745。
支持开源,ROV众多图书馆访问汽车,照相机等。它们通过套接字。io (37在MATLAB的GUI。一个USB操纵杆的导航是利用ROV更方便。操纵杆能够控制ROV四面八方通过调整推进器的旋转速度。横向推进器推动ROV向前和向后,并提供转矩控制偏航。垂直的推进器推动ROV垂直。此外,该操纵杆可以控制灯光,摄像机记录和相机向上和向下倾斜。一个节点。js (38)服务器上创建和运行BeagleBone黑色ROV上集成。
在图7的沟通过程部署ROV水下被描述。通过这些接口选项,例如,导航,监测电机,控制发光二极管和激光相机倾斜和捕获视频或图像都可以访问。传输数据的默认方法ROV与表面的计算机网络。在这种方法中,所有控制和反馈值使用socket . io ROV与电脑之间传播。换句话说,ROV充当服务器和浏览器的PC是它的客户。能够传输数据不使用一个web浏览器,与节点的Java代码编写。js服务器内部ROV直接且绕过web浏览器减少延迟ROV与摘要之间。然后使用这个Java代码在MATLAB GUI,并提供完整的访问ROV。导航和其他相关的命令是通过套接字发送。io每20毫秒和摄像机图像帧接收每0.8秒。
2.3。目标检测算法
水下探测对象,深入学习(DL)方法。DL利用卷积神经网络对目标检测和分类39]。检测对象的利益,有必要收集这些特定对象的数据库,包括典型的图像。图像包含感兴趣的对象越多,检测将变得更加准确。没有限制的对象的数量被发现感兴趣的除了记忆如果足够的原型是可用的。有几个网上各种数据库对象,例如。,人体人脸在不同的姿势,手势,汽车,等等。但不幸的是,因为红色的狮子鱼是一个特定的物种,没有图像或视频数据库可用。为了解决这个问题,1500个图像聚集来自不同版税免费的在线资源,如ImageNet谷歌和YouTube。同时,作者通过参与促成了数据库潜水旅行在墨西哥湾的花园等不同出没的地区银行国家海洋保护区,人工珊瑚礁海岸的彭萨科拉,FL。
深度学习包括许多级联层,这些层的非线性处理功能用于特征提取和转换。数据库的模式识别semisupervised因为我们介绍感兴趣的对象,这是一个红色的狮子鱼在这种情况下,标签和他们在数据库中。是一种无监督分类算法分类对象的其他对象的兴趣基于定义的标签。数据库使用区域和卷积神经网络训练(R-CNN) [40]。在这个项目中数据库的图像经过15层 曲线玲珑,过滤器被训练使用随机梯度下降法和动力(SDGM) [41]。
MATLAB用于标签的图片。使用MATLAB中的“训练图片标志”应用程序允许我们指定所有矩形roi图像。大多数的图像遭受两个问题,第一个是背景和第二个是要求低质量图像预处理。例如,图8(a)描绘了一个红色的狮子鱼人工礁石旁边,所以准备数据库的图像的亮度图像修改如图8(b)。同时,减少图片的大小,避免其他不必要的对象,虽然背景或前景中的对象,如珊瑚礁和水下残骸,是无法避免的。
cnn有能力建立自己的特性和使用卷积内核转换输入信号,激活功能,集中阶段。增加了非线性激活函数的输入,池阶段减少输入大小和加强学习35]。最后,在最后卷积层特性排序向量和发送到下一层。在训练步骤,数据库包含图片和标签输入CNN。图9显示了CNN的架构,用于检测红狮子鱼。不包括输入层,总共有14层。第一层的输入大小设置 让所有三个渠道,而且预测特性三个卷积层使用。第一次将卷积层大小 。每一个卷积层是一层Maxpooling紧随其后。Maxpooling层被纠正之后线性单元(ReLU)层,这一层被用作阈值操作符(35,42]。
3所示。实验结果
训练网络测试real-in-time与ROV摄像头采集视频从四个人工珊瑚礁海岸的彭萨科拉,佛罗里达,美国。图10在实验显示了网站访问的潜水。为了模拟真实的环境,没有记录的视频样本添加到数据库中。因此,测试程序可以假定为一个真实的情况,因为结果完全捕捉到真实的环境。图11显示了从一个捕获的视频截图。由于藻类,绿色是占主导地位的颜色在这个视频。背景,这是一个沉船,有一些模式,可以作为红狮子鱼纹错误由一个训练有素的CNN。此外,如图11,发现了类似的条纹模式作为一个假阳性实例。假阳性的信心相对较低。因此,为了避免错误的检测,可接受的置信水平设置为80%。图12是一个样本的帧检测到真正的积极。如图12,虽然红狮子鱼纹不明显可观察到的,因为其他的特性,比如鳍,经过训练的网络可以成功区分红色的狮子鱼。此外,如图13,在一个复杂的情况下与其他的鱼类,CNN能够检测红狮子鱼有91%的信心。
为了找到方法的准确性,选择1000连续帧从一个捕获视频的彭萨科拉珊瑚礁。根据选定的帧,红色的狮子鱼是其中的88.5%。表1显示真阳性发现红狮子鱼的数量在885帧包含红色的狮子鱼。真阳性实例中有一些帧包含假阳性情况下这意味着尽管红狮子鱼的存在在那个特定的帧错误检测到另一个对象是红色的狮子鱼信心高于80%。此外,在一些帧像图14,训练有素的CNN无法探测到的目标由于瞬时等不同条件下造成的模糊图像的红色的狮子鱼,非常低光条件,或远的距离。然而,由于这些帧零星出现在视频中,狮子鱼的整体continuousness跟踪不受影响。
在图15,包含500帧的视频在一个红色的狮子鱼被选为评估训练CNN real-in-time的实时性能。处理每一帧的平均时间是0.097秒,测量导致至少10帧/秒。自从红狮子鱼游泳速度低,检测系统仍然可以通知用户关于红狮子鱼的存在以实时的方式。图16描述了处理时间为每个500帧的视频处理。此外,图17显示了信心的百分比在每一帧检测到红色的狮子鱼。在每一帧,如果检测到对象有85%的置信水平低于阈值,则丢弃的假阳性。真阳性检测对象的总数在500帧是在461年,92%的整个框架。最后,四个现场表演训练的CNN红狮子鱼检测方案中可以找到一个YouTube视频和图中提供的地址18。
作为一个可以识别的结果,该系统实时显示成功检测红狮子鱼在各种环境和光照条件。然而,需要进一步的调查证明了系统的有效性捕获的数量,时间对于每一个潜水,潜水者的数量需要在每一个短途旅行。
4所示。结论
这项研究是一个概念验证的设计和实现一个实时CNN-based辅助机器人系统为潜水员找到红色的狮子鱼。辅助机器人能够找到红狮子鱼高达30米的深度。水下的流媒体视频发送到表面和处理实时检测红狮子鱼。整体设计是由需求的可移植性,机动性高,能耗低,和用户友好。该方案能够执行红狮子鱼实时检测,在潜水水下环境。检测系统的实现是一个开源的、低成本的ROV配备摄像头采集视频水下生活。从海洋环境实验记录的视频。这项工作的主要成就是发展一套计算机辅助方案在一个负担得起的硬件,可以使用环保检测和删除狮子鱼。在这项研究的下一阶段,将关注(1)开发一个定制的ROV尤其是专为狮子鱼检测和去除的影响,(2)调查利用该辅助计划在潜水旅行狩猎的数量。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
本文由一个内部支持格兰特拉马尔大学工程学院。