低能见度水下环境中相关线索的机器人视觉跟踪

摘要

在水下环境中使用视觉传感器检测感兴趣的区域是许多机器人应用的基础。特别地，对于自主探索任务，水下航行器必须被引导到感兴趣的特征。如果从远处可以看到相关的特征，则车辆的平稳控制运动是可行的，以便将自身定位到足够近的位置，最终达到收集视觉质量图像的目标。然而，由于海洋环境是非结构化、高动态性、能见度较差，机器人系统实现对同一区域的稳定跟踪是一项具有挑战性的任务。本文提出了一种实时鲁棒地检测和跟踪感兴趣区域的框架。我们利用感知统一颜色空间的彩色通道来检测相关区域，并适应水下场景的视觉注意方案。对于跟踪，我们关联每个相关的点超像素描述子，这些描述子对光照和形状的变化是不变的。现场实验结果表明，该方法在不同能见度条件和水下探测深度下均具有较好的鲁棒性。

1.介绍

视觉跟踪是机器人视觉研究中的一个重要问题。特别是，对于自然水下结构（如珊瑚礁）的自动机器人探测，对感兴趣的结构中发生的变化进行更密切、谨慎和无创性的分析是至关重要的，以协助海洋生物学家的研究。通常，需要人工干预，以指示通过远程操作水下航行器对哪些区域进行监控。由于这可能是相当苛刻的，需要使用自动水下航行器（AUV）是非常有吸引力的。此外，视觉和控制算法需要非常健壮，并实时运行才能有效。近年来，已经开发了几种能够在水下环境中动态或静态地收集信息的系统。在水下机器人的例子中，已经做出了巨大的努力，为它们提供了执行特定任务的足够自主权。因此，主要的挑战是向机器人智能体转移识别哪些区域需要监控的能力，并在一定时间内保持这些区域处于可见状态，以便能够获得有用的视觉数据进行后验分析。然而，由于这些目标或感兴趣区域可能位于远离车辆的位置，因此需要从远处检测它们。水中电磁辐射的快速衰减限制了光学传感器的范围。此外，可变照明的存在和悬浮颗粒（也称为海洋雪）的存在导致几何和颜色扭曲，导致能见度低。此外，珊瑚礁的结构（就几何形状而言）实际上是空的。由于水下环境是高度非结构化且不断变化的环境，因此仍然存在的主要问题之一是机器人位置和方向的准确估计。这使得视觉线索的检测和跟踪变得困难。考虑到上述问题，如果目标是谨慎探索珊瑚礁中存在的脆弱海洋生物，则有必要首先检测与探索相关的视觉目标，然后对其进行稳健跟踪，以便机器人的运动不会不稳定或突然。换句话说，跟踪必须足够稳定，以允许机器人系统中的平稳控制运动。

我们感兴趣的是让AUV按照人类潜水员的方式对珊瑚礁进行探索:也就是说，遵循的路线是由吸引她注意力的环境特征引导的。结果表明，在水下环境中使用这种类型的勘探，文献中存在有限的研究工作。例如，在[1，提出了一种根据特征所包含的新颖度对机器人捕获的图像进行分类的方法。新颖性参数是一个指示器，用于控制机器人沿预定路径的速度。这项工作的扩展载于[2，机器人的移动被控制到图像中更具视觉内容的区域，导致机器人移动到包含珊瑚礁的区域，而忽略只有沙子的区域。需要注意的一点是，在探索模式中，关键是不要将机器人的运动限制在以前指定的路径上;相反，使用的方法应该允许更自然的扫描。从这个意义上说，潜水员(足够好奇和无畏)第一次探索珊瑚礁时，会根据吸引她注意力的东西来指导，尽管事先不知道她能找到什么。

在这项研究工作中，我们提出了一个实时的基于视觉的框架，从距离鲁棒地检测和跟踪相关特征，以探索珊瑚礁。机器人应用中的实时性能是基础，因为跟踪特征将有助于指导后续捕获图像中的探索轨迹，同时估计机器人的相对姿态。我们在以前工作的基础上发展[3.，4］．在[4，一种适应水下场景的视觉注意模型首次提出。输入的是水下拍摄的一组视频。虽然视觉相关的线索很可能在随后的帧中被检测到，但它不足以长时间跟踪特定的相关线索。此外，它只在水条件最佳时起作用，因此当能见度较差时就失效了。在[3.，我们使用一个感知一致的颜色空间来表征相关特征的颜色。我们比较了CIE实验室和，它能够定义一个超彩色像素描述符，仅使用其彩色通道来描述相关区域。色差处理(自民党和绿红)使颜色在水下恢复容易，特别是红色和黄色的色调，通过增强它们的对比WRT的蓝色/绿色的海水色调。

在本文中，我们在许多方面扩展了以前的工作。首先，我们详细描述了我们的水生视觉注意(AVA)模型中涉及的每个阶段，以及根据相关区域的紧致性改进以获得更好的显著性地图。其次，我们比较了提出的框架的性能。一方面，我们比较了AVA模型在不同深度水下场景中感兴趣区域的检测质量与经典Neuromorphic Vision Toolkit方法。另一方面，我们比较了跟踪最相关区域的超像素描述子与其他目标跟踪方法的鲁棒性。

本文的贡献是建立了一个新的计算视觉注意模型，以工作在水下环境，即珊瑚礁。提出的视觉注意模型关注于相关区域的检测和跟踪。在水下机器人的探测任务中，跟踪器的作用是引导水下机器人的运动。通过这种方式，AUV应该能够在不需要人工干预或任何特定区域的精确信息的情况下，探测到珊瑚礁的哪一部分可以吸引人类的注意，并向它移动。

本文的提纲如下。部分2提出了在水下场景中颜色的看法以及视觉注意模型的背景。部分3.描述我们的模型及其实现。本节给出了实验结果、提出的框架的性能比较和讨论4．最后,在节5，并给出了结论和今后的工作。

2.背景

2．1．水下颜色感知

水下能见度差会影响对颜色的感知。这是由于光的衰减、水的条件、与物体的距离、深度等因素造成的[5］．有雾的日子的可见度与水下图像的可见性非常相似。效果是，近物体更清晰，而远处物体逐渐消失。这种效果如图所示1通过比较在雾天和正常情况下相同的自然场景的图像。背影中的山脉1(一)在图中不能看出1 (b)．

在普通的海水中，颜色感知会根据感兴趣的物体所处的距离或深度而减弱。在大多数情况下，距离超过10米的物体的颜色几乎无法分辨(见图)2）.至于深度，第一个消失的颜色是红色;从3米深开始，太阳几乎没有留下红光。从5米到10米，橙色到黄色灯的范围消失了。到25米时，只剩下蓝光[5］．数字3.展示了我们的AUV在不同深度和水况下的图像示例。我们知道机器人的侧面是红色的。通过在一个小窗口(放大)中验证强度像素的颜色，我们看到颜色与红色非常不同，范围从深红色到深蓝色。然而，这一过程在我们的大脑中进行，将颜色调整到一定程度。

2．2.感知统一颜色空间的颜色辨别

水下的自然构造，如珊瑚礁的形成，色彩和纹理都很丰富。它们可能有特定的形状，但并不总是遵循特定的模式或几何形状。因此，如果我们想要一个给定特征的描述符，唯一需要检测和识别的线索就是颜色。在这种趋势下，对颜色的歧视是我们想要解决的问题。这与色彩恢复问题不同，在色彩恢复问题中，一个好的结果基本上是与一个自然看颜色的外观，但并不能保证真实的原始颜色已经恢复。

要区分颜色，人们需要测量整个可见颜色范围的差异，方法是尽可能地匹配感知相似性。这个任务可以通过使用感知统一的颜色空间来简化，在这个空间中，一个颜色的微小变化将在颜色空间的任何地方产生相同的感知变化。这是由于色道之间的间隔更大。知觉统一颜色空间的例子是CIE实验室和．一方面是CIE实验室模型是专门用来描述人眼能感知的所有颜色的[6它的设计是为了保持感知的颜色距离。因此，欧氏距离是感知色差的准确表征。这通道值表示每个像素的相对浅紫色红色（洋红色）或绿色。向上移动曲线构建洋红色和削弱绿色。这Channel对黄色和蓝色做了同样的处理。改变这些曲线的斜率可以改变颜色对比度，同时有选择地调整曲线的部分可以改变不同的颜色范围。另一方面是一个非相关主成分颜色空间。该颜色空间是利用图像的一阶统计量从大量自然场景的高光谱图像中获得的。由于其三通道的去相关特性空间已用于地面应用中的颜色映射[7，8最近它还被用于水下色彩校正[9结果很好。

2．3.实验:水下辨色

我们进行了实验，直观地比较了在使用RGB、HSV、CIE时颜色是如何区分的实验室,彩色空间。重要的是提醒我们的目标是看到如何检测到红色和黄色色调。我们既不恢复颜色也不能增强图像中的颜色。水下的图像拍摄于三个不同的海水，来自加勒比海和尤卡坦半岛。如前所述，使用对手颜色空间的优点是因为这种类型的图像;其中一个对手颜色基本上是水的颜色，即蓝色或绿色的色调。由于颜色通常在人类观察方面定义，因此评估涉及颜色信息的算法的性能是比定量的算法的性能。数字4和5展示在能见度较差的户外和水下图像中使用不同颜色空间的例子。数字4第一行表示在水外拍摄的输入图像;然后在下一行，三个通道的RGB, HSV, CIE实验室,分别显示了颜色空间。在类似的图像排列中，图5显示了应用于能见度较差的水下图像时每个颜色空间的三个通道。

可以看出，所有的颜色空间都能分辨出图像中的红色和黄色。然而，在水下，只有CIE实验室和颜色空间能够分辨出球的红色。这个结论来自于视觉上的定性比较。

２.４.视觉注意力模型

视觉注意力是一个选择性的过程，它允许我们根据我们从环境中接收到的视觉刺激来决定是什么吸引了我们的注意力。在神经心理学领域已经做了一些工作来了解人类是如何注意我们所看到的东西的。即使在今天，关于人类视觉注意力系统是如何工作的仍然有几种理论。基于这些理论，人们提出了各种各样的计算机模型。关于视觉注意的研究最初出现在一个多世纪前的心理学和神经生理学领域[10.科学家们开始发展理论和模型来解释这一现象。但直到1987年，在科赫和乌尔曼的研究中[11.当第一个受生物学启发的计算注意力模型发表时。在这项工作之后，Itti等人提出了更多的工作。[12.]与日期最相关。对可视注意力的全面调查及其在计算机系统中的实现可以在[13.］．

在处理大量信息的系统中加入注意力能力的动机之一是减少要处理的数据量。这可以通过只获取信息来实现。在计算机视觉领域，它尤其引人注目，因为图像包含数千，甚至数百万像素。减少图像信息的问题已经用各种方法解决了。举几个例子，已有基于感兴趣点检测的方法，如Harris角点检测器[14.]，冲浪[15.，或众所周知的SIFT [16.］．此外，还有线、椭圆和圆的探测器[17.，18.］．另一种已被应用的方法是预测方法，它使用与要执行的任务有关的信息来限制要处理的信息量。

Itti等人提出的神经形态视觉工具包(Neuromorphic Vision Toolkit, NVT)是两种比较流行的注意力模型，由于它们易于实现、灵活性和快速计算。[12.以及由Frintrop等人开发的被称为视觉目标检测与计算注意力系统(VOCUS)的注意力系统[19.］．注意力焦点(FoA)是图像中吸引系统注意力的地方。Itti等人[12.]使用赢家通吃的神经网络搜索FoA。Frintrop等[19.]通过扫描每个点找到显著性值最高的点，最显著的区域由种子区域生长决定。

近年来，视觉注意模型已被应用于机器人领域[20.，以及在水下的应用，主要是帮助海洋生物学家审查水下视频。例如，Walther等人[21.和Edgington等人[22.]检测物体和人类可能感兴趣的视觉事件，以便将视频流的帧标记为有趣或无聊[12.]模型。这些作品中使用的视频是由远程操作工具(ROV)录制的。

巴拉特和伦达斯[23.提出一种用于检测人造物体的视觉注意系统。他们的模型是基于最小描述长度测试来检测对比邻近区域的运动。然后，采用一种统计技术来确定物体的边界。Correia等人[24.利用强度、运动和边缘地图作为视觉注意力模型的特征，来检测挪威龙虾，并帮助科学家量化它们。

在所有这些作品中，视觉注意力模型用于帮助分析视频流的任务中的人类。在我们的情况下，我们希望视觉注意模型通过自动检测和跟踪在探索期间对人类感兴趣的特征来指导机器人运动。特别是，我们有兴趣将能力转移到AUV，以便在成功导航环境的同时检测没有人类监督的兴趣区域。对于自主水下勘探的情况，视觉注意算法需要实时性能。此外，随着水下机器人的硬件限制仍然是一个问题，算法应该具有低计算成本。

3.该方法

本节描述了我们提出的水下场景中相关特征的检测和跟踪方法。我们检测相关特征的方法使用了Itti和Frintop视觉注意力模型的一些关键思想[12.，19.］．计算视觉注意算法检测图像中模拟人类视觉注意的相关区域。

传统上，相关特征的检测依赖于显著性图——一种灰度图像，其中最亮的部分在强度、颜色和方向等特征方面最相关。由于水下场景中存在的自然物体缺乏特定的方向和形状，我们的注意力模型对颜色信息的依赖性很强。然而，海水固有的低能见度和颜色退化在距离和深度大于10米的地方是至关重要的。因此，选择合适的颜色空间来轻松实现水下图像增强是很重要的。我们使用CIE实验室颜色空间。

通过在显著图中选择值最高的位置，可以找到最相关的区域。在同一场景的水下图像序列中，与显著性最高值相关的位置从一帧到下一帧急剧变化是很常见的。这是由于照明和/或当地水条件的变化。因此,如果感兴趣的区域的位置在图像域会导致车辆的运动在空间域中,然后一个健壮的跟踪相同或非常相似的地区(在位置和外观)是至关重要的减少的不稳定的运动车。

在下面的小节中，我们将更详细地描述视觉注意模型中涉及的每一个步骤。在图6，对所提出的检测相关区域的方法进行了概述。

３．１．图像预处理

将输入图像缩放到适当的大小（通常为原始尺寸)。然后，将图像转换到CIELab颜色空间。节2．3这种颜色空间的一些优点以及一些例子可以找到。

３.２．获取功能图

我们使用强度和颜色(红、黄、绿、蓝)作为特征。强度图对应于CIELab图像的-channel。颜色是从和渠道，如[25.),如下: 在哪里是我th特性图,在8位深度图像中，是根据色度通道提取的所需颜色，以及是-图像的通道。颜色特征图是灰度图像，其强度表示期望的颜色与像素的原始颜色有多接近。我们在模型中没有使用方向特性，因为它主要在结构化环境(例如，人造环境)中工作得很好。

3.3.获取醒目地图

炫耀性图是一种灰度图像，其中最相关的区域(就特征而言)看起来比其他区域更亮。计算这些地图的第一步是为每个特征建立一个高斯金字塔。高斯金字塔是通过应用高斯滤波器，然后向下采样的图像一半。如果我们再把这个过程应用到得到的图像上，我们就可以构建金字塔的其他层次。金字塔中使用的层数取决于输入图像的大小和要找到的相关区域的大小。更大的区域需要在金字塔中更大的层次才能被有效地探测到。我们用的是五层金字塔，也就是五种尺度．

在任何计算视觉注意系统中，要考虑的一个重要方面是突出显示每个特征图的相关部分。这通常是通过使用中心环绕机制(也称为center-surround区别)，灵感来自于人类视觉接受区细胞[26.］．在我们的方法中，这些差异被实现为卷积。让成为关卡中的形象对于给定的特征，则采用如下的中心-环绕差值: 在哪里定义掩码和的大小是图像和掩码之间的卷积运算符。对于金字塔的每一层，可以得到两张地图，和．

中心环绕差值应用程序生成的图像被调整为原始图像的大小。然后，将来自同一特征金字塔的所有图像添加到一幅图像中，称为醒目地图。

值得注意的是，与[12.，25.]，其中创建的醒目贴图包含所有颜色，我们计算每个颜色特征。这使我们能够在后期阶段指出哪些颜色在探索过程中更有相关性。

3．4．获得显著性地图

显著性图是一幅灰度图像，其中最相关的部分显得更亮。为了得到这种映射，对每个显著性映射应用高斯差分(DoG)。之后，得到的映射的加权和(在范围内归一化))计算。显著性图的计算形式如下: 在指数表示从每个特征获得的每个显著性图。通过分配不同的权重值对于每个贴图，我们可以优先选择特定的颜色色调。加权和可以被视为一种简单的方法，以纳入自上而下的注意。与VOCUS不同，VOCUS使用的是包含要搜索的对象的训练图像，我们的模型不需要特定对象的图像。在任何情况下，我们只需要获得有关对象的一些信息感兴趣对象的可能主色。图中可以看到显著性图的示例7．

3．5．搜索相关点

计算显著性映射后，搜索更相关的观点或感兴趣的区域(RoI)进行。就像在VOCUS，对所有图像像素进行连续的最高值搜索。此外，为了避免重复点的位置，我们采用了抑制返回的方法。这样，每个相关点周围的区域被抑制，下一个相关点将远离前一个，从而使相关区域稀疏分布。数字8给出了在图像中检测到的roi的一个例子。与我们之前的工作不同[3.，4]，在给定点周围的固定区域被抑制，在这项工作中有一种种子区域生长方法[27.]在显著性贴图上使用，以确定包围要禁止的区域的圆。

3.6。基于超像素的相关区域跟踪描述符

从AVA算法检测到的感兴趣区域集合中关注的焦点(FoA)值最高。因此FoA代表了水下场景中最引人注目的区域。

对于某些应用程序，一旦选择了FoA，就必须在下列图像中按顺序跟踪它。因为我们的目的是探索水下环境，所以我们的AVA模型必须尽可能地跟踪后续帧中相同(或非常相似)的FoA，只要且仅当该区域仍然是最相关的区域之一。我们对这种行为感兴趣，因为它将引导机器人在探索任务中采取行动。FoA的位置从一帧到下一帧的突变可能导致不稳定的运动。

为了跟踪图像中的一个区域或点，需要一个描述符。我们建议使用基于超像素的描述符。超像素提供的一个特殊优势是，在颜色和位置方面，它们可以调整形状，以包围区域的类似特征。因此，如果我们将每个被跟踪的相关区域关联到它们所属的超像素特征，我们就保证了局部鲁棒描述。

操作步骤如下。对输入图像进行分割使用SLIC算法的SuperPixels [28.)与,在那里输入图像中的像素数。每个超像素是一组具有相似特征的像素，它由一个形式为[),在CIELab颜色空间中属于一个给定超像素的像素的平均颜色值和为超像素的质心。一个相关的区域用向量来描述由组成部分组成，，,从它所属的超像素。可以注意到组件没有被考虑在内，因为在这种环境中光照会随着帧的变化而变化。

一旦我们有了每个的描述符最相关的区域，我们从前一帧中选择最接近(最相似)FoA描述符的区域。所选区域成为当前帧的FoA。两个基于超像素的描述符之间的距离(相似性)度量，和，基于SSD指标，如[28.]，没有亮度部分： 在哪里 在哪里和分别是颜色和图像空间距离的标准化因子。如[29.］．

数字9说明了使用超像素来实现对感兴趣区域中类似foa的稳定跟踪。如果从最近的显著描述符到前一个FoA描述符的距离大于定义的阈值时，忽略距离，选取显著性值最高的点作为新FoA。

4.实验结果

在本节中，我们将给出实验结果来验证所提方法的部分内容。首先，我们展示了人类检测到的相关区域与本系统的比较结果。然后比较我们的方法(AVA)和Neuromorphic Visual Toolkit (NVT)检测到的相关区域[12.］．在那之后，在跟踪方面的比较显示。最后，给出了该方法在水下机器人探测任务中运动引导的结果。

4.1. 人类检测到的相关区域

比较了一组人认为相关的区域和提出的方法。这个实验的目的是为了表明我们的视觉注意力算法能够检测出有可能吸引人类注意力的区域。因此，AUV可以自主探索水下环境，人类可以认为相关的。

我们问人(男人和女性之间和在一组包含各种珊瑚礁场景的水下图像中，选择(通过点击屏幕)最吸引他们注意力的区域。然后，我们将算法应用于同一组图像。如果两个区域的半径是圆，则认为它们是重合的以相关区域为中心呈现重叠大于．数字10.描绘了获得的结果。图中图像数组的每一行包含AVA检测到的五个最相关区域和认为与相关区域相同的人的人数百分比。

在展示的结果中，超过一半的人选择与我们视觉注意力系统检测到的至少一个区域相关的区域。这项研究向我们表明，我们的模型近似于人们在珊瑚礁环境中选择感兴趣区域的方式。这是很重要的，因为我们想让我们的机器人探索珊瑚礁，就像潜水员第一次访问它。

4．2．检测区域比较

为了测量我们在检测到水下场景的相关区域的方法的性能，我们在使用NVT方法获得的结果的分析比较上进行了分析比较[12.］．该方法在显著性工具箱(STB)中实现(STB可以在http://www.saliencytoolbox.net/）[30.］．机顶盒使用默认配置。我们算法使用的特征是强度和颜色(红、绿、黄、蓝)。对于我们的方法，我们设置所有显著图的权值为1。

在本研究中，我们需要确定计算注意力方法检测到的相关区域是否可以被认为是人类感兴趣的。这可以通过一个人的判断来实现。然而，这个标准可能非常主观，而且对于大量图像集来说非常耗时。我们决定简化评估，假设有趣的区域应该出现在珊瑚礁的部分区域:也就是说，视觉上只对应于水的区域不被认为是感兴趣的。首先，为了将图像划分为水区域和非水区域，我们采用了[31.］．

该分类器用于室内环境下移动机器人被动导航的地板分割。我们已经调整了这个分类器，因此它可以代替水进行分段。它的优点之一是可以根据当前的水质条件在线训练，一旦开始运行，它就可以自动适应调性的可能变化。所有这些使得分类器非常健壮。分类示例如图1所示11.．

为了进行比较测试，我们将两种算法设置为检测6个视频序列中每一个1550帧中最相关的5个区域。这些视频包含了各种各样的水条件、深度，以及墨西哥科斯塔玛雅珊瑚礁的场景。值得一提的是，该序列中的许多图像呈现出具有挑战性的情况，例如，来自太阳的高亮度，在较深位置拍摄的图像呈现蓝色和绿色色调，以及由于相机运动而造成的模糊。所有探测到的落入非水域的区域都被计算为相关区域。在表1，得到的结果显示。可以看到，我们的方法检测到的感兴趣区域的百分比大于使用NVT时的百分比。让我们不要忘记，这些结果是在两个算法检测到的五个最相关的区域。我们进行了另一个测试，其中只考虑了第一个最相关的区域。如果这个相关区域被认为是有趣的，那么它就被认为是正确的。表格2显示两种算法感兴趣区域的百分比，以便进行比较。虽然提出的算法百分比高于NVT，但差异很小。然而，在这种情况下，我们注意到(通过目测检测到的区域)，NVT方法检测到的许多相关点都位于只包含棕色或黑色砂或岩石地层的区域，这些区域在勘探任务中不被考虑。

在图12.，给出了视频序列中的部分图像以及算法检测到的相关区域。定性上，从相关性上可以看出，NVT算法检测到的部分区域是在水面上，或者是在沙子、阴影等不相关的部分。同样可以看到，在两幅图的第6行中，我们的算法检测到的区域都是在珊瑚礁中，尽管太阳的光照发生了突变。

如表所示1和2，与NVT算法检测到的区域相比，我们算法检测到的区域更倾向于属于珊瑚礁的一部分。当统计五个最相关的地区时，这种差异是臭名昭著的。这一事实可能是有用的,当我们想要领导一个自主机器人探索收集video-observations这种环境的珊瑚礁,因为如果检测到更多的地区在珊瑚礁自主代理会去那个地方,而不是搬到一个区域只有水。

4．3．有关区域的追踪

本节将比较使用超像素描述子和基于关键点的描述子对区域的跟踪。作为关键点探测器和描述符，我们使用SURF [15.],筛选[16.]，及ORB [32.］．描述符的实现在OpenCV上是可用的。为了找到关键点之间的对应关系，我们使用了一个健壮的匹配器，它可以在[33.］．关键点描述符和检测器使用默认配置。对于AVA，黄色和红色特征通过权重具有偏好。

对于该测试，我们评估跟踪的长度，即，在图像序列中跟踪给定区域的连续帧的数量。要跟踪的区域是由所提出的视觉注意算法考虑的区域。图像序列是从潜水员记录的不同视频，同时探索珊瑚礁。

值得注意的是，AVA算法的复杂度为,在那里为图像中的总像素数。在2.1 GHz双核处理器中，图像的平均处理时间为是122 ms。总共有8545张图像包含了本测试中使用的序列。

在表3.，所提出的方法与基于关键点的跟踪器之间的跟踪长度的平均百分比以及平均处理时间显示出来。该百分比表示基于关键点的方法的跟踪长度与AVA跟踪长度的比较。例如，基于SIFT的跟踪器的跟踪长度为为AVA跟踪长度。我们已经标准化了与AVA跟踪长度相关的所有百分比，因为它是得到更长的跟踪长度的方法。

虽然基于SIFT的跟踪器的跟踪长度几乎与AVA相同，但速度大约是AVA的两倍。速度更快的跟踪器是基于ORB的跟踪器；然而，它也是跟踪长度最小的跟踪器。从表的结果来看3.结果表明，该方法在水下环境下的区域跟踪，特别是在珊瑚礁区域跟踪时，优于其他方法。

在处理时间方面，我们的方法可以平均处理帧的大小每秒。重要的是要考虑到我们方法的当前实现还没有在软件方面进行优化。然而，我们发现当前的处理帧率足以在水下环境下工作，因为这一任务往往是在水下机器人的慢动作下执行的。

从上述结果可以看出，该方法可以检测和跟踪珊瑚礁中可能引起人类注意的区域。这使得我们的方法适合用它来指导对人类潜在兴趣区域的探索。

4.4。现场试验

为了进行实验测试，我们使用了AQUA家族的两栖机器人Mexibot [34.］．在水中，机器人的推进是基于6个鳍，可以提供5度自由的运动，最高可达35米。Mexibot的中型(Cm)允许简单的机动性，这对机器人控制的时间响应很重要，当导航的目的是密切监视一个非结构化环境。

所有的试验都是在属于第二大珊瑚礁系统的地区进行的，该地区位于墨西哥的科斯塔玛雅。这个区域的珊瑚礁生态系统有多种多样的生物(植物和动物)，颜色也很多样。它在深度和能见度方面也有可变的条件。我们在5 - 18米的深度范围内进行了实验。

在现场试验期间进行了几次勘探测试。大多数测试都被设置为两分钟的持续时间，因为我们需要在不同的条件下验证它们的性能。在图13.，从一个探索的结果显示。在这个测试期间，AUV被编程为绕其旋转90°每次都是轴心国。这有两个目的:第一是为了安全，避免机器人与珊瑚礁可能发生的碰撞。在测试的时候，AUV还没有一个实现的避碰方法。第二个目的是测试所提议的方法检测和跟踪新区域的能力。这样AUV就可以在特定的时间检测和跟踪不同的区域。

它可以在图中看到13.AUV有效地改变偏航角，以跟踪视觉注意算法检测到的区域。图中的方框13（a）和13 (b)附上AUV跟踪相同RoI的时间段。可以看出，在90°转弯之前，AUV在几秒钟内跟踪了这些区域。结果表明，该方法可用于引导水下机器人在未知环境下的运动。

5.结论和未来的工作

我们介绍了正在进行的研究，检测和跟踪不变的特征，认为在探索珊瑚礁栖息地的相关。主要目标是使用机器人系统进行自主谨慎的勘探，并收集高质量的图像数据，该系统可以直接部署到环境中，很少或没有预先信息。需要强调的是，该系统经过训练，能够以在线方式适应当地的水和照明条件。该集成框架在满足系统控制导航要求的同时，能够快速地进行探索。未来的研究将集中在整合向前移动的概念估计机器人有多远从某个地区以及添加纹理信息的检测中感兴趣的区域,以减少错误的选择相关的区域(例如,沙子或岩石地区不感兴趣的探索)。

相互竞争的利益

两位作者宣称他们没有相互竞争的利益。

致谢

作者感谢CONACyT对项目的支持和资助。作者还感谢Mar Adentro Diving, Mahahual，感谢他们在海上试验期间的支持。

工具书类

1. Y. Girdhar, P. Giguère，和G. Dudek，“使用实时在线时空主题建模的自主自适应探索”，国际机器人研究杂志第33卷第3期4, pp. 645-657, 2014。视图:出版商网站|谷歌学者
2. Y.Girdhar和G.Dudek，“好奇地探索水下环境”，在第十一届计算机与机器人视觉会议论文集(CRV’14)， pp. 104-110, IEEE，蒙特利尔，加拿大，2014年5月。视图:出版商网站|谷歌学者
3. A. Maldonado-Ramírez和洛杉矶托雷斯-蒙德兹，“在能见度较差的水下环境中使用超彩色像素描述符追踪相关线索”IEEE变化环境中的视觉位置识别研讨会论文集，2015年5月。视图:谷歌学者
4. A. Maldonado-Ramírez, L. Torres-Méndez，和E. Martínez-García，“自主水下机器人探测感兴趣区域的鲁棒检测和跟踪”第六届国际先进认知技术与应用会议论文集，第165-171页，意大利威尼斯，2014年5月。视图:谷歌学者
5. Y. Y. Schechner和N. Karpel，“清晰的水下愿景”IEEE计算机学会计算机视觉与模式识别会议论文集(CVPR’04)， vol. 1, pp. I536-I543, IEEE，华盛顿特区，美国，2004年6月。视图:出版商网站|谷歌学者
6. CIE,关于均匀颜色空间、色差方程、心理测量颜色术语的建议，第2卷，第2期15 (E.-1.3.1)，《中国科学院院刊》，1971。
7. E. Reinhard, M. Ashikhmin, B. Gooch, P. Shirley，《图像之间的颜色转换》，计算机图形与应用第21卷第2期5，第34-41页，2001。视图:出版商网站|谷歌学者
8. L. F. M. Vieira, E. R. D. Nascimento, F. A. Fernandes Jr. R. L. Carceroni, R. D. Vilela, and A. D. A. Araújo，“全自动灰度图像上色”，图像及视觉计算，第25卷，第2期1，页50-60,2007。视图:出版商网站|谷歌学者
9. G. Bianco, M. Muzzupappa, F. Bruno, R. Garcia, L. Neumann，“一种新的水下成像色彩校正方法”，国际摄影测量、遥感和空间信息科学档案，第40卷，第5期，第25-32页，2015年。视图:谷歌学者
10. W.詹姆斯，心理学原理, 1890年。
11. C. Koch和S. Ullman，“转移选择性视觉注意:向潜在的神经回路”智力问题:认知神经科学中的概念结构《中国科学院大学学报(自然科学版)》，第188卷综合图书馆:认识论、逻辑学、方法论和科学哲学研究，第115-141页，施普林格，阿姆斯特丹，荷兰，1987。视图:出版商网站|谷歌学者
12. L. Itti, C. Koch，和E. Niebur，“基于显著性的快速场景分析视觉注意模型”，模式分析与机器智能学报，第20卷，第2期。11，第1254-1259页，1998。视图:出版商网站|谷歌学者
13. S. Frintrop, E. Rome，和H. I. Christensen，《计算视觉注意系统及其认知基础:调查》，ACM应用知觉汇刊，第7卷，第5期1, 2010年第六条。视图:出版商网站|谷歌学者
14. C.哈里斯和M.斯蒂芬斯，“一个综合的角和边缘检测器”，在Alvey Vision会议记录，卷。15，p。50，英国曼彻斯特，1988年。视图:谷歌学者
15. H. Bay, T. Tuytelaars，和L. Van Gool，“SURF:加速健壮的功能，”在电脑Vision-ECCV 2006A. Leonardis, H. Bischof, and A. Pinz, Eds。，第3951卷计算机科学课堂讲稿，第404-417页，施普林格，柏林，德国，2006。视图:谷歌学者
16. D. G. Lowe，“基于局部尺度不变特征的物体识别”第七届IEEE计算机视觉国际会议论文集， vol. 2, pp. 1150-1157, IEEE, 1999。视图:出版商网站|谷歌学者
17. R. O. Duda和P. E. HART，“使用霍夫转型来检测图片中的线条和曲线”ACM的通信，卷。15，不。1，pp。11-15,1972。视图:出版商网站|谷歌学者
18. C. Akinlar和C. tone，《EDCircles: real-time circle detection by Edge Drawing (ED)》IEEE声学、语音和信号处理国际会议文集(ICASSP’12)，pp.1309-1312，日本京都，2012年3月。视图:出版商网站|谷歌学者
19. S. Frintrop, G. Backer，和E. Rome，“自上而下调制计算注意力系统的目标导向搜索”模式识别， W. Kropatsch, R. Sablatnig和A. Hanbury, Eds。年第3663卷计算机科学课堂讲稿，第117-124页，德国柏林斯普林格，2005年。视图:谷歌学者
20. M. Begum和F. Karray，《机器人认知的视觉注意力:一项调查》，《自主心理发展汇刊》，第3卷，第2期。1，页92-105,2011。视图:出版商网站|谷歌学者
21. D. Walther, D. R. Edgington，和C. Koch，“水下视频中物体的探测和跟踪”IEEE计算机学会计算机视觉与模式识别会议论文集(CVPR’04)， vol. 1, pp. I-544-I-549, 2004年7月。视图:谷歌学者
22. D. Edgington, K. Salamy, M. Risi, R. E. Sherlock, D. Walther，和C. Koch，“水下视频中的自动事件检测”，在海洋学报2003，第5卷，P2749-P2753页，圣地亚哥，加利福尼亚州，美国，2003年9月。视图:出版商网站|谷歌学者
23. C. Barat和m - j。在水下视频中探测人造物体的健壮视觉注意系统海洋论文集，pp.1-6，新加坡，2006年5月。视图:谷歌学者
24. P. L. Correia, P. Y. Lau, P. Fonseca，和A. Campos，“使用多种视觉注意特征的挪威龙虾存量水下视频分析”，刊第十五届欧洲信号处理会议论文集， p. 1764-1768, IEEE，波兹南，波兰，2007。视图:谷歌学者
25. s . FrintropVocus:用于目标检测和目标导向搜索的视觉注意力系统[博士论文]，莱茵Friedrich-Wilhelms-Universität，德国波恩，2006。
26. 美国帕尔默视觉科学，光子到现象学，麻省理工学院出版社，1999年。
27. R. Adams和L. Bischof， "播种区域的增长"模式分析与机器智能学报，第16卷，第5期。6，第641-647页，1994。视图:出版商网站|谷歌学者
28. R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Süsstrunk，“Slic超像素”，技术代表，EPFL，洛桑，瑞士，2010。视图:谷歌学者
29. R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua，和S. Süsstrunk，“SLIC超像素与最先进的超像素方法的比较，”模式分析与机器智能学报第34卷第3期11, pp. 2274-2281, 2012。视图:出版商网站|谷歌学者
30. D.瓦尔特和C.科赫，“对突出的原始对象的建模注意”，神经网络第19卷第2期9，第1395-1407页，2006。视图:出版商网站|谷歌学者
31. F. G. Rodríguez-Telles, L. A. Torres-Méndez，和E. A. Martínez-García，“一种基于视觉的机器人导航的快速地板分割算法”，在第十届加拿大计算机与机器人视觉国际会议论文集(CRV’13)，页167-173,2013年5月。视图:出版商网站|谷歌学者
32. E. Rublee, V. Rabaud, K. Konolige，和G. Bradski，《ORB: SIFT或SURF的有效替代品》，刊于计算机视觉国际会议论文集(ICCV’11)， pp. 2564-2571, IEEE，巴塞罗那，西班牙，2011年11月。视图:出版商网站|谷歌学者
33. r . LaganiereOpenCV 2计算机视觉应用程序编程Cookbook:超过50个食谱，以掌握实时计算机视觉编程函数库， pack Publishing, 2011。
34. G. Dudek，P. Giguere，J. Zacher等，“Aqua：两栖自治机器人”，电脑，第40卷，第1期，第46-53页，2007年。视图:出版商网站|谷歌学者

版权

版权所有©2016 Alejandro Maldonado-Ramírez和L. Abril Torres-Méndez。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。