文摘
卫星遥感视频多目标检测和跟踪方法基于道路掩蔽,高斯混合模型(GMM),和数据协会提出。该方法首先提取遥感影像的道路网基于深度学习。在检测阶段,基于GMM背景减法算法获得的检测结果在路上移动目标。在跟踪阶段,相同的目标检测结果的数据协会在相邻帧实现基于邻域搜索算法,以获得每个目标的连续跟踪轨迹。的实验测量的数据上,进一步研究多目标检测和跟踪进行真正的遥感卫星,结果验证了该方法的可行性。
1。介绍
目前,航空航天技术的飞速发展和遥感应用的逐步深化,对高分辨率卫星遥感应用的需求逐渐从静态侦察转向实时动态监测。一系列的视频近年来卫星部署。视频卫星可以获得分表分辨率彩色动态视频通过凝视成像模式,获得连续视频图像数据感兴趣的领域,特别适合区域动态变化监测,如情况变化,动态目标侦察和监视和攻击效果评估(1- - - - - -4]。与此同时,它还可以满足各种民用需求如反恐、防灾救灾、智能交通控制。因此,提高智能处理水平,进一步研究多目标检测和跟踪卫星遥感视频的算法可以大大减少人工参与的程度信息提取过程,这可能带来重要的推广意义发展航空航天信息产业和社会和经济进步。
在这种背景下,本文着重于视频卫星,一个新兴的航空航天遥感技术,并执行全自动、高精度、高速动态遥感信息提取视频视频卫星获得的“凝视”成像模式。目标检测和跟踪算法的视频来衡量遥感卫星。在现有的研究中,卫星视频检测和跟踪方法主要是继承了传统的视频检测和跟踪方法。在检测过程中,主要的方法可分为帧差法、光流法和背景减法的方法。帧差方法执行动态目标检测通过判断前后两帧之间的差异(5,6]。光流方法收集瞬时变化的灰色的水平移动对象时的光流场。这些变化可以反映图像的变化,因此,可以检查移动目标光学流(7,8]。背景减法的方法首先建立背景模型来表示场景然后比较以下框架与模型。通过适当地执行减法,结果被认为是运动区域(9,10]。在跟踪过程中,主要可以分为传统过滤方法,相关过滤和深度学习的。传统过滤方法主要包括均值漂移算法、卡尔曼滤波算法和粒子滤波算法(11,12]。相关滤波跟踪算法本质上火车过滤器根据目标样本的第一帧,用于搜索目标所在区域,目标位置和法官根据响应值。然后,过滤器是在跟踪过程中不断更新13,14]。基于深度学习的跟踪算法主要分为两类(15,16]:一种是设计跟踪算法基于深度特性和相关过滤;另一种方法是跟踪目标的基于深层网络的端到端。现有的卫星视频目标检测和跟踪算法基本上遵循传统的视频处理的相关结果,所示(17- - - - - -27]。针对卫星视频运动目标检测和跟踪的需求,提出了一种基于混合高斯背景模型的背景减法方法结合道路的面具。该方法可以显著降低丢失的检测目标像素由于光照变化和阴影。在实验中,该方法的性能测试基于真实卫星视频数据和结果验证其有效性。
2。遥感卫星影像的预处理
遥感影像数据的预处理可以实现自动增强处理的高分辨率遥感影像资料,包括视频处理功能,如颜色增强、边缘增强和噪声去除。预处理可以提高遥感影像的视觉效果和可解释性。的视频质量和数量信息可以充实加强视频歧视和识别的影响,从而为后续的信息提取提供数据支持。同时,还包括的预处理操作orthorectification的遥感图像。orthorectified遥感图像之后,其中一个重要的任务是精确匹配的遥感影像地理坐标,因此遥感图像坐标与地理信息联系,以方便的提取有用的信息。针对遥感图像的几何畸变引起的成像系统和地形等因素,遥感图像orthorectification技术基于理性的多项式系数(RPC)参数实现。通过分析中的RPC信息图像元数据并导入数字高程模型(DEM),图像的行和列数之间的转换关系协调和WGS84纬度和经度坐标。投影变换执行根据使用的转换关系图像reprojection方法实现遥感影像正的校正处理。orthorectification之后,遥感图像可以有地形图的特点和形象。它具有较高的准确性和丰富的信息在地形起伏不定。
3所示。方法检测和跟踪
3.1。目标探测
考虑到高分辨率卫星影像的应用程序需求感兴趣目标的检测和识别,流行的深度学习算法引入到遥感应用领域。遥感图像目标识别和检测,基于深度学习的典型算法。通过构建一个数据库典型的遥感目标,目标的自动识别和检测,如飞机、轮船、机场和港口。对于相同类型的目标,对于不同的应用场景,快速构造模型和高精度模型通过算法调优。基于高分辨率卫星图像的丰富的纹理信息,深卷积神经网络结构和目标检测算法框架构造,多层特征提取和multifeature融合进行高分辨率光学卫星图像来提高目标识别的准确性。改进的速度R-CNN Resnet算法(28- - - - - -31日)用于训练的训练数据集实现高分辨率遥感图像的智能目标探测,实现高精度智能高分辨率卫星图像的目标检测技术。对象检测完成后,对象的数量和纬度和经度信息可以输出。目标检测和识别算法的主要过程为一个特定的目标描述如下:步骤1:ImageNet模型是用于初始化和独立训练地区建议网络(RPN)。步骤2:在步骤1中生成的提议的RPN网络用作输入初始化ImageNet R-CNN网络模型和火车快。两个网络的每一层的参数不能共享。步骤3:在步骤2中快速R-CNN网络是用来初始化一个新的RPN网络。项的学习速率和快速R-CNN设置为0。只有网络层特有的RPN更新。培训后,两个网络分享所有常见的卷积层。步骤4:共享网络层是固定的,而且它与快速R-CNN独特的网络层结合形成一个统一的网络,持续培训并完成快速的微调R-CNN独特的网络层。第五步:根据培训目标探测和识别模型参数,自动目标检测在感兴趣的对象上执行(如飞机、油罐和建筑)和其他感兴趣的对象。
3.2。移动目标的检测和跟踪
针对连续视频图像的特点,通过视频卫星的目光观察一个特定的区域,高分辨率卫星动态车辆视频检测与跟踪。该算法首先利用背景减法方法基于道路面具处理和高斯混合模型(GMM)最初提取运动车辆。同时,它使用车辆的几何特征来过滤初步提取结果和采用二次曲线拟合方法基于最小二乘方法来追踪移动的车辆。图1显示了动态目标的检测和跟踪过程。具体步骤可描述如下:
首先,提取稳定的视频帧序列,并进行预处理的视频帧图像增强图像歧视和识别效果。卫星视频,使用混合高斯背景建模方法基于像素样本的统计信息来估计背景,使用统计信息,如大量的样本值的概率密度很长一段时间来表示像素的背景,然后,使用统计的差异来确定目标像素和模型复杂动态背景。在高斯混合背景模型中,认为像素之间的颜色信息是彼此无关,和每个像素的处理是相互独立的。对于视频图像中的每个像素,改变其值的序列图像可以被看作是一个随机过程的不断生成像素值,也就是说,使用高斯分布来描述每个像素的颜色和单模和多模状态的规律。的多峰高斯分布模型,图像中的每一个像素都是由多个高斯分布的叠加模型有不同的权重。每个高斯分布对应于一个国家,可能会产生像素的颜色,每一个高斯分布的重量和分布参数随时间更新。
然后,在卫星视频检测移动目标。使用背景差分法、数学形态学和获得连接域执行的统计分析,和全球binarize图像阈值计算。背景减法首先建立背景模型来表示,然后比较以下框架与模型和执行减法,而结果是运动区。使用背景减法来检测移动目标时,模型之间的差异的背景图像和真实的场景会影响目标检测性能。因此,通过判断移动目标的连接区域的面积,可以过滤掉噪声来提高检测精度。
最后,提取的运动目标跟踪。通过计算质心位置,像素区域,平均每个移动目标在前台的灰色信息,建立了目标跟踪的决定考虑变形和灰度值变化的同一目标在不同的帧由于光照、遮挡等。下图显示了移动目标跟踪算法的流程图。跟踪目标时,用二次曲线拟合方法基于最小二乘方法来预测车辆的位置根据获得的数据在下一帧的目标,获得预测质心位置,预测和搜索附近的质心位置。匹配可以大大提高搜索速度,降低计算复杂度和计算时间。逐帧跟踪移动目标后,根据前后帧的相对位置,解决移动目标的运动参数,包括运动方向和运动速度可以实现。
3.2.1之上。提取道路的面具
一般来说,动态目标是位于遥感影像的道路。因此,为了进一步减少假警报的数量和计算负荷,本文中使用的道路网提取算法结合深度学习和高分辨率卫星图像数据(28- - - - - -31日]。该方法能够自动、准确地提取道路网信息的区域,不能通过传统的测绘方法。基于深度学习技术,它可以快速、准确地实现遥感图像进行像素级分类,通过深卷积神经网络学习高层抽象的特性来提高分类精度。对分类结果,分类后处理功能设计,包括分类合并统计和分类信息。图2显示了一个示例面具道路提取。比较原始图像和提取的道路面具,可以直观地看到,该方法可以实现高速公路的提取具有良好的精度。大部分森林公路、农村公路、道路和其它小可以有效地分离周围的建筑物、树木等。
(一)
(b)
3.2.2。视频注册
尺度不变特征变换(SIFT)特征和GPU加速技术用于实现亚像素级别注册。筛选功能是一个图像局部特征描述算子基于尺度空间和保持图像缩放不变性,旋转,甚至仿射变换。这个特性具有唯一性的特点,多功能性和可伸缩性。它用于在图像配准领域的广泛的应用。传统的筛选功能匹配算法是缓慢的,可怜的适用性超高分辨率的遥感图像。使用GPU加速技术实现快速提取和匹配特征点的超大分辨率的遥感图像。
3.2.3。背景的不同
有K高斯模型用于描述每个像素特征的单帧视频卫星图像,更新后的GMM新帧的图像。当前图像中的每个像素是用于匹配的GMM。如果它成功了,它是确定,关键是背景点。否则,是前者风景区。大小的方形结构,3×3用于合闸操作腐蚀之前(扩张)。连接域(8社区)的面积是计算在前台删除连接域的面积小于或大于某一阈值范围。
3.2.4。多重天体探测和跟踪算法
创建一个二维索引表记录目标的位置在一个单一的框架和搜索附近的预测重心。预测的重心是车辆的质心的位置信息被确认或来自前一帧。然后,执行二次函数拟合获得当前帧的预测位置。有几个指标来评估跟踪性能。首先是缺少的数量目标。当没有假设当前帧目标的位置,预测区域的目标在当前帧没有找到。第二个是误判。给定位置假设没有相应跟踪目标。第三是不匹配的数量。这个问题主要出现在多个目标造成的阻塞或粘附位置太近。
4所示。实验和分析
本文使用一块真正的遥感影像目标探测和跟踪测试该方法的性能。实验在Matlab平台上运行,和硬件要求是酷睿i7 - 3770 CPU (3.4 GB内存)。
4.1。检测运动目标
图3(一个)显示一个视频卫星城市道路场景的拍摄。可以看出,有密集的动态车辆目标的道路上。车辆目标的大小是有限的,它通常体现为一个扩展点目标图像。由于小尺寸的车辆目标,很难使用检测网络基于深度学习获得检测结果。该方法首先使用道路面具移除建筑区域两边的道路,以避免假警报在道路区域。后来,为目标的道路上,基于GMM的帧间差分法用于获取动态目标的检测结果,如图3 (b)。与原始图像相比,它可以发现,反映了图像中车辆目标检测结果,为后续的目标跟踪提供了一个良好的基础。
(一)
(b)
4.2。目标跟踪
本文基于最近邻数据关联算法搜索是用于关联两个相邻帧的动态目标检测结果来获取动态目标的连续跟踪轨迹。如图4,数据4(一)和4 (b)在遥感视频相邻帧。相比之下,图4(一),车辆目标图4 (b)有一个轻微的位移,远小于几何距离不同的移动目标。因此,通过执行的最近邻搜索半径在每个动态目标的检测结果图4(一),相应的检测目标图的结果4 (b)可以获得。通过将两个相应的检测结果,该方法可以获得动态目标的跟踪结果之间的两个相邻帧。
(一)
(b)
为了定量评价该方法的性能,十字路口在联盟(借据)指数计算30.,31日]。给每个目标的检测和跟踪的边界矩形和人工标注真理矩形,借据值定义如下: 在哪里和代表两个区域的交集和工会在该地区代表像素的数量。为了测量检测和跟踪算法的性能在一个特定的视频帧的数量的借据值大于给定的阈值计算。
图5显示相应的借据不同搜索半径值。可以看出,当搜索半径是4像素,本文提出的检测和跟踪算法可以达到92.8%,和几乎所有的目标都可以正确地探测和跟踪。实验结果验证了该方法的有效性。
5。结论
随着遥感技术的发展,空间分辨率、时间分辨率和光谱分辨率的卫星将成为未来视频高得多。同时,测量卫星视频就会更加清晰的信息可以通过视频也将显著增加。的动态目标检测和跟踪方法视频卫星遥感影像数据研究可以提高遥感卫星侦察能力的动态移动小目标。从实验结果可以看出,该方法成功地提取道路信息从面具卫星视频和使用GMM和背景减法提取运动目标的检测结果。每个目标的连续运动在不同的帧可以使用数据协会找到实现目标的检测和跟踪。
数据可用性
使用的数据来支持这个研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作得到了国家自然科学基金资助下41871226和41871226和特殊研发和推广项目下的河南省拨款212102210492。