文摘
动态视觉传感器是一种bioinspired传感器。它具有快速响应的特点,大的动态范围,和异步事件流输出。这些特点使它有优势,传统的图像传感器领域的没有跟踪。动态视觉传感器的输出形式是异步的事件流,和对象信息需要提供的集群相关的事件。本文基于事件关联指数提出了一个方法来获取对象的位置、轮廓等信息和兼容传统的跟踪方法。实验表明,该方法可以获得运动目标的位置信息和它的连续运动轨迹和分析参数对跟踪效果的影响。该方法将在安全中有着广阔的应用前景,运输等。
1。介绍
作为计算机视觉领域的重要研究方向,对象跟踪广泛应用于安全、交通、和无人驾驶1- - - - - -3]。我们使用的图像传感器在帧对象跟踪日常成像。这种成像方法,虽然输出图像直观,更悦目。然而,这种固定帧速率成像方法将失去在对象之间的信息帧对象跟踪或模糊,因为对象动作太快,这会影响对象跟踪的准确性。,更快的帧速率将带来更高的功耗和需要更多的存储空间来存储数据。
为了解决这些问题,随着仿生学的发展,动态视觉传感器(dv)出现4- - - - - -9),这是一种新型的基于图像传感器,生成事件流光强度的变化。传感器的原理类似于视网膜。它的像素结构如图1。像素结构由三个部分(10- - - - - -12]。第一部分是一个电流电压对数转换光传感器电路感应强度。光电转换:这部分是类似于视网膜视锥细胞。第二部分是一个变量放大电路类似于视网膜双极细胞,使用开关电容放大结构的功能是完成采样和放大。第三阶段主要由两个比较器,类似于视网膜神经节细胞。当光强度弱,它生成一个信号,当光强度变得强大,它会发出信号。
图像传感器的位置的光强变化的视野,从而减少的数据量。因为没有必要公开电荷积累,可以检测到的光强度变化不断,所以事件之间有一个非常高的时间分辨率。受益于其对数光电转换单元,传感器具有大动态范围的120分贝(10]。
然而,由于特殊的成像方法和独特的动态视觉传感器,数据格式不适用传统的跟踪算法。在这里,我们提出一种新的方法来计算每个事件的事件关联指数和提取对象的位置信息和轮廓信息。这种方法不仅减少了三维事件流的维度,但也使用现有的跟踪算法,如质心跟踪算法。相比简单压缩三维事件流到一个二维二进制图像,该方法可以保存事件的时空相关性,从而减少噪声对跟踪算法的影响。
剩下的纸是组织如下:部分2回顾了动态视觉传感器跟踪方法,工作部分3介绍了本文的算法,部分4将实验和评估方法,部分5将分析实验结果。节6,结论总结。
2。相关的工作
与半导体设计和技术的发展,动态视觉传感器的分辨率进一步改善,和事件流的读出速率也大大增加。最新动态视觉传感器的分辨率Prophesee在法国已经达到1280×720 (13),最大事件读出速率达到1066名欧洲议会议员。Cele-X V德国焊接学会中国的CelePixel科技有限公司有限公司1280×800的分辨率和读出160名欧洲议会议员(14]。在这种情况下,依次处理每个事件在事件流来确定它是一个对象是一个伟大的挑战的计算速度跟踪系统。此外,传统的跟踪方法适合框架很难使用事件流。虽然每个事件在事件流包含位置信息,单个事件不能有效传达信息的移动对象,甚至是不可能确定生成的事件是对象或噪音。生成的事件对象具有较高的时间和空间相关性,只有通过使用这些事件我们可以获得对象的位置信息和时间信息。
大多数现有的跟踪方法基于动态视觉传感器使用事件聚类提取对象的位置信息。集群决心取决于事件和事件的数量之间的距离更近。集群中的事件距离小于某个阈值,和事件的数量超过某个阈值,定义为一个对象。在[15),受传统均值漂移方法基于集群的方法已被用于跟踪机器人的手臂足球守门员。其他工作,使用基于集群的方法追踪移动物体反映在文献[16]Schraml和Belbachir出版。与文献[15],Schraml算法不同的方式分配到集群的事件。新生成的事件的分配取决于3 d曼哈顿距离事件和集群之间的空间和时间。与传统的欧氏距离相比,这种聚类方法可以抑制噪声。由于低内存使用,基于集群的方法适用于嵌入式视觉系统,但集群大小需要调整根据特定的目标,因此上述方法只适用于特定的场景。
集群事件的方法基于高斯混合模型(GMM)形成,这些作品反映在文献[17,18]。Piatkowska等人调用这个方法K-Gaussian聚类方法(17]。在该算法中,事件是由高斯聚类建模。后来,Lagorce等人改进了方法,事件的空间分布是由二元高斯建模(18]。这也是受均值移位算法。确定事件属于哪个集群事件流,然后更新集群。
文献[19相干检测算法)提出的事件。这种方法将事件流划分为32或64块根据空间,执行事件相关检测提取事件集群,然后匹配追踪的新发现的对象与对象。然而,当对象有一个很大的几何尺寸和边界的空间,该对象将被分为多个错误,影响跟踪效果。
本文提出一种方法,使用事件流在固定的时间内和高斯卷积核方法,三维事件流压缩到一个二维图像保留了事件相关,所以,传统的图像处理方法可以用来提取相关事件。空间坐标是用来确定物体的位置信息,然后跟踪对象。这种方法的优点是,它可以直接获得集群事件的位置信息,进而获得事件流在那个位置。不仅简单传统的图像处理方法可以使用,也可以保留对象的事件流来分析连续运动轨迹和状态。
3所示。算法
对象跟踪定位对象的位置的过程在后续帧根据对象的位置在第一帧的视频序列。在传统的方法中,首先在第一帧定位对象的位置,然后在搜索的对象匹配后续帧的前一帧。动态视觉传感器输出异步事件流。事件流包含生成的事件对象运动和传感器本身的噪声。事件之间的相关性不能直接反映在事件流数据,这使得它不可能获取对象信息直接从事件流。虽然每个事件包含自己的位置信息,单个事件不能移动物体的表达信息。
根据上述分析,对象跟踪方法基于动态视觉传感器分为两个部分:(1)事件流是根据一个固定的时间切片,对象探测器用于切片获得对象的位置信息,第一片和对象的信息存储在追踪;(2)匹配对象的跟踪对象在随后的事件流和更新追踪。我们提出以下的算法。
3.1。对象探测器
(1)收集的事件流ES时期T因为一定数量的事件必须获得相关的事件。相关的事件是由一个二维高斯内核和量化表达的事件关联指数。计算方法是 在方程(1),和标准差的空间距离和时间距离,分别。的坐标和时间发生的事件是相互独立的,所以 在正态分布 支持事件吗 。(2)在获得每个事件的事件关联指数这一时期的事件流,添加所有的事件关联索引每个像素的灰度值并将其存储在相应的位置在一个二维矩阵具有相同大小的传感器分辨率。通过这种方式,事件相关图像ECI,和图像的像素值 在哪里米和n的水平和垂直分辨率传感器,分别。使用大津[20.)自适应获取阈值λ并根据方程(binarize ECI3),并将图像划分为两个部分:对象和背景。获取阈值与最小阈值需要判断。如果阈值低于最低阈值,这意味着没有集群事件的相关性在事件流满足要求,也就是说,没有移动物体。 在哪里 像素的灰度值吗 在二进制图像。(3)为了不失去事件与低相关索引的对象边缘,二进制图像需要扩张。对象边缘事件关联指数较低。这是因为附近有多个事件对象比事件的中心附近的边缘,所以相关指数低于中心。(4)此时,对象位置和轮廓信息已经可以获得二进制图像,以便根据轮廓范围内,使用方程(4)提取对象的事件事件流: 在这里, 是对象的轮廓曲线k .这些事件产生的事件对象的运动。根据方程(5),物体质心(x, y)获得和使用更新追踪:
其中N是事件的数量 。
3.2。跟踪更新
(1)当对象探测器检测到的第一次,它是直接存储在追踪和分配一个ID。(2)当追踪之前已经有对象信息,它需要匹配检测到新的对象与现有的对象。根据德国焊接学会活动的高时间分辨率的特点,生成的事件流对象有极高的时间和空间的连续性,因此在两个时间段可以匹配对象匹配质量的中心和轮廓信息,也就是说, 在哪里是对象的ID K,和连续两个相邻时间和持续时间是什么T,是对象的边界矩形。(3)当对象的跟踪与检测对象不匹配很长一段时间,它将被删除和ID将不再被使用。
4所示。实验
本文方法的技术焦点的位置和轮廓提取事件形成的集群移动物体在事件流,以获取对象事件的事件流。因此,在实验中,获得物体轮廓从事件的影响集群将受到考验。同时,跟踪匹配效应也将被测试。
346年实验设备使用戴维斯,传感器分辨率为346×260,事件的时间分辨率是1,和事件格式 ,在哪里事件的像素坐标和吗是事件的极性。光强度变化从黑暗到光明,极性是1,和相反极性是0;是时间戳。
在实验中使用的数据是在自然光在室内。为了模拟一个小物体在高速移动,激光笔的位置是用来迅速在白板上,以便快速移动的物体形成领域的观点。
算法中的参数设置如下:设置时间T= 2,女士= 1,= 0.5,扩展结构元素是一个矩形的边长5。对象不匹配超过20 ms和将被删除。图2是一个时空的散点图100 ms的事件流,在红点是积极的和蓝色的点是负的。虽然有很多的噪音和热像素图,可以直观地看到对象事件集群是连续的。热像素蓝线在图2,这是由像素生成错误地发送事件。集群可视化对象事件可以发现有很强的相关性,但背景活动图2与其他事件没有关联。
通过本文算法、事件关联索引图像,提取物体的轮廓的位置,和对象跟踪。相关索引图像和对象轮廓在某个时刻如图3:
(一)
(b)
(c)
(d)
(e)
(f)
图的左边的图片3事件相关的索引图像6时期,每个时期都是2女士,和图像的灰度代表事件的关联强度产生的像素,这意味着有一个目标的位置生成一个事件。右边的图片是事件流图2毫秒时间,时间轴的面对屏幕的内部,只看的空间位置事件,事件和目标可以用盒子。可以看出轮廓内的事件的相关性显著高于外轮廓。
图4跟踪器的跟踪效果图。红点是获得对象的事件。从图可以看出,对象的事件流完全保留,和轨迹清晰而连贯地在三维时空形象。它能提供对随后的对象的运动轨迹分析的支持。事件的目标提取算法在原始事件流标记。左边的图像如图5最初的事件流,从它的位置和形状目标中可以看到图的中心。在右边的图中,红色的事件目标算法提取的事件,和蓝色的事件最初的事件。图5表明该算法能够准确地获取目标的位置和形状。
(一)
(b)
5。分析
基于事件关联指数跟踪方法侧重于选择高斯核函数的方差,和适当的方差应该突出相关的事件。根据高斯内核的特点,越大σ高斯内核的范围越大,和更多的事件支持中央像素。
当空间宽度参数在高斯内核不变,时间宽度参数的变化会影响的发现对象和对象轮廓的确定范围;当越小,相关事件的时间维度将被忽略。少量的噪声在时间也将得到更高的相关指数,这将导致错误的发现对象。当是更大、更之前的事件将提供支持,但事件对象的边缘没有提供的支持先前的事件,这些事件的相关指数是低于内部对象,和对象轮廓将小于实际的对象。图6是一个三维图像的高斯内核不同是1,图的三张图片吗7获取对象的事件的结果在一个2时间女士分别是0.1,0.5,1。当= 0.1,有错误的对象引起的噪声图的左边。当= 0.5,获得对象轮廓包含生成的事件对象。当= 1,获得对象轮廓很小,它不包括稀疏事件生成的对象边缘。
(一)
(b)
(c)
(一)
(b)
(c)
当时间宽度参数在高斯内核不变,改变空间的宽度参数也会影响测定对象的轮廓范围内。当空间宽度小,提供的相关指数支持的事件不同的空间距离并没有太大的区别和价值很小,这是不利于计算阈值。因此,空间的宽度应大于一个像素,和不同距离的支持活动提供不同的相关性。通过这种方式,可以获得一个有意义的相关指数,和太大空间宽度将增加噪声的干扰对象发现。图8显示的三维图像高斯与不同的d1当内核是0.5。在图三个图像9获取对象的事件的结果在一个2时间女士是0.5,1和2。当相关指数= 0.5,因为太小,确定合适的阈值,一个很大的噪音。当= 1,包括获得的对象轮廓生成的事件对象。当= 2,受到热像素的影响,得到一个错误的对象在画面的右下角。
(一)
(b)
(c)
(一)
(b)
(c)
6。结论
在这项工作中,我们提出一个新的方法来获取对象的位置在德国焊接学会事件流和跟踪的对象,并分析影响参数上使用这种方法。一个德国焊接学会事件对象不能包含足够的信息。事件相关性高的要求形成一个集群事件反映对象的位置和运动状态。这种方法使用事件相关指数获取事件对象的集群,从而确定物体的位置和形状。这种方法可以将传统的图像处理和对象跟踪方法应用到动态视觉成像系统,使其与其他现有的系统兼容。实验证明,该方法可以得到物体的位置并获得完整的事件流对象的运动。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。