Intraframe场景捕捉和速度测量的基于叠加图像:新的车速测量传感器的概念

文摘

提出了基于视觉的车辆速度测量方法。拟议中的intraframe方法计算速度估计基于单帧一个相机。与一个特殊的双重曝光,叠加图像可以获得,运动模糊出现明显只有在明亮的区域的清晰图象。这个运动模糊中包含的明亮物体的运动信息。大多数报纸领域的运动模糊是针对删除此图像退化效应。在这项工作中,我们使用了一种新颖的速度测量方法。一个适用的传感器结构和曝光控制系统也显示,以及应用图像处理方法和实验结果。

1。介绍

如今,越来越倾向可以注意到自动化和信息和通信技术融入传统的服务和解决方案,在接近我们生活的方方面面。汽车工业的主要行业之一,这个进化的智能车辆的概念,有一些已经存在的解决方案的帮助下汽车的运营商(如停车辅助系统)。改进传感技术也可以用于未来的智能城市、改善交通管理和为每个单独的车辆提供实时信息,更好的交通负载平衡。一个成像传感器利用,提出了新颖的速度测量的概念可以作为一个传感节点的分布式传感器网络,因为它是基于一个低成本的传感器模块。

传统的速度测量系统通常基于雷达或激光雷达速度枪(1]。这两种技术使用有源传感技术,比被动相机系统更复杂和昂贵。另一方面,有方法在文献中针对生产可靠的速度估计,仅基于光学信息(2- - - - - -5]。科学研究在这个领域可以分为两个主要研究方向:光流(帧间)和动态模糊(intraframe)基础位移计算方法;然而,只有少数论文与后一种情况(3]。除了速度测量,这将是有利可图的许多可能的应用程序能够识别汽车的车牌识别。因此,这些系统的基本特征,提供足够的图像质量。基于动态模糊方法的最重要的缺点是测量概念本身是基于图像的退化,这与精确的车牌识别是有争议的,虽然在3)去模糊方法能够提供适当的图像质量,提出了传感器利用高速快门,和高分辨率。我们的方法是基于一个完全不同的测量原理,使用低端成像传感器。在本文中,我们提出一个新颖的曝光方法,基于一个特殊成像芯片intraframe速度测量,符合所提到的要求。一个合适的传感器结构成像显示随着硬件级的控制。

本文由以下方式。节2描述的基本概念,基于位移和速度估计。部分3进行像素级控制方法提出了一种适合测量和需求相关的图像本身。应用图像处理算法和补偿方法中描述的部分4和5,本文总结了结论。

2。概念形成

入射光的数量达到成像传感器是由相机快门速度()、透镜相对孔径()和场景的亮度()。考虑测量情况,快速移动的intraframe行为对象在图像平面上通过快门速度可以控制。运动模糊出现在图像物体的速度成正比,快门速度。

2.1。测量的概念

我们的速度测量的概念是基于一个特殊的传感器快门的控制方法。该方法保证了足够的图像质量,同时还持有信息描述intraframe运动的某些对象有亮点。经典的CMOS传感器的快门周期(开启,关闭)是扩大中间,半开口的状态。我们定义了一个曝光方案(图1),每个阶段都有不同的量子效率(QE)值。量子效率描述了一个图像传感器的响应率,它被定义为每个入射光子的photogenerated运营商数量(6,7]中描述 在哪里光致电流密度和吗是入射光的单位面积上的光功率。量化宽松政策的一个特定的传感器对波长可以找到的数据表。

第一阶段的双重曝光来标示。这是一个短的时间间隔,当电子快门完全开放。在这段时间里,占统治地位的组件集成图像的收集。自很小,甚至是移动对象不会模糊。然后,在半开口的阶段,这个过程继续大大延长曝光,但较低的量化宽松政策。这意味着更少的部分入射光产生电荷载体在光电二极管在一个时间单位,降低传感器的响应率。假设我们可以控制曝光的长度阶段(和),我们就可以生成一个叠加图像,组成的一把锋利的形象,和一个模糊的形象。模糊图像,只有高强度区域的场景出现,通常把像素饱和或接近饱和值。在一个快速移动的对象的情况下光源(例如,汽车在公路上打开前灯),这意味着光线跟踪出现在图像平面(图1)根据在曝光光源的运动路径,和长度的跟踪对象的速度成正比。

2.2。计算速度估计

测量几何呈现在图2。考虑众所周知,作为空间几何测量前,一个可以推出(2)和(3)从给定的几何: 在哪里图像平面的夹角,测量对象的运动方向,是位移,可以从图像,假设摄像机的标定参数是已知的。替换后(2)和(4)(3)和删除和,我们有 如果二次曝光的时间间隔(或intraframe时间)表示,移动速度的测量对象可以获得如下:

结果,预期的速度测量精度测量精度成正比的光线跟踪图像平面上(同样,如果我们认为空间几何和相机参数是已知的)。因此光线跟踪的时间越长,它的长度可以测量更准确。巷内的测量车辆的横向运动被认为是可忽略不计的。

3所示。实现

CMOS传感器技术使各种进行像素级控制或计算电路的实现。因此,特殊电子百叶窗可以使用进行像素级曝光控制电路来实现。本节提出了一种新颖的CMOS传感器,曝光控制概念来实现曝光方法描述。

大多数CMOS成像系统应用滚动快门(6),接触稍微延迟的方式开始每一行的传感器。这导致几何不连贯的图像捕捉移动的物体。因此,在机器视觉应用中,滚动快门相机不适用。这一事实要求其他类型的CMOS传感器具有全球快门像素(图3)。在这种情况下,整合整个阵列的像素同时执行,逐行地执行和读出。

3.1。描述全球快门像素

一个基本组件的全球快门(或快照)像素6)是一种取样保持的以模拟存储(S / H)开关(所有寄生参数放大器输入)和源输出放大器,它充当一个缓冲放大器隔离传感节点,并执行用像素放大。行选择(RS)晶体管中发挥着重要作用的读出阶段暴露周期。常见的4 t全局快门的原理图像素(像素实现使用4晶体管)如图3。PD的入射光产生的电荷转移和存储在用像素寄生电容后的集成。

3.2。像素控制

确保传感器操作按照曝光时间表,S / H阶段可以替换为一个合适的控制电路,实现半开口的快门的功能。

电荷存储相关的一个重要问题是全球快门效率(GSE)。根据(8- - - - - -10],越来越倾向的CMOS成像制造商可以注意到取得更好的GSE值,定义为一个比光电二极管的灵敏度在打开状态像素存储寄生敏感性在关闭状态。或者换句话说,它的比例是打开状态的量化宽松政策结束量化宽松的快门。存储寄生灵敏度有许多组件,包括电荷存储由于直接的光子,形成扩散电荷寄生电流以外的光电二极管(PD)和直接PD模拟存储泄漏。特定的GSE CMOS传感器(8](Aptina MT9M021)在这项研究中的应用是图所示3。保持传感器性能,同时减少像素大小,需要更高的量子效率和更低的噪音。用像素的电子和光学隔离存储节点也变得越来越困难,减少像素大小。Aptina最近3.75和2 8μm(第三和第四代)全球快门像素阵列实现(8一点]一些额外的功能,如行操作噪声校正及相关双采样(CDS)降低暗电流的影响(热代电子空穴对枯竭地区)和读出噪声和改善GSE。另一方面增加进行像素级功能,随着晶体管数量,灵敏度是有争议的,因为填充因数下降。

在我们的实验中,我们利用相对较低的GSE Aptina MT9M021传感器。在现场短集成时间和低亮度,PD漏模拟存储在读出阶段可以效仿的低量化宽松阶段曝光方法提出了部分2.1(假设和所代表的是曝光时间和读出时间,职责)。在我们的实验中,我们使用一个定制的测试硬件(部分中描述3所示。3),我们不仅可以控制传感器的集成时间但读出时间(通过读出频率)。二级模糊图像的定性特征将叠加在最初的清晰图象取决于读出时间()。读出时间可以计算如下: 在哪里表示读出频率。因此,(6)可以改写成如下形式: 请注意,(7)意味着检测对象的读出时间取决于其垂直位置上的图像。

我们的硬件的功能使我们能够指定的时间间隔和基于量化宽松的GSE特定的传感器。在测量期间,我们做了一个实证观察。车牌可读性和之间的权衡的对比背景和光线跟踪是平衡的,当以下观点: 这就需要进一步调查,但在这种情况下,存储电荷的主要暴露和电荷积累造成的泄漏(直到读出)是在同一个数量级(9)。因此,明亮的跟踪会出现在形象,代表在读出大灯的运动。技术细节与成像仪设置描述部分4所示。1。

3.3。测试硬件

在我们的实验中,我们使用一个定制的测试硬件,(详细描述11,12]。图4显示了相机模块和图像捕获设备。系统由一个摄像头模块,一个接口卡,FPGA开发板。相机模块利用前面提到的Aptina MT9M021传感器,这是在触发模式下操作,这样可以同步多个摄像机在硬件水平。接口卡负责反序列化相机和FPGA板提供输入数据。该接口卡设计兼容一系列FPGA开发板。在我们的实验中,使用FPGA董事会Xilinx SP605评估工具包基于Spartan-6 FPGA。如上所述节3所示。2,我们可以控制的读出频率传感器,测量,这使它成为理想的平台。

4所示。光线跟踪检测

让我们考虑测量几何(在图2)是已知的。节中描述2.1,预期的准确性的方法本质上取决于光线跟踪长度测量的准确性上捕获的图像。因此,整个系统的关键是准确的跟踪检测方法。指定这样的系统的要求,相关法规和特异性可能的应用程序必须考虑。第一个明显的应用程序可以使用cam系统速度。不同国家的法规在这方面有所不同;例如,在美国,被测试单位必须显示目标车辆的速度+ 2,内−3 km / h,据美国交通部国家公路交通安全管理局(13]。我们将使用此数据作为参考基准研究期间,只为最初的概念验证测量,没有任何批准的验证过程。注意规范更加宽容以较低的速度范围的相对精度。其实这绝对精度要求是匹配我们的速度测量的概念,因为像素精度相当于光线跟踪检测宽容。

除了速度凸轮可以有其他应用程序和要求没有那么严格,尤其是在智能城市环境中,如交通统计数据和交通领域的监控。

4.1。输入图像的要求和描述收集数据库

达到最好的结果在光线跟踪检测过程中,输入图像必须使用适当的成像传感器设置捕获。传感器的集成时间和读出时间从根本上改变跟踪检测方法的有效性。跟踪测量方法需要尽可能短的积分时间。这将确保最大对比光线跟踪和背景,使检测更加简单和准确的。相反,图像分割的车牌识别需要一个明亮的图像,较长的积分时间。另一方面,这将是有利可图的读出时间延长,因为跟踪的时间越长,更准确的测量。但是随着二次曝光变得更长,更多的电荷累积,模糊图像在低强度也较低的(甚至QE)区域,使汽车识别更为困难。在我们的实验中,我们观察到的最好的结果在一个相对较低的照明范围100 - 1700 lx,和所有的图像呈现在报纸上被抓获的照明条件。如果照明超过这个水平的下限积分时间的传感器不允许进一步的补偿,一个中性密度滤光片应该用于维护结果的质量。在我们的测试中,我们使用集成乘以22女士约0.2 MHz读出频率,它适用于前面提到的照明水平和满足的假设(9以下列方式)。考虑到测量对象的框架。修改后(9),我们得到 GSE平均效率值在可见光谱。结合(10)和(7),与传感器的特定的值替换后得到(11)

我们捕获的图像设置为图像处理方法在实际测量情况。在选择一个合适的位置测量,我们观察到的流量。众多图像捕获与我们的测试平台与各种车辆和大灯组合:客车和货车领导和卤素灯。一组这样的照片中可以看到图5。车辆的速度大约是40 - km / h,由于测量进行了在城市区域。两个单独的图像数据库捕获:一个相机和一套音响,分别组成的约200和50图像。单一相机数据库已分离到一个评价集和一套学习。学习图像集由大约30车辆大灯不同几何图形的图像,图像处理的参数优化方法。

4.2。检测算法

本节总结了光线跟踪实现的图像处理算法提取。输入图像图中可以看到一个例子6,这与我们的测试硬件被捕(部分3所示。3)。光的痕迹,引起的头灯,清晰可见。有一些普遍的特征光的痕迹图像,可以在检测过程中使用。首先,无论车辆和大灯本身,它通常是一个饱和,或接近饱和,区域的图像。在大多数情况下,头灯本身和跟踪的第一部分是饱和,而且,根据大灯类型、跟踪的强度降低对其端点。第二,如果传感器水平对齐和相机支架放置在~从地面0.6米,头灯预计将大约的,将会出现痕迹的水平边缘图像。

作为第一步,我们应用直方图变换来突出图像的明亮的区域,抑制其他地区的现场,这更少的处理将在后续步骤中不相关的区域的图像。这是紧随其后的是一个各向异性的边缘增强,强调水平边缘。然后,下一步是阈值。如前所述,地区的问题通常是近饱和;因此,边缘增强后,普遍高可以使用二值化阈值。这个结果在一个二进制图像,我们可以提取和标签blob(二进制大对象)的边界。然后,我们根据边界长度过滤气泡。blob和边界长度超过阈值水平下被丢弃,剩下的将被视为候选对象。这些最小和最大阈值定义基于学习图像集和测试,从而确保获得最大程度的可靠性。在每张图片,我们会得到一个候选对象的数量。 If the input image was the one on the left side of Figure6,我们会把对象作为候选人表示在图的右边6。剩下的blob再次过滤,根据水平到垂直之间的比例大小的边界框。选择候选人的最终对象是基于形态学特征。正如你所看到的图6,反思车身可以调节光的形状几何接近摄像机跟踪,使测量的问题,所以我们总是喜欢选择过程的进一步跟踪。算法的输出是完全水平的大小选择的blob,包括大灯的饱和区域。上面描述的算法能够检测光线跟踪以91.46%的比率(基于前面提到的评价图像集),如果输入图像捕获在前面描述的方法。算法的流程图如图7。

5。跟踪长度测量和校正

光线跟踪后检测到输入图像,准确地测量它的长度,为了得到一个准确的估计的运动速度。跟踪检测的输出水平的大小选择blob(表示在图8)。测量的帧间运动头灯,我们需要确定两个端点的痕迹。识别跟踪的起点是困难的,因为有一个饱和区域,正如你所看到的数字6和8。在本节中,我们总结的方法,我们开发了跟踪长度修正。

5.1。与一对立体图像获取地面实况

节中描述4所示。2提出的图像处理方法计算速度估计,基于饱和或接近饱和的一些性质的地区形象。因为信息丢失在这些地区由于饱和,起点的定位跟踪测量长度需要以不同的方式完成的。考虑第二个辅助摄像头同步主传感器,适用于相同的曝光设置,但黑暗中性密度滤光片,削减了90%的入射光线。因此,只有最亮的点的场景会出现在第二校正图像(图8)。我们的测试平台能够同步多个摄像头,传感器的控制信号由一个FPGA驱动11,12]。与立体通信方法,我们可以确定光源的位置,基于补偿图像。

让和的预测跟踪的起点(),如图8。两种观点之间的内在射影几何定义如下: 在哪里基本矩阵(14地图点)线在在像素坐标,在那里是纵向线。认为检测跟踪起点是点状物体在二级图像和立体钻机的基本矩阵从外在和内在的校准。在这种情况下,纵向线的交点的主轴检测跟踪(如果描述为一个blob)定义了跟踪的起点。在那之后,跟踪可以测量的长度。后来,我们认为这是真理。在大多数情况下,饱和地区在补偿图像是一个点状对象具有良好的逼近,和不确定性引起的blob在二级检测到图像的大小是可以忽略的。

验证结果,我们应用一个惯性测量单元(IMU)车辆记录汽车的速度在一个真实的情况。我们的解决方案提供了1.3%的误差与乌兹别克斯坦伊斯兰运动测量相比,这将鼓励我们使用这个立体方法获取地面真理。概念验证测量的描述和相关的数据可以发现15]。

5.2。统计跟踪起点定位基于单个相机

当使用一个摄像头捕捉图像,最好的选择可能是一个基于统计的评估跟踪轨迹的起点的长度测量。根据图8,我们估计的长度跟踪在以下方式: 在哪里发现blob的长度,跟踪自己,分别是水平的大小头灯。这是基于一个假设跟踪的起点是中间的头灯。对于这个计算,我们开发了一个算法来单独的光束来自大灯,大灯的饱和区域,垂直剖面的基础上发现气泡沿水平轴。根据我们的音响数据库,计算平均值的区别大灯中心和光线跟踪起点通过立体通信方法是3.2像素,偏差是1.6像素。使用的描述方法跟踪起始点估计,我们跟踪检测算法和评估结果相比地面真理。图9显示的错误检测方法。整个检测和测量算法只使用一个重复曝光的一个摄像头导致4.1%的整体精度。因此,它可以被使用,例如,作为传感节点的智能城市传感器网络流量监测和监控,而不是精确的速度测量。

计算跟踪长度成正比的移动速度和相机之间的距离成反比,车辆,减少车辆和相机之间的距离和更高的移动速度意味着更高的精度。注意,在图9,可以观察到不同的误差值与类似的跟踪样品的长度。这种效果来自估计和真正的大灯中心之间的差异在不同的大灯的几何图形。

5.3。精度提高的可能性基于新型传感器的设计理念

在本节内,稍微提高曝光控制方案提出了改进测量方法的准确性和可靠性。与小说像素架构和快门的修改周期,主要暴露后插入一个额外的短暂关闭状态(打开、关闭、半开口和关闭),可以实现一个形象,在光线跟踪和大灯的饱和区域分离,大大简化了测量它的长度,使其更准确。这个方法需要一个dual-pixel传感器体系结构与一个真正控制快门以及修改用像素电荷存储的方法。因此,未来的研究的目的是开发一个定制的VLSI设计,在硬件层面上这种分离的能力。

6。结论

总结结果,开发了一个新颖的基于视觉的速度估计方法,能够测量速度的指定对象就是基于单一曝光一个成像传感器的形象。测量的结果是令人鼓舞的,因为发表intraframe速度测量解决方案3在户外环境中)在平均达到了5%的准确率。这篇论文中给出的方法是基于假设需要高质量、高帧频,因此昂贵的相机。我们的解决方案提供了类似的准确性与低端传感器和更好的准确性与一对音响,可以匹配速度的要求凸轮传感器良好的照明条件。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

kap - 1.5的支持14/006格兰特和拉兹洛的米粒的建议是极大地承认。

引用

1. d . Sawicki交通雷达手册:一个全面的指南,速度测量系统Authorhouse布卢明顿,印第安纳州,美国,2002年。
2. f . w . Cathey和d . j . Dailey”,一种新的方法来计算动态测量车辆速度使用未校准的道路摄像头,”2015年,http://www.its.washington.edu/pubs/autocamcal iv05 - 2. - pdf。视图:谷歌学术搜索
3. H.-Y。林,K.-J。李和学术界。常”,车辆速度检测从单一运动模糊图像,”图像和视觉计算,26卷,不。10日,1327 - 1337年,2008页。视图:出版商的网站|谷歌学术搜索
4. H.-Y。林和学术界。常,“自动速度的测量球面对象使用一个现成的数码相机,”《IEEE国际会议上机电一体化(ICM 05),页66 - 71,台北,台湾,2005年7月。视图:出版商的网站|谷歌学术搜索
5. m . Celestino o . Horikawa,“速度”measuerment基于图像模糊,在机电一体化ABCM研讨会系列,3卷,第642 - 633页,2008年。视图:谷歌学术搜索
6. o . Yadid-Pecht和r . Etienne-Cummings从Phototransduction CMOS成像系统图像处理,2004年Kluwer学术。视图:出版商的网站
7. p . b . Catrysse b . a .万德尔,“光学图像传感器像素的效率。”美国光学学会杂志》上,19卷,不。8,1610 - 1620年,2002页。视图:出版商的网站|谷歌学术搜索
8. s . Velichko g . Agranov j . Hynecek et al .,“低噪音高效3.75μm和2.8μ全球快门CMOS m像素数组”学报》国际图像传感器车间(IISW 13)美国雪鸟,犹他州,2013年6月。视图:谷歌学术搜索
9. s . Lauxtermann a . Lee, j·史蒂文斯和a . Joshi”比较全球快门像素CMOS图像传感器,”《国际图像传感器车间(IISW ' 07)2007年6月美国,Ogunquit,我。视图:谷歌学术搜索
10. j . Solhusvik s Velichko Willassen et al。”,一个1.2像素的1/3^”全球快门CMOS图像传感器pixel-wise自动增益选择,”学报》国际图像传感器车间(IISW 11)2011年6月,日本北海道。视图:谷歌学术搜索
11. 一个。Zarandy m . Nemeth z,纳吉,A .吻l . Santha和t . Zsedrovits”无人机的实时多摄像头视觉系统碰撞预警和导航,”实时图像处理》杂志上,2014年。视图:出版商的网站|谷歌学术搜索
12. A . Zarandy z Nagy, b . Vanek t . Zsedrovits A .吻和m . Nemeth”无人机的five-camera视觉系统计算视觉的态度和碰撞警告,”计算机视觉系统:9日国际会议,ICVS 2013年中的那圣彼得堡,俄罗斯,2013年7月16日至18日,。诉讼卷,7963在计算机科学的课堂讲稿施普林格,页- 20日,柏林,德国,2013年。视图:出版商的网站|谷歌学术搜索
13. 美国交通部国家公路交通安全管理局,“测速设备性能规范,”2015年,http://www.theiacp.org/portals/0/pdfs/IACPLidarModule.pdf。视图:谷歌学术搜索
14. j·马龙和p·f·惠兰射影矫正的基本矩阵。”图像和视觉计算,23卷,不。7,643 - 650年,2005页。视图:出版商的网站|谷歌学术搜索
15. m . Nemeth和a . Zarandy“新传感器概念intra-frame场景和速度捕获,”《欧洲电路理论和设计会议(ECCTD 15),页1 - 4,IEEE,特隆赫姆挪威,2015年8月。视图:出版商的网站|谷歌学术搜索

版权

版权©2016 Nemeth交配和阿尔卑斯山脉Zarandy。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。