文摘

本文侧重于开发和飞行性能分析的图像处理技术旨在检测在空中飞行障碍全色图像。这是发达的框架内研究项目,旨在实现一个典型的障碍检测和识别系统,特点是一个分层的多传感器配置。这个配置包括一个雷达,主要的传感器,和四个光电相机。相机被用作辅助雷达传感器,为了增加入侵者飞机位置测量,准确性和数据速率。本文全面描述了选择和定制开发的图像处理技术,以保证最好的结果的检测范围,漏检率和虚警率。性能评估的基础上大量的图像聚集在与入侵者飞机飞行测试。改善的准确性和数据速率,与雷达只跟踪相比,定量地证明。

1。介绍

hmost后重要的指导方针对无人机系统(uas)集成到民用空域,这些飞机的机载航空电子设备必须包括感受并避免(保险)系统能够代替人类飞行员在执行视觉碰撞检测和避免威胁。一般来说,detect-sense-and-avoid的架构(DS&A)系统,在文献[1- - - - - -5),是由两个子系统组成,比如障碍检测和跟踪和避碰。提出了一些解决方案来提供“感觉”功能。他们从独立的光电(EO)传感器集成的体系结构,包括机载雷达和协作系统基于广播信息,如见面(交通防撞系统)和ads - b(广播式自动监控广播”)6- - - - - -12]。

多个传感器配置允许补偿单一传感器的缺点,详细记录(7,12]。因此,在一个研究项目的框架由意大利航空航天研究中心(CIRA)和那不勒斯大学的“费德里科•二世”旨在展示一个完全自主避碰系统在飞行中,一个集成的雷达/ EO配置选择。此外,为了满足要求的精度水平,数据率、误警率,和错过的检出率,层次逻辑架构已经被认为是在雷达的主要传感器和光电系统提供了一个辅助的作用。这种架构被选几个原因,如以下;(1)传统的光电传感器执行初始检测比雷达近距离,即使他们配备低噪音和高分辨率探测器。在某些情况下,这些范围可以短于执行安全避免操作所需的最低的2.5敝中断在半空中飞行的顺序。事实上,他们的检测性能受环境条件的影响较大。(2)光电传感器不输出直接估计范围。因此范围和速度范围获得至关重要的信息,但是他们需要猜测碰撞威胁的概率。(3)一个独立的雷达配置不足以提供足够的性能障碍的重游率和准确性在障碍方位角和高度角的决心。特别是,这适用于机载雷达与机械扫描功能。此外,雷达与不利天气条件影响性能下降。(4)独立的雷达跟踪估计可以有效地减少计算时间和光电图像处理的误警率。Windows和足够的跨越根据雷达角度测量范围和精度可以选择;他们以独立的雷达跟踪的障碍位置估计。(5)一般来说,传感器冗余许可来提高整个系统的可靠性和健壮性,以达到所需的性能水平的假警报,错过了检测。因此,雷达传感器执行初始检测和跟踪和直接range-to-obstacle测量提供历史全天候覆盖,而光电系统允许增加的准确性和数据率。

在文学光电目标检测的基础上进行了不同的技术,如光学流(13,14),形态学滤波后跟track-before-detect颞滤波(15),和形态滤波增强训练的分类器(16]。一般来说,这些系统需要大量计算资源以满足完整图像的实时检测的障碍。此外,他们的产出可能会遭遇假警报率高,因为背景去除处理不准确的图像大小增加。

本文重点是描述障碍检测技术采用过程的EO图片在上面的回忆CIRA项目。特别是,它描述了图像处理算法开发全色相机和我们如何管理一些图像关键问题为了有最好的算法性能。

本文组织如下。简要描述后障碍检测系统体系结构,不同的障碍检测技术从应用程序的观点,分析了和发达算法。技术优化的基础上,然后讨论了飞行测试的结果。最后,总结了飞行性能的图像处理算法,证明了系统的准确性和可靠性符合要求的多传感器跟踪系统。

2。障碍检测系统体系结构

典型的障碍检测和识别(ODID)系统是安装在CIRA实验非常轻型飞机(VLA)命名的航空研究飞行实验室(火炬)为了评估检测性能与入侵者飞机飞行测试。它由脉冲雷达,也就是说,ai - 130的障碍感知系统模型由前Amphitech两个摄像头,可见全色和颜色,也就是说,盟军视觉技术马林模型,和两个红外(IR)相机,FLIR A40V。传感器单元放置在顶部的飞机机翼的雷达在中央位置。可见的两个摄像头安装飞机纵轴平行,因此,可以同时得到颜色和全色同一地区的高分辨率图像。红外摄像机轻微偏心指为了得到一个方位的视野(FOV),也就是说,与可见的相机。雷达运行35 GHz的载体,是一个很好的妥协对天线尺寸符合要求,雨和雾角精度和灵敏度。可见相机的视场大约49.8°×38.9°,他们输出图像的最大分辨率1280×960像素。全色相机是用于障碍检测和它的输出是融合雷达卡尔曼滤波器的估计(7]。事实上,颜色相机旨在障碍识别将会在未来实现。红外摄像机视场较小24°×18°最大分辨率为320×240像素。他们安装检测障碍在黑暗的光度的条件下,以取代全色相机。图1显示了耀斑的传感器包安装在机翼后面。

两种不同的处理单元完成整体ODID系统:real-time-tracking计算机(RTT-CPU)和图像处理计算机(IP-CPU)。第一个是基于确定的操作系统(OS),也就是说,Microsoft Windows CE v.5.0,并直接连接到雷达通过以太网连接,传输控制协议/网际协议(TCP / IP)协议。它执行real-time-tracking算法和执行数据路由到指导、导航和控制(GNC)系统通过确定性控制器区域网络(可以)总线。第二个计算机是连接到光电传感器通过火线链接。它是基于传统的操作系统,也就是说,微软Windows Xp嵌入式,致力于可见光和红外图像的处理。两个处理单元通过以太网链接交换数据通过用户数据报协议(UDP)。图2的示意图表示DS&A系统硬件体系结构。

入侵者检测的全色相机分层流程后提供。入侵者距离、方位角和仰角估计雷达跟踪算法是图像处理算法的输入数据。它会将他们从飞机身体参考系(BRF)相机参考系(CRF),也就是说,基于相机校准矩阵估计通过一个适当的过程(17]。随后,它会检查,如果他们可以包含到摄像机视场。如果入侵者的位置是在视场内,执行图像处理例程。只有选择搜索窗口在全色图像处理。它是集中在雷达探测到入侵者位置,与宽度和高度取决于入侵者范围和预期的雷达和态度测量误差。通过这种方式,对象检测算法可以生成一个准确的估计的入侵者CRF的角位置。在检测的情况下,这个估计是转换回BRF RTT-CPU和传播。因为只有一个部分的整体形象,分析了目标检测算法运行非常快因此减少延迟在提供测量多传感器跟踪滤波器。

3所示。图像处理技术的选择

全色图像处理算法选择的相机之前列出的详细比较主要的方法在文献[18- - - - - -25]。它旨在评价最好的算法计算负载而言,探测距离,假警报和漏检率,适应各种背景亮度和照明条件。

一些图像处理技术被认为是可能的候选人实时目标检测,如集群、光学流、二值化、边缘检测和标记算法。

特别是,第一种技术组的对象在一起,验证每个像素的内部和外部连接;光学流段移动物体从背景假设当地时变图像区域像素强度约为至少短时间常数;二值化技术提供了一个黑白图像特征的像素强度超出了解决高斯限制;边缘detection-labeling过程检测物体的轮廓和图像中物体和背景之间的界限,提供在输出一个黑白图像19,20.]。

前两个图片处理技术已经从可能的候选人丢弃后对我们的研究应用理论的考虑。集群技术是计算密集型因此阻碍实时性能,光学流并不是适合我们的系统,因为它的特点是一个最大的收购数据速率为7.5 fps。事实上,这种低日期提供像素位移速度比1大像素每帧,也就是说,一个光流技术要求(14]。

二值化技术已经应用于多个图像序列在飞行测试,以评估的最佳阈值分离入侵者飞机的背景噪音。结果为我们的应用程序的最佳选择的基础上统计图像期间获得航班。在上面的报告标准,μ考虑搜索窗口的平均强度,而σ是它的标准差。假设像素强度的高斯分布在搜索窗口中,这个阈值对应的概率估计99,7%。将更好的澄清以下,二值化技术已经证明的主要缺点在于其不满意的性能非齐次的背景。

最后,detection-labeling边缘的实现技术进行了以下一个逐步的过程,等(我)建筑的搜索窗口的基础上雷达估计,在前面的小节中已经解释过;(2)搜索窗口二值化通过Sobel边缘检测技术(18,20.,21];为了限制背景噪声的影响,相对较高的阈值被认为是在索贝尔方法中,假设的基础上产生的强度梯度入侵者大于其他背景物体;讨论关于阈值选择的更多细节在以下;(3)标签的技术实现连接中的所有像素检测的关键搜索窗口(如果有的话)和输出有限数量的边缘;(iv)检测入侵者飞机作为最大的优势,也就是说,由最大数量的边缘像素。为了具体数据3和4说明采用的实现方法及其输出额期间拍摄的航班上遇到的阶段。

最后图5显示了边缘detection-labeling技术应用于搜索窗口包含入侵者飞机在2400米的范围。

两个重要的点算法实现相关搜索窗口的尺寸和索贝尔阈值的选择。他们集中在下面。

3.1。搜索窗口的大小

搜索窗口定义必须考虑几个方面。首先,窗口尺寸必须设置考虑雷达误差等不确定性来源NED和剩余时间/空间登记错误。另一方面,在相对较小的范围内,搜索窗口必须大到足以将最大可能的障碍。最后,窗口尺寸不能增加太多,因为障碍顺向计算重量的检测技术。

因此,搜索窗口的大小定义如下。当入侵者估计范围比350大,像素的窗口有恒定的维度,也就是说,150(宽度)×100(高度)像素,对应角视场约6°×4°。当然,线性尺寸增加范围和搜索窗口的增加总是足以将一个典型的民用航空飞机,如波音737和空客A320。为了设置一个下界搜索窗口的大小,当距离小于350像素的窗口的大小是成反比的范围从而实现恒定的线性尺寸。事实上,这种情况下是几个感兴趣的意义,避免应用程序。

图6描述线性尺寸(米)的搜索窗口的函数估计的入侵者。

3.2。Sobel阈值

至于Sobel阈值的选择,它是不固定的,但是它改变的函数估计的入侵者。最有效的阈值可以区分入侵者从背景中已经计算了实证分析的基础上,大量的飞行测试期间拍摄的图像(26]。造成,最合适的阈值适用于强度梯度大小增加当入侵者范围降低,改变从39 42的最大值。这些结果在图解释7该报告的一个例子的梯度直方图在搜索窗口大小和描述了阈值应用于三种不同的入侵者范围情况下(低、中、长期)。此外,读者可以观察到柱状图瑞利分布,按照vooorhees和方法的理论(27]。

此外,评估我们的瑞利概率密度函数(pdf)曲线,我们获得成正比入侵者,站平行虚惊概率增加的范围。然而,图8说明了入侵者的pdf功能的变化范围,它表明,误报的概率非常低,小于10⁻⁸,整个阈值的插槽。

4所示。飞行结果和算法的优化

为了比较两个候选图像处理技术,他们已经应用于相同的拍摄的图像序列在碰撞接触附近进行飞行测试。事实上,我们已获得结果报道在表1。他们可以概括为:(我)二值化技术具有良好性能的计算负载、误警率和漏检率为亮度均匀背景条件。事实上,其性能退化的非均匀背景和相关的探测范围的VLA不能克服1公里;(2)另一方面,边缘detection-labeling技术显示了良好的性能需求,在探测范围和可靠性方面,事实上,它能够检测VLA 2400。因此,detection-labeling克服了边缘二值化在所有方面,除了计算负载几乎都相等。计算负载和实时性能评估的实验室设施开发系统测试传感系统性能(28,29日]。

第一个性能估计后,边缘detection-labeling算法已经精炼针对大大减少误警率尽管增加了检测。由于相机输出是用于提高跟踪的准确性是主要基于雷达传感器,最好IP-CPU输出RTT-CPU更少,但更可靠的光电测量,以提高整个系统跟踪性能。事实上,错过了检测的主要作用是减少光电测量速率,因此该算法能力过滤传感器噪声和提高估计精度,尤其是在角衍生品。相反,如果一个假警报在跟踪门,发生分解,由于小型光电测量协方差,它能产生戏剧性后果等跟踪可靠性偏见代然后追踪损失。

特别是,假警报的关键情况下风险可分为两大类:太阳的目光在捕获的图像,和地平线出现在搜索窗口。

对于第一种情况,“太阳存在检测器”已经实现了。它对整幅图像的比例的饱和像素,它是基于统计研究应用于真实图像。从结果,总是验证,当太阳在镜头面前,15%以上的像素是饱和的。这个比例参考阈值被认为是由探测器;如果检测到太阳,边缘检测算法不运行和IP-CPU不发送任何光电跟踪测量。

太阳探测器实现的一个例子是图所示9。

地平线出现在搜索窗口中以不同的方式处理根据入侵者的范围。特别是,detection-labeling边缘后,进一步过滤实现为了比较瞬时入侵者的最大边缘长度范围和评估的概率是入侵者或背景噪音。参考是民航飞机的翼展长度(B737)以及机翼跨度较小的车辆如TECNAM先驱。他们在不同的范围,计算考虑大气也扩展和高度的影响30.),模型通过以下方程: 在哪里衰减长度的百分比,对象范围的观察,然后呢衰减因子,根据白天的能见度和对象的高度吗。

然而,假设飞行测试中执行“霾”环境(30.),图10说明了衰减因子变化的影响当高度增加。

因此,边缘检测的输出是声明为入侵者是否包含在参考翼跨越的范围。其次,该算法提供了一个更高级别的控制,它检查如果发现边缘有其他类似的片段,在这种情况下,它不输出任何入侵者位置测量。地平线上的一个例子出现在搜索窗口,产生的边缘检测报告在图输出11。

应用这些假警报控制风险,边缘detection-labeling方法提供了改进的性能表2。

重要的是要指出,这些结果符合跟踪需求表达的假警报率,计算时间,检测范围。

此外,数据12和13显示全色相机测量允许一个伟大的改善精度和数据率对雷达只跟踪、方位角和仰角估计。在这些情况下,没有光电假警报和每一个从全色相机落正确测量到跟踪门,可以融合雷达RTT-CPU估计。

至于实现精度和测量速度,因为剩余不确定性的数据同步和传感器校准,平均光电检测准确性North-East-Down (NED)参考系被发现的0.5°,测量5赫兹的速度,也就是说,受到最大的可实现的全分辨率帧速率。虽然这些值并不代表光电系统的性能极限,他们已经显示出显著提高雷达性能相比(1.7°角精度和测量速度小于1 Hz平均)。值得注意的是,实时半实物测试演示了一个约0.1°的准确性(28]。

由于这些性能水平,发达多传感器跟踪系统的精度和可靠性可以大大提高(29日]。

5。结论

本文集中于可见光相机的图像处理算法的性能集成在一个分层的传感器架构无人机系统感受并避免应用程序。系统安装在一个非常轻型飞机和它的特点是多传感器解决方案:雷达,主要的传感器,和四个EO相机,协助对雷达传感器,两个和两个红外可见。特别是,全色相机旨在提高跟踪精度和数据率在最初的雷达的检测。因此,它是强制性的,光电检测可靠,快,适应在不同的天气和光照条件(阳光、多云或雨天),它有一个大的探测范围。最可靠的图像处理技术,提出了应用程序导致detection-labeling边缘。计算负载足够的实时系统,它适用于几个图像背景和它的探测距离约2400米的清洁空气条件。此外,该算法进行了优化针对获得更少的假警报,为了增加的整体可靠性集成系统输出。

全色算法满足需求,它已经证明了感受并避免跟踪系统的整体性能显著增加,对独立的雷达跟踪系统的性能。事实上,雷达能在全天候工作历史条件和执行直接range-to-obstacle测量,而光电系统允许一个更好的角精度,约0.5°对1.7°的雷达测量,并增加数据速率,5赫兹,而不是1赫兹提供的雷达传感器。

承认

的博士学位授予l . Forlenza由CIRA资助。