文摘

自动融合不同类型的图像数据集是如此棘手的和多样化的成像原理。本文提出一种新颖的方法自动融合两种不同的图片:2 d所获得的高光谱图像与高光谱相机和三维激光扫描获得的激光扫描仪,没有任何其他的传感器。只有少数使用对应的特征点,自动从一个场景中提取被两个传感器。提取特征点的方法依赖于冲浪算法和相机模型,可以将三维激光扫描转换成二维激光图像的像素强度定义的属性在激光扫描。此外,共线性方程和直接线性变换用于创建最初的两幅图像的对应关系。调整还用于创建纠正值来消除错误。实验结果表明,该方法成功地验证与高光谱相机和激光扫描仪采集的图像。

1。介绍

光谱成像技术可以快速检测出成百上千的不同光频率和相对强度的表面特征,这是不同于普通相机,通常只有三个不同频率敏感(红、绿、蓝)。激光扫描技术可以快速获得准确的表面特征的几何信息,尽管不利的外部环境。如果可以将高光谱数据和激光数据融合,光谱信息和空间信息的同时可以获得相同的位置,可有效弥补单一数据源的不足。

目前,注册和融合的高光谱图像和激光扫描的研究热点。然而,由于多个不同传感器和不同的成像方式的融合非常复杂。最常见的方法是使用手动执行注册方法。然而,这种方法在实践中精度很低。只有几种方法存在调整这两个数据集相同的位置。尼托等。1)安装了一个数码相机上的激光获得彩色点云翻译成二维彩色图像;然后注册完成的分段线性变换。Kurz et al。2)使用两个传感器来检测目标的位置,然后纠正他们完成注册。圣扎迦利和胡安(3)获得通过GPS两个传感器之间的初始位置,然后使用互信息完成注册。此外,一些方法,将普通数字图像与激光扫描可以用来参考。例如,蔡相机标定方法(4,5)是用于获得2 d-3d同源分和未知参数来实现登记。然而,精确的对应点困难发现因为颜色不同的结构。立体匹配(6)是用于多映像转换为三维点云实现2 d-3d登记。然而,这种方法没有实现单一图像和点云的登记。此外,互信息(7- - - - - -9]也用来完成2 d-3d登记。共线方程被用来构造2 d-3d通信(10,11)来实现天线的登记和激光扫描图像。

总之,本文试图创建一个方法,可以正确地注册并融合高光谱数据和激光数据没有额外的传感器。本文的其余部分组织如下。部分2提供了该算法的数学模型。部分3详细描述了自动融合的算法。部分4这种自动融合方法进行模拟和验证。最后一节5使结束语和地图未来工作方向。

2。推导的数学模型

2.1。坐标系统的定义

2.1.1。高光谱图像的坐标系统

高光谱图像的数据模型,不同模型的遥感影像和数字图像特征向量表示模型和多维数据集模型可以表达的数据,如图1。设在和设在表示空间维度和设在表示光谱带。飞机是一个乐队的图像信息或多波段的高光谱图像;飞机和飞机是一个高光谱图像的光谱信息,如图1(一)和1(b)。高光谱的多维数据集模型和频谱波形图像素图所示1(c)。

扶轮扫帚高光谱相机扫描成像线阵列扫描模式和高光谱图像是二维的图像。成像几何模型是创建对象空间和图像空间之间的映射关系,如图2,在那里坐标原点;是横坐标,沿旋转方向的高光谱相机旋转起始位置;是纵坐标,它是沿着垂直方向旋转。水平分辨率决定与转盘的旋转速度和垂直分辨率是由高光谱相机的扫描速度。

2.1.2。坐标系统的激光扫描

地面三维激光扫描成像线阵列扫描模式和激光图像是三维点云,其坐标系统是由self-laser确认,如图3,在那里坐标原点,扫描仪的光电中心;是扫描垂直旋转轴;扫描仪是沿着光轴任意水平角度,如第一个水平角或内置磁罗经的北方向;正交于和,这是由右手系统。

2.2。相机模型的定义

扶轮扫帚高光谱相机和地面三维激光都依赖于圆柱坐标系统,但他们的图像,分别2 d和3 d,所以相机模型形成三维激光扫描转换成二维激光图像。

这款相机模型是由全景照相机推断模型(12,13),如图4。公式所示 在哪里激光扫描的意义;二维激光图像的意义;是距离cameral模型的原则;二维激光图像的原理;是修正参数。

通过(1),二维激光图像计算,但它们的值的类型是双,2 d图像像素的类型是整数,所以呢必须改变为整数值,所示 在哪里是点位置的2维图像;水平分辨率;垂直分辨率。

二维激光图像的像素值由激光扫描的属性,定义可能的信息,如颜色、曲率,和正常的,等等。公式如下: 颜色的值是在哪里,在(0 - 255)范围;的属性值是;和分别是,这个属性的最大值和最小值。

3所示。自动融合算法

在这个自动融合算法,首先,高光谱灰色图像提取的高光谱图像和二维激光图像吗从激光扫描是由相机模型。然后,的特征点和生产冲浪和SC-RANSAC,高光谱图像的特征点和激光扫描生成与相机模型的逆操作。最初的注册是通过共线性方程和直接线性变换;精密登记完成后通过创建纠正值与调整来消除错误。在长度,自动融合是通过注册的结果。这个算法流图如图5。

3.1。初始登记

3.1.1。提取特征点

特征点之间的和由冲浪提取算法(14),这是优于筛选算法在每一个方面15- - - - - -17]。为了消除错误特征点,SC-RANSAC [18),这是目前最快的RANSAC扩展结合RANSAC和空间一致性检验从文献[19]。此外,搜索方法,提高速度,一个重要的角色是随机KD树算法(20.],它由多个随机搜索KD树推进搜索节点,其精度和匹配速度更高维数据搜索(21,22]。

在完成特征点的提取,根据摄像机模型的反演操作,相应的三维特征点的是发现。如果(高光谱图像的特征点()是对应的特征点的激光扫描,找到它们之间的对应特征点,。

3.1.2。共线性方程

共线性方程,使用摄影测量的基本方程,建立了二维坐标之间的映射关系和三维坐标。如果在高光谱坐标系统对应在激光坐标系统,它们之间的对应关系可以表示为 (在哪里)是旋转的方向余弦矩阵;是系统错误修正;是校长的距离。

直接线性变换(DLT)是直接的解决方案之间的线性关系图点坐标和对应的对象点坐标,它本质上是一种空间后方交会和空间交会法。该算法适用于各种没有度量相机没有已知的内部定位元素,也适合近距离摄影测量的大角度没有最初的外部定位元素。根据DLT算法,(4)翻译成以下公式: 在哪里()系数。根据这些系数,内部定向元素和外方位元素之间的高光谱坐标和激光坐标计算。之间的对应关系和也计算。然而,由于大迪泰的错误,(只能是近似的结果,对应关系结果初始登记的结果。

3.2。准确登记

为了准确地确定高光谱坐标和激光坐标之间的对应关系,调整执行使用冗余像素高光谱的观测值。如果高光谱像素观测值的改正之间的对应关系和所示

如果的误差方程所示 在哪里是对称的径向畸变系数;是高光谱的矢径像素。

操作执行的最小二乘法的迭代条件是相邻的插值在小于0.01毫米。的计算过程值的迭代过程,每个迭代值是计算控制点。因此,精确的系数值计算。

3.3。数据融合

如果高光谱图像的任意点,在激光扫描的对应点,根据()之间的对应关系和通过计算

因此,基于(8),每个点的激光数据对应于每个点的高光谱数据。

以防的光谱信息吗在高光谱图像的财产在激光扫描,特征除了空间坐标吗,如强度、振幅、等等,高光谱数据和激光数据融合,和的性质表达的是其中包括激光的空间信息数据和高光谱数据的光谱信息,根据相应的关系和。

4所示。实验和分析

为了验证算法的有效性,实验进行。高光谱数据的数据集和激光数据得到的电子显示板的首都师范大学的操场上我们自己的实验室。使用的三维激光是一个格尔lsm - 420我和高光谱成像仪是由我们实验室集成,主要参数如表所示1。数据采集的设置如图6。该算法代码与墨西哥人用Matlab写文件用Visual c++编写的。代码是运行在一个戴尔电脑与国米i5CPU和4 G RAM。

高光谱数据的初始RGB图像数据图所示7(一)。最初的激光扫描显示在图7 (b)水平和垂直的角分辨率是1°的水平和垂直间距约7厘米,不同的颜色显示的强度激光扫描。

4.1。实验

摘要,因为电子显示板的几何形状非常平坦,法向量是相似的,所以生成的点云图像强度作为一个像素值和图像分辨率是由点云的距离。然后点的高光谱图像和激光扫描发现2 d-3d注册算法,和六对特征点选择,如表所示2。

根据共线性方程和DLT初始登记,近似系数(),如表所示3。

根据精确的调整登记、精确的系数(),如表所示4。

高光谱数据的融合和激光数据,分别执行(),(),如图8。最初的融合图像已基本被融合;然而有更多的大错误,如图8(一个)。例如,电子板的文本有明显的偏差。蓝色的点代表没有对应点,所以电子板的底部没有相应的点。精确的融合图像极大地融合,如图8 (b)。文本和电子板的基础上相应的融合。

4.2。精度评价

为了进一步验证该算法的有效性,其他特征点选择的检查站来验证其准确性。首先,面向内部和外部取向元素计算的近似解算法和相应的高光谱计算像素激光扫描。然后,计算了相应的高光谱激光扫描的像素精确解的算法。比较如表所示5。“高光谱图像”是高光谱坐标,和“激光扫描”是激光坐标。“高光谱”是高光谱坐标计算的近似解算法,和“高光谱”是高光谱坐标计算的精确解的算法。

验证检查的错误点,水平和垂直方向上的残余误差,分别计算基于“高光谱图像”和“高光谱之间的距离”和“高光谱”,如表所示6。””和“分别是水平和垂直方向的残余误差之间的“高光谱图像”和“高光谱”。“”和“分别是水平和垂直方向的残余误差之间的“高光谱图像”和“高光谱从表。”6,横向残余的意思是减少错误从20.8094−4.6046和垂直残余意味着错误从−27.8079下降至0.1148。精度大大提高。

此外,二十个检查站被选中来验证该算法的残余误差三十检查站如图9。同意上面的分析中,精确的残余误差登记定形的减少,和横向残余的意思是减少错误从18.3751−1.5820和垂直残余错误是减少从16.3553−−0.11167。总之,这种方法已达到一个更令人满意的精度。

数据集用于自然图像,很少方法尝试比较合适。我们实现了其他方法。但是没有图像成功地通过这些方法保持一致。这个失败的预期。以下是原因。首先,很少和初始条件的方法很多。例如,分担的方法等。1)需要彩色点云是由激光扫描仪和数码相机的标定。圣扎迦利和胡安的方法(3)需要两个传感器的初始站点是通过GPS。然而,本文方法不需要初始站点的两个传感器和额外的设备,如数码相机和GPS。此外,有一些不同的注册方法的比较和激光扫描图像。例如,方法Zhang et al。10适用于检验线和共线方程,但该算法更适合图像和机载数据的天线。该方法在刘23]需要选择手动2 d-3d同一点,人为因素导致的误差。

5。结论

方法融合了高光谱数据与激光数据适合表面特征。这种方法操作通过创建一个二维激光图像使用相机模型和高光谱图像的特征点提取和激光扫描。共线性方程用于创建对应找到正确对齐的高光谱图像与激光扫描。调整是用于提高注册的准确性高光谱图像与激光扫描。演示的方法成功地融合高光谱图像和激光扫描工作。在未来的工作将获得数据集与自然环境和功能将更为复杂;因此,特征提取和准确性需要进一步加强。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由国家科技支撑计划支持中国(2012 bah31b01),北京自然科学基金的关键项目,中国(B) (KZ201310028035),太原理工大学和青年基金会,中国(2013 w014)。