文摘
长波红外(LWIR)和可见的(VIS)相机图像信息可以在不同的维度,但校准相机这两种方式注册和融合了图像是很困难的。我们提出一个校准板和热成像标定方法和可见光成像解决三个问题:(1)现有的标定板无力解决LWIR和活力同时相机;(2)严重热干涉LWIR相机的标定图像;(3)难以找到特征点注册由于热成像之间的不同的成像光谱和可见的成像。仿真测试和误差分析表明大纲中心点计算的误差小于0.1个像素。欧几里得距离的平均错误封闭的圆的边缘轮廓散点集和封闭的椭圆轮廓中央点减少10%和9.9%,分别。平均Reprojection LWIR和对相机的标定误差0.1和0.227像素,分别。通过设计的图像配准和融合实验,FMIdctMS-SSIM,问沛富后的图像融合、分割和SSIM失真校正都高于失真校正的图像融合之前,最高的增加4.6%,0.3%,3.1%,7.2%,1.4%。这些结果证明我们的方法的有效性和可行性。
1。介绍
相机标定是第一步在机器视觉相机的应用。这一步确定的内部和外部参数视觉成像系统。相机的内在动力和外在的参数决定的内部几何形状和传感器的光学特性,和它的位置和方向相对世界坐标系,分别。这些参数确保多个摄像头的图像融合和协作在机器视觉系统。现有的相机校正的研究大多是基于可见(VIS)相机。张提出了相机标定方法基于高精度校准板(1]。作为复杂环境物质检测的需求上升,长波红外(LWIR)相机,可以获取信息不管光源,可以探测地下信息,吸引了广泛的关注。VIS相机经常校准使用黑白棋盘校准板或固体圆阵列校准板。棋盘校准板是有效的只有当相机对可见光波段十分敏感。LWIR和对相机有不同的谱带,热成像不显示物体的颜色特征,及其对比是由特定的吸收带内的热谱。结果,差异的特征空间和nonfeature空间常规校准板是无形的LWIR摄像头在正常温度(2,3]。VIS摄像机的标定方法是不适用的LWIR摄像头,显示特定的技术需要校准LWIR相机。
现有校准方法LWIR相机主要是可被加热的棋盘校准板基于传统的校准算法。例如,一些研究人员使用校准板组成的照明灯加热电路板、印刷棋盘校准板、emissivity-specific材料,和灯泡,但颜色发射率的差异导致了不同的温度吸收(4- - - - - -8]。大热引起的辐射和温度的差异构建一个棋盘从两个不同的材料将使红外摄像机获取棋盘模式(9]。泛光灯不能统一减轻,因此不能统一校准热盘子。此外,非常严重的热干扰相邻跳棋导致很小的温度变化梯度和较低的图像对比相邻跳棋,这将在很大程度上减少角检测的准确性。Yiu-Ming等人设计了一个校准板的金属网格可以加热的塑料盘子和heatgun-heated使用空气作为介质将热量转移到校准板组成的塑料基板和金属网格(10]。但金属网格的变形会降低角检测的准确性。Hilsenstein了校准板铣棋盘到copper-foil-pressed盘子,在铜薄片所不同的加热特点从玻璃纤维11]。铜薄片之间的直接接触和玻璃纤维仍然造成了严重的两种材料之间的热干扰,使红外图像相邻跳棋之间的界限模糊,导致角检测不准确。
在这项研究中,提出了一种新的校准板设计方案。本校准板主要由一个黑色的加热板,一个圆形的中空的白色校准板,温度控制器和挡板。基于这个设计方案,相应的校准方法可行LWIR和VIS相机同时提出。
本研究的其余部分如下:部分2提供了一个介绍校准LWIR和对相机的总体方案,部分3阐述了校准板设计方案,部分4介绍了校准方法,部分5演示了一个实验验证和部分6总结道。
2。总体方案
的总体方案LWIR和对相机的标定方法见图1的校准LWIR相机作为一个例子。的步骤是:(1)校准图像是通过调整校准板或相机的姿势(2)从标定图像,相机校正计算提取特征点,正是中央的圆形空心毛孔(3)特征点的提取应用于相机标定,内在和外在的参数以及相机的畸变系数计算,所以相机校准完成(4)畸变系数是用于纠正扭曲图像收集的相机
LWIR和VIS相机都可以校准以下步骤。
LWIR和收集的图像对摄像机是注册和融合。相机姿势固定后,图像校准板的收集,并提取特征点。热成像和可见图像的特征点匹配的一对一的矩阵变换。随后的图像注册使用这个变换矩阵,和注册图像融合。
3所示。校准板设计
新的校准板主要由一个黑色的加热板(图2(一个)温度控制器(图)2 (b)),一个圆形的中空白校准板( )(图2 (c)),和一个挡板。加热板是由温度控制器,可以加热均匀。校准板制成的隔热材料,和加热板的热只能通过圆孔的空心部分,但不是校准板的固体部分。解决热干扰,25毫米之间的差距是左校准板和加热板,和一层热反射材料涂抹在校准板的后面。校准板的结构示意图如图2。满足要求的相机标定与不同的参数,我们设计中空隔热挡板校准板的尺寸一样,和了 校准板的大小 (图2 (d))。LWIR相机捕获热量分布地图通过圆形中空的数组,并直接对相机标定板照片。通过这种方式,可以获得不同的光谱相机标定图像。
(一)
(b)
(c)
(d)
4所示。标定方法
的总体流程图如图的校准方法3。首先,选择一个感兴趣的区域(ROI)快速检测校准板。然后基于最小二乘的轮廓拟合方法,中央的圆孔的坐标计算和排序。摄像机根据排序坐标校准。
4.1。标定板的识别
相机校正之前,姿势的校准板cameras-collected校准应当准确识别图像。传统的标定方法将遍历整幅图像识别校准板拍照,但不相关的背景图像将在很大程度上减少了识别效果。对于高分辨率图像,整幅图像遍历将很大程度上浪费计算资源。因此,我们创建一个ROI图像校准板模式位置。随后进行检测和计算ROI。通过这种方式,图像中标定板的图案可以准确地识别和定位。
4.2。检测固体圆的中心点
圆形的透视投影下相机的视图通常是椭圆成像,由于透镜畸变,视角转换、角度偏差,并拍摄视图。在现有的检测算法,脚腕圆检测算法需要一个高质量的拍摄图像中圆形模式(12),和圆的半径范围需要知道。此外,所有的点被检测到的边缘画圆圈,和地方都画圆圈交叉最被定义为圆的中心。然后画一个圆带点和输入半径。踝关节的循环转换,涉及所有边缘点在圆图找出圆中心最大的重量,表明计算的数量是巨大的。因此,这个算法是不适用LWIR摄像机采集的图像。
中央点检测算法提出了如下阐述。
4.2.1。准备边缘提取和筛选
(我)过滤操作用于降噪图像校准(2)使用自适应精明的边缘检测算子检测圆轮廓和跟踪图像中的区域边界。太大或太小的连接对象像素ROI的消除
4.2.2。计算固体圆的中心点
在中心点计算,提取的轮廓点的坐标安装成一个圆(椭圆)通过最小二乘法,然后确定圆的中心点。在那之后,每个点到中心点的距离在上面的圆(椭圆)计算。最长的距离之间的区别和最短的距离,设置一个阈值。如果差小于阈值,圆的中心点的坐标拟合的最小二乘法使用;否则,椭圆的中心点的坐标选上的一倍。
最小二乘圆拟合方法的原理如下所示。
圆曲线的约束方程;
半径之差的平方的和广场在提取的轮廓点的距离 圆的中心 是;
让目标函数 安装的平方和 ;
的最小值 可以发现,当满足以下方程。
的坐标 圆的中心可以通过求解参数 在上面的方程。
椭圆拟合的最小二乘法的基本原理如下所示。
一个椭圆曲线的约束功能;
类似于拟合圆轮廓的最小二乘法,提取的轮廓点 基于最小二乘法的基本原理,和目标函数拟合;
目标函数优化找到它的最小值。
的坐标 椭圆中心可通过求解参数 在上面的方程。
4.3。协调中央点排序
从图像的轮廓提取和中心点检测都是逐行进行,图像旋转的校准模式时,发现中央的顺序点与实际不匹配的行和列的中央点坐标校准图片。为方便解决,特征点提取的,应当按照行和列排序。
4.3.1。建立线性方程
如图4ROI校准板中选择时,一个四边形(框架包围红线)是必要的,和一个线性方程边界的技巧 的ROI。如果 ,不存在直线斜率。这条直线垂直于x设在(图4(一)),线性方程 。如果 ,直线斜率存在(图4 (b)),方程 ,与边坡 和拦截 。
(一)
(b)
4.3.2。排序
(我)方向排序。的距离从每个中心点 左边的方向直线计算和排序从小型到大型,形成一个 矩阵。鉴于原点的分配特点,不必要的计算从任意点到直线的距离。与x方向上的距离,这个距离可以更换,提高了算法的效率 (2) - - - - - -方向排序。数量点的每一行进行排序从小型到大型,最后,一个 中心点矩阵形成
4.4。摄像机标定
在机器视觉系统中,以确定某点的三维坐标之间的关系表面上的一个真实的对象,和它的二维坐标camera-acquired形象,我们将建立摄像机成像几何模型(普通相机成像模型大多是针孔成像模型)。几何模型的参数是相机参数,这些参数和解决的过程称为摄像机标定。
在世界的三维空间坐标系统(现实世界)可以表示为 ,和一个二维图像中的像素坐标系统可以表示为 。相应的增广向量为: 和 。如上所述,一个理想的相机几何模型可以被看作是一个针孔成像模型。三维点之间的关系在世界坐标系统和二维点在相应的空间坐标系统可以表示为: 在哪里 被称为一个相机的内部参数矩阵; 是它的光学中心,即主要观点,在像素单元;被称为相机的外参数矩阵(是一个 旋转矩阵,是一个 翻译向量(1])。当x设在和y设在完全互相垂直,倾角参数的值在是0;和因素对u轴比例和轴线坐标系统的形象。摄像机之间的相对空间位置关系和校准板如图5。
相机畸变是指lens-to-line投影的漂移。简单,一个直线在现实世界中无法保留后直接投影镜头的图像。相机畸变主要包括径向畸变和切向畸变。径向畸变,包括桶形畸变和枕形失真,是因为光线远离镜头的中心比射线弯曲靠近中心(图6)。切向畸变是因为镜头不能聚集在严格平行于相机传感器(图7)。
(一)正常的形象
(b)桶形失真
(c)枕形失真
(一)理想状态下镜头和传感器是平行的
(b)实际情况镜头和传感器不平行
(c)的理想形象
(d)略微扭曲的形象
上面的摄像机矩阵不考虑透镜畸变,由于理想的针孔模型没有镜头。真正的镜头将不可避免地导致变形,可以纠正如下(13]: 在哪里 是理想的图像坐标系统的坐标(上面说); 是真正的坐标系统的坐标图像; 和 是相机的径向和切向畸变系数,分别; 。
变形和固有参数固有特性的相机,可以总是使用一次校准。因为相机不是一个理想的针孔成像模型,由于计算错误,使用不同的图像校准时获得的结果会有所不同。一般来说,标定的结果是可以接受的,如果reprojection误差较低。
双目相机的标定,根据above-calculated结果之间的位置关系LWIR或对相机的坐标系和世界坐标系可以表示为: 在哪里和的非齐次坐标点LWIR相机的坐标系和世界坐标系,分别;和翻译是旋转矩阵和向量从LWIR摄像机坐标系到世界坐标系,分别;和对应点的非齐次坐标吗VIS相机的坐标系和世界坐标系,分别;和翻译是旋转矩阵和向量从VIS摄像机坐标系到世界坐标系,分别。两个方程可以丢弃的减法和产量从LWIR相机的位置关系对相机: 在哪里和是旋转矩阵和翻译向量的双目系统。然后LWIR相机的相对位置对相机可以表示为:
对相机的相对位置LWIR相机可以以同样的方式决定的。在此基础上,双目标定LWIR和VIS相机可以实现(14- - - - - -16]。
5。实验
5.1。检测一个圆的中心点(椭圆)
圆(椭圆)中央点检测算法是通过仿真实验验证(图8)。理想的封闭圈或closed-ellipse边缘轮廓集的分散点,这个算法的轮廓拟合符合真正的轮廓,和估计中央点重叠与真正的中央点(数据8(a1)和8(b1))。套隔离arc-like圆或椭圆边缘轮廓点,这个算法的轮廓拟合符合真正的轮廓,和估计中央点重叠与真正的中央点(数据8(a2)和8(b2))。相机校准期间,当一个边缘检测算子被用来找到边缘轮廓,确定边缘轮廓点不均匀分布,在理想的情况下,因为边缘扩散发生。拟合效果测试在这种扩散,我们介绍了一些随机干扰噪声圆和椭圆边缘轮廓点集(数字8(a3)和8(b3))。随机干扰噪声后体重0.1了,封闭圈和closed-ellipse边缘轮廓集的分散点,该算法取得了较低的错误(小于0.1像素)估计中心点从真正的中心点。后体重0.1引入了随机干扰噪声,从孤立的集arc-like圆和arc-like椭圆边缘轮廓点,该算法取得了较低的错误(小于0.1像素)估计中心点从真正的中心点。
15组随机干扰噪声与步长体重从0.01到0.15的0.01分。不同程度的噪声干扰下,方向错误,y方向错误,algorithm-estimated中心点之间的欧几里得距离错误,真正的中央点圆或椭圆边缘轮廓估计(图9)。随着噪声干扰程度逐渐加剧,方向错误,y方向错误,algorithm-estimated中心点之间的欧几里得距离误差和真正的焦点都逐渐增加,但都小于0.1像素。这些结果表明新算法具有较高的抗噪声能力和优秀的性能。图10比较轮廓中心点的欧几里得距离误差计算的算法和聚类算法应用到的封闭圈和分散closed-ellipse边缘轮廓点集。大纲中央点的欧氏距离误差计算的算法更小。平均欧氏距离在大纲中的错误中央点集的封闭圈和分散closed-ellipse边缘轮廓点下降了10%和9.9%,分别。因此,上面的仿真结果表明该算法能够准确地适应圆形或椭圆边缘轮廓和估计坐标中心的圆形空心毛孔。
(一)
(b)
(c)
(d)
5.2。相机标定试验
的类型和参数LWIR相机和表列出VIS相机1。
LWIR和VIS相机是用来收集校准标定板的照片。LWIR相机,加热板加热到40°C之前图像集合。20组校正图像在不同位置选择,内在和外在的参数计算,变形系数表中列出2- - - - - -4。
均Reprojection误差是相机标定精度的常用指标。Reprojection投影误差是指区别(图像上的像素点)和Reprojection(计算虚拟像素)的一个真正的三维图像平面上的点。的平均值均reprojection误差是指reprojection错误。图11显示每一个20的均reprojection误差校正图像不同位置获得LWIR和VIS相机。平均reprojection时该方法的误差校正的LWIR相机是0.1像素,和最大的单一图像reprojection错误都低于0.12像素(图11)。VIS的期间均reprojection误差校准相机是0.227像素,和最大的单一图像reprojection错误都低于0.26像素。从收集的图像LWIR相机,校准板的红外图像显示校准板与低热量干扰(数字成像好4和12),这是因为校准板是预设差距和分离结构。结果表明该方法具有良好的性能,可以满足需求的机器视觉校正LWIR和活力的相机。
5.3。图像配准和融合测试
基于上述实验,LWIR几何成像参数和对相机都是计算,和相机校正的结果被证明是准确的。双目成像系统包括LWIR和VIS相机可以提供不同光谱之间的互补特性。
因为是不同的红外图像和可见光照片成像光谱和决议,很难有效地匹配这些图像,抑制进一步的数据比较和融合。算法注册在可见图像可以找到特征点之间的浮动图像和参考图像,从而改变的空间。但红外图像和可见光图像成像在不同光谱,很难找到之间的特征点图像。出于这个原因,根据校准板和圆(椭圆)拟合方法,我们可以使用下面的方法来注册LWIR和收集的图像VIS相机从机器视觉系统。
机器视觉检测系统中,摄像机的位置,和camera-object相对位置通常是固定的,所以可以固定相机然后用于收集校准板的照片。在此,该算法被用来适合圆形空心数组中的每个中心点和中央点。红外图像和可见图像的分类点作为图像配准的特征点,并建立了一对一的关系(图12)。之后,这些特征点是用来计算图像变换矩阵。只要相机位置和目标位置的位置保持不变,仍然可以用于计算这些特征点图像变换矩阵,即使目标物质不是校准板。
红外图像和可见光图像注册。红外和可见基于深度融合算法特性和零相位成分分析(ZCA) [17每组)是用于融合的红外图像和可见图像匹配或失真校正。具体方法如下:(1)ResNet用于从可见光和红外图像中提取深度特性(2)使用ZCA深特性映射到稀疏域(3)L1范数是用来获得初始体重地图。最初的重量是映射到由双立方插值源图像的大小,最后重量地图是通过使用softmax与初始体重相关的地图(4)加权平均策略用于重构融合图像处理的源图像,最后加权图像
定量比较失真校正前后的图像融合效果,我们使用了六个图像融合客观评价指标。这些包括分散余弦FMI共同信息dct(18),多尺度结构相似性指数MS-SSIM [19基于],梯度融合性能问沛富(20.],相关性差的总和SCD [21],标准差SD [22],和结构相似性指数SSIM [23]。更大的值显示出更好的性能。
图像融合实验使用的例子热熔形象和充电器的形象。LWIR和VIS相机是用于收集图片的热熔温度,和盒子的轮廓和背景分别。红外图像和可见图像融合之前和之后都失真校正(数字131、2)。LWIR和VIS相机充电的温度被用来收集图像,分别和充电器的轮廓和背景。红外图像和可见图像融合之前和之后都失真校正(数字133、4),图像融合客观评价指标表中列出5。平均FMIdctMS-SSIM,问沛富、分割和SSIM失真校正后的图像融合增加了4.6%,0.3%,3.1%,7.2%,和1.4%,分别比图像失真校正前融合。所有组融合后的效果失真校正提高失真校正前与融合相比,除了SD在第一和第三组。红外图像和可见图像融合后对红外图像进行失真校正超过,可见图像失真校正前融合。
6。结论
多光谱相机校准板LWIR和VIS相机设计。基于这一校正板,相机标定方法被提出。具体地说,是红外图像和可见光照片的校准模式被选择的ROI。圆孔的中心使用最小二乘法拟合,和它的坐标计算。甚至在噪声干扰下,仍低于0.1像素坐标错误。欧几里得距离的平均错误大纲中央点封闭的圆的边缘轮廓散点集和封闭的椭圆下降了10%和9.9%,分别。一个中心点坐标排序算法根据ROI的提出和应用在后续相机校正计算。圆形中空孔的中心坐标计算和排序,然后相机的内在动力和外在的参数和失真系数计算,从而实现摄像机标定。LWIR和VIS相机校正实验验证校准板和这里的相机标定方法。均值Reprojection 20中的错误校正图像收集的LWIR VIS相机像素分别为0.1和0.227,分别。 To further validate the camera calibration results, we designed image registration and fusion experiments based on the LWIR camera system and the VIS camera system. The FMIdctMS-SSIM,问沛富、分割和SSIM失真校正后的红外图像和可见光图像融合增加了4.6%,0.3%,3.1%,7.2%,和1.4%,分别比图像失真校正前融合。因此,校准板和摄像机标定方法是有效的和有效的。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。
作者的贡献
Sicong太阳和魏魏co-first作者和他们的贡献同样工作。Rougang周是通讯作者。
确认
这项工作得到了Mstar技术公司。