文摘
在现实视觉系统中,镜头总是不可避免地包含非线性失真,导致数字图像的几何畸变,所以它必须纠正。非度量校正算法,提出了基于熵的透镜畸变测量。算法使用的成像特征空间直线在理想模型角度来看,和变形熵定义测量透镜畸变的程度。变形曲线的不同分布,变形熵的计算尺寸测量是均匀的,这可以减少曲线不均匀性的影响。在此基础上,修改后的变形熵度量与规范化的重量是提出加强噪声抑制的能力,和传统的内部点的失真校正性能优化算法,基本人工蜜蜂殖民地(ABC)算法,Gbest-guided人工蜂群(GABC)算法进行比较和分析。GABC的仿真实验表明,该修正性能优化修改变形熵度量与规范化的重量是最好的,和噪声有很强的鲁棒性。最后,实际的图像失真校正的例子验证了该算法的有效性。
1。介绍
在计算机视觉、视觉检查,图像处理,和其他研究领域,理想的针孔模型经常被用来表示镜头。然而,制造或安装因素在实际生产条件下导致的现象,捕获的数字图像几何失真;因此针孔相机模型是远远不够,特别是对一些低成本或广角镜头1]。为了确保后续视觉处理的准确性和分析,镜头的实际变形应描述和纠正。
目前,镜头畸变校正算法主要可以分为度量方法和非度量方法。度量方法(2,3)需要在空间特征点的精确位置,和畸变模型参数也集成到相机模型。这些方法建立特征点之间的对应关系在世界坐标系统和CCD图像的二维坐标,和相机畸变模型参数和模型参数通过非线性优化。因此,这些方法有更多的参数,需要大量计算和一些已知特征点的坐标;因此,修正成本较高。此外,相机畸变模型参数和模型参数的耦合非线性优化过程中很容易发生,这会影响失真校正性能。
非度量校正方法(4)充分利用理想针孔相机模型的几何不变量。一般来说,这些几何不变量表示的属性结构和适当变换下保持不变;因此这些方法不需要需要一些已知的结构参考。目前,可用几何不变量的特征包括直线(5,6),交比(7,8,消失点9),和飞机的限制(10]。直线是使用最广泛的几何特性,和直线的投影应该直接在任何角度转换。因此,(11)使用col-linear特征点测量失真,col-linear采用向量(12]。此外,几何特征的直线还包含线斜率(13)和三个相互垂直的平行线所构成的集(14]。失真校正算法的基础上提出的交比不变性是他et al。8),只需要四个col-linear点的图像坐标和交叉比率。但是,它有一定的局限性,因为只有一阶畸变模型被认为是。交比不变性的基础上,介绍了线性方程和Ricolfe-Viala Sanchez-Salmeron [15),这使得更健壮的校正方法。赵et al。16]分析了校正方法的准确性交比不变性,提出失真校正算法使用col-linear约束的消失点。王等人。17)使用部门使用单一参数畸变模型,和扭曲的图像点采用圆拟合;因此该方法由圆拟合精度是有限的。文献[18)使用多视图对应点实现失真校正,但失配点会导致校正表现不佳。当失真测量使用几何不变量定义,畸变参数可以最终解决非线性优化算法。传统的非线性优化算法有很强的依赖初始值,初始值的设置直接影响优化精度,如Levenberg-Marquardt与约束优化方法和内点方法。作为人工智能领域的一个研究问题,群体智能算法已成为一种新的方法来解决近年来传统的优化问题。它不需要设置初始值的迭代,和整个智能行为是通过合作进行的简单的个人,如遗传算法、粒子群算法、人工蜂群算法。Zhang et al。19和陈等。20.)在各自的成功应用遗传算法和粒子群优化算法在镜头畸变校正。作为一种新颖的群体智能算法,人工蜂群(ABC)算法具有结构简单、控制参数少,和其他特性,它在数值优化也有更好的性能和其他应用领域(21]。
本文介绍了熵的概念来测量透镜畸变程度利用直线在针孔相机模型的几何特征。变形熵的新定义统一计算尺寸,从而减少畸变曲线的不均匀分布的影响。除此之外,变形熵措施是进一步改善提高的噪声抑制能力分析曲率变形曲线的特征。采用ABC算法进行非线性优化,最终和校正性能比较和分析了传统的内部点优化,基本ABC, GABC。在该算法中,定义变形熵测量简单、容易实现,修改后的熵度量和规范化重量有某种程度上的噪声抑制能力。此外,算法GABC不仅没有需要设置初始值迭代还有更好的优化精度和更快的收敛速度。最后,大量的仿真和实际实验验证校正算法的性能。
2。镜头畸变模型和变形测量
实际的镜头一般都有不同程度的失真由于制造、组装、和其他因素,这可能导致实际的图像点的现象不一样的理想像点,以及它们之间的差异称为透镜畸变。通常,透镜畸变分为径向畸变和切向畸变,径向畸变是占主导地位的(2]。
2.1。镜头畸变模型
一般来说,透镜畸变可以用一个数学模型,定量描述和镜头畸变模型也可以被认为是实际图像点之间的映射函数 和理想像点 ,在那里
在分析实际成像过程中,布朗(22]介绍了径向和切向畸变模型的数学表达式,它已成为传统的透镜畸变模型;公式表示如下: 在哪里 ,( , )是畸变中心。 , 径向畸变参数, 是切向畸变参数。
然而,在实际应用中,更少的参数不能完全表达透镜畸变的复杂性,和太多的参数也会导致不稳定的解决方案4]。因此,两个径向畸变参数和两个切向参数大部分采用可满足大多数镜头畸变程度不同。模型表示为
如果所有的变形参数已知,透镜畸变可以通过上面的畸变修正模型。
2.2。变形曲线的分布规律
如果镜头没有失真,直线的投影成像三维(3 d)空间应该是直接基于针孔相机模型和透视投影原理。事实上,直线在空间的实际投影变形,会扭曲曲线由于不可避免的变形。为了分析变形曲线的变化规律与不同分布受到透镜畸变的影响,一些理想的水平线在CCD图像,中间间隔生成等间隔采样在每一行上执行。如果畸变参数,相应的变形点可以通过公式计算(3)。图1显示点理想线和畸变点对应的变形曲线,理想上的固体分代表分线,和十字架代表变形点。从图可以看出,如果畸变中心的理想直线的距离更近,相应的变形曲线的弯曲程度较小。图2显示了平均曲率变形之间的关系曲线和畸变中心的距离理想的线,和它可以得出结论,变形曲线的平均曲率大于远离时畸变中心。
2.3。变形测量
一般来说,理想的成像点是未知的,所以是不可能计算失真参数根据公式(3)。因此,失真测量定义直接描述之间的距离修正结果与理想的线,和畸变模型参数通过使用非线性优化算法来解决减少失真度量定义。当校正的效果更接近理想的直线,畸变参数更接近于真实值。这些方法不需要有准确的生产结构参考和属于非度量校正方法。
目前,传统的非度量校正方法通常定义为距离平方的总和纠正指出相应的拟合线作为变形措施。这种扭曲测量不仅需要合适的多行,还需要从每个校正点距离计算拟合线;因此,计算相对较大。除此之外,变形的分布曲线在CCD和采样点的数量也会影响距离平方的总和,使变形测量的计算为每个非均匀变形曲线,然后可以影响实际的校正效果。
熵是一个非常活跃的物理概念近年来已广泛应用于自然科学和社会科学的许多领域。摘要变形熵度量定义来描述变形的不均匀性和弯曲程度曲线。因为广义熵的概念通常可以定义为广泛的数量和强度数量之间的比率,然后强度变形熵量测量之间的距离是由第一个和最后一个点的变形曲线,和广泛的变形熵度量的数量表达的所有相邻采样点之间的距离之和畸变曲线。具体公式如下: 在哪里米,N在各自的变形曲线和采样点的数量在每个曲线。代表了修正点变形曲线, 分别是,第一个和最后一个纠正点吗变形曲线。我们可以看到从公式(4),为每个畸变曲线变形熵的计算尺寸是统一的,并将其值接近于1,当相机的趋势是理想的针孔模型。
如果实际成像点的坐标包含提取噪声,失真模型(3)将放大提取噪声,可能影响校正的坐标点 ,和放大时更明显点远离畸变中心。为了减少提取噪声的影响,变形熵测量(4)进一步改善,这是由 在哪里为每个畸变曲线代表了规范化的重量,这是与畸变曲线的曲率有关,而且它可以表示为 的公式,表示的平均曲率变形曲线。
3所示。优化方法
3.1。算法描述
人工蜂群(ABC)算法是一种群体智能算法提出的2005年Karaboga [23,24),收到许多学者的广泛关注和研究由于其结构简单,参数少,容易实现。类似于其他进化算法,ABC算法进行迭代搜索基于一个随机生成的人口群,群包括三个不同种类的蜜蜂,它们分别采用蜜蜂,旁观者蜜蜂,和侦察蜂;然后交换的信息可以根据各自的分工。认为食物来源的数量 ,食物来源之一 代表候选人的解决方案, ,优化问题的维数。食物来源与使用蜜蜂,雇佣了蜜蜂的数量等于旁观者的蜜蜂。然后,ABC最好的食物来源的搜索过程可以描述如下:(1)采用蜜蜂在附近搜索当前的食物来源和生成一个新的食物来源;然后应该选择贪婪地更好的食物来源。(2)选择食物来源的旁观者蜜蜂根据提供的信息采用蜜蜂,他们在附近寻找新的食物来源;那么现在的食物来源应该贪婪地替换为一个更好的。(3)如果食物来源没有连续更新时候,应该放弃当前的粮食来源,采用蜜蜂变成了侦察蜂和随机搜索一个新的食物来源。
上述三个阶段应该重复直到最大的迭代的数量或容许误差的值是达到了。
在迭代搜索过程中,旁观者蜜蜂使用提供的信息采用蜜蜂选择食物来源通过轮盘赌,和每个食物来源的选择概率是按照下列公式计算: 在哪里的健身价值吗解决方案,和健身价值是用于确定食物来源的质量。也就是说,健身价值越大,更好的食物来源。
此外,适应度函数确定对应于优化问题。如果是找到最小值优化问题,适应度函数是目标函数的变形 ,通常表示如下: 相反,适应度函数的目标函数优化问题时发现最大的问题。
ABC算法执行贪婪的选择根据以下公式: 在哪里是新的食物来源在附近生成当前的食物来源。
在ABC算法,采用蜜蜂和旁观者的蜜蜂寻找新的食物来源根据以下公式: 在哪里是一个随机数(]。 是随机选择的指标, 表示一个随机选择的维度。
当健身值对应于雇佣蜂不能连续改善时报》、《蜜蜂将成为侦察蜂,然后侦察蜂会产生一个新的食物来源根据以下表达式: 在上面的表达式,和上下界的维度 ,分别。
在基本ABC算法,蜜蜂群取决于个人的共享信息,寻找新的食物来源,及其随机性更大,因此人们普遍认为,ABC算法具有全局搜索能力强。为了提高ABC算法的局部搜索能力,全球最好的——(gb)指导提出的ABC是朱镕基和邝(GABC) [25),和一个搜索运营商指导下最好的解决方案是引入改进算法的开发能力。因此,相应的搜索方程表示如下: 在参数均匀分布随机数在吗 和是负的常数。一般情况下,它被设置为2。其余的参数是一样的那些公式(10)。
3.2。算法框架
在ABC的描述∖GABC算法,下面相应的算法框架。ABC算法使用公式(10)来生成新的食物来源,GABC使用公式(12),然后剩下的算法流是相同的。表示当前评价适应度函数的时候,适应度函数评价的最大数量。用于记录食物来源的次数没有被更新。
ABC∖GABC框架(1)生成食物来源随机(2) ;(3)而 做(4)%雇佣蜂阶段(5)为 来做(6)生成一个新的候选方案根据情商。10)或情商。12);(7)更新候选人的解决方案根据情商。9);(8)如果 ,设置 ,其他的 ;结束(9) ;(10)结束(11)旁观者蜜蜂阶段(12)为 来做(13)选择一个食物来源 从目前的群的轮盘赌选择机制;(14)生成一个新的候选方案根据情商。10)或情商。12);(15)更新候选人的解决方案根据情商。9);(16)如果,设置 ,其他的 ;结束(17) ;(18)结束(19)侦察蜂阶段(20)如果 、替换新随机的候选人。(21)如果 ,停止和输出迄今取得的最好的解决方案,否则,转到步骤(3)(22)输出的最佳解决方案。
4所示。实验和结果
在本节中,技术的性能评估使用合成和真实图像数据。自从合成图像提供了确切的知识行位置,畸变中心和畸变参数,性能的精确定量评价是可能的。真实图像显示的性能展示实际的实现技术。
4.1。测试合成数据
假设仿真图像的分辨率设置为 ,畸变中心( )(380、280)和畸变模型参数,分别 。十模拟理想线图像中随机生成的,和采样点均匀地删除每一行,那么相应的失真点可以计算基于变形模型(3)。图3显示了随机生成的合成数据和圆代表了畸变中心,实点采样点理想的线,和交叉点对应的畸变点实际的曲线。失真测度函数被定义时,镜头畸变校正的工作可以转化为一个非线性优化问题,将失真测量作为目标函数。为了减少不必要的搜索范围非线性优化算法,解决方案空间畸变模型的参数可以限制如下: 和 。上述限制空间仍然可以满足大畸变图像的要求。仿真实验实现了在计算机上与主频率3.6 GHz,记忆8 G, Matlab R2014a, Windows 7操作系统。
首先,修正传统非线性优化算法的性能和美国广播公司的全局优化算法进行比较和分析。传统的非线性优化使用Matlab优化工具箱函数 ,选择内点方法(IPM)来解决这个问题。IPM的初始值设置如下: ,畸变中心的初始值是一般设置为图像的几何中心,也就是说, 。然而,ABC算法是一个基于非线性全局优化算法的群体智慧,不需要设置初始值,和美国广播公司的控制参数设置如下:群人口的规模 ;的最大数量评估函数是10000,所以迭代的最大是200;因为修正的尺寸问题6,控制参数是设置为 。畸变模型是一个高度非线性的模型,例如,畸变中心之间存在耦合和畸变参数,不同的失真参数会导致类似的校正结果,所以直接比较是毫无意义的变形参数(4]。因此,校正性能评估使用均方根(RMS)和理想点的坐标之间的误差的修正点。为了模拟特征点提取错误,标准差的高斯白噪声σ添加特征点,然后标准差增加了0.25,30倍运行在每个噪声强度是独立进行的。最后,RMS的平均值。
图4显示了IPM的修正结果和ABC算法下的失真的措施 ,可以看到,校正误差随噪声强度的增加,和ABC的校正效果远远优于IPM算法。原因是IPM算法是一种局部搜索算法,没有全局搜索的能力,它取决于初始值设置,所以很容易陷入局部最优值。因此,其修正效果更差。然而,ABC算法通过个人合作,有很强的探索能力,理论上证明了ABC算法具有全局收敛性(26]。
为了比较ABC和GABC畸变的校正性能的措施和 ,跑步是30倍进行独立在每个噪声强度,然后也RMS的平均值计算。比较结果如图5。核心控制参数的设置与ABC GABC是一致的。除此之外,控制参数GABC都设置为根据(225]。从比较结果,可以得到以下两个结论。结论1:失真的措施具有更好的噪声抑制能力比失真测量吗 ,由于畸变模型将放大的提取噪声点和放大时更明显的一点是远离畸变中心。根据变形曲线的不同分布,变形测量的归一化权重决心抑制噪声的影响。结论2:GABC的校正结果优于ABC。尽管美国广播公司探索能力强,其局部搜索能力不足,容易导致过早收敛。然而,当前的最佳解决方案是集成到搜索方程提高局部搜索能力,同时保持全局搜索能力;因此它可以容易GABC获得全局最优解。图6显示中值进化曲线的畸变测量GABC和ABC 30倍独立运行。可以得出结论,收敛精度GABC优于ABC, GABC也有更快的收敛速度。
总结上述仿真结果,使用失真校正性能的措施和GABC算法要好得多。除此之外,它对噪声有很强的抑制作用,更多的鲁棒性。
4.2。测试真实图像
根据以上仿真分析的结论,我们使用失真的措施和GABC算法正确的实际图片。图7显示了棋盘图像捕获。可以提取角点的坐标OpenCV函数,及其精度是0.1像素,然后校正算法进行解决畸变模型的参数。表1是获得失真模型的参数。修正后的图像如图8,图9显示了畸变点和相应的修正点,坚实的点代表了畸变点,和十字架表明修正后的点。表2col-linear点的分析数据,最大值,最小值,意思是,分别代表了最大距离,最小距离和平均点到拟合直线的距离。从数据的比较结果7- - - - - -9,校正效果是显而易见的。从分析数据表2,我们可以看到,所有的距离数据修正后比以前好多了。
数据10和11分别是现场图片和相应的校正图像。可以看出,窗口的边缘和内阁纠正。总之,演示了该算法的有效性。
5。结论
一个非度量校正算法基于熵的透镜畸变测量提出了本文。变形熵度量定义描述的不均匀性和弯曲程度的变形曲线,从而降低曲线不均匀性的影响。在此基础上,修改后的变形熵度量与规范化的重量是提出加强噪声抑制的能力。然后,失真校正传统内部点优化算法的性能,基本ABC算法,GABC算法进行比较和分析。GABC的仿真实验表明,该修正性能优化修改变形熵度量与规范化的重量是最好的,和噪声有很强的鲁棒性。最后,实际的图像失真校正的例子验证了该算法的有效性。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是支持部分由中国国家自然科学基金(U1604151和61302118),优秀的科技创新人才工程(174200510008),河南省高校科技创新团队项目的河南省(16 irtsthn029),项目河南省高校科技创新人才(17 hastit022),河南省青年骨干教师资助计划的大学(ggjs 2016 - 087年),和河南科技大学的基础研究基金(2015 qnjh13和2016 xtcx06)。