文摘
传统的图像拼接方法也有一些缺点,如双影,色差和缝合。针对这一点,本文提出一种电力function-weighted图像拼接方法,它结合了冲浪优化和改善细胞加速。首先,该方法使用余弦相似性来初步判断相似性的特征点,然后使用双向一致性相互选择再次过滤特征点对。同时,一些不正确的匹配点的反向匹配消除。最后,该方法使用MSAC算法进行精匹配。然后,function-weighted融合算法用于计算中心点的重量。加速细胞的幂函数的体重是用于执行最终的图像融合。实验结果表明,该方法的匹配准确率约11百分比高于传统算法,冲浪和时间减少约1.6秒。在图像融合阶段,本文首先选择图像亮度不同,角度、决议,和尺度来验证该方法的有效性。结果表明,该方法有效地解决了重影和缝合。 Comparing with the traditional fusion algorithm, the time consumption is reduced by at least 2 s, the mean square error is reduced by about 1.32%∼1.48%, and the information entropy is improved by about 0.98%∼1.70%. The proposed method has better performance in matching accuracy and fusion effect and has better stitching quality.
1。介绍
图像拼接技术包括图像配准和融合。图像拼接的目标是形成一个宽视角和从多个部分重叠的图像无缝的全景图像。同时,它需要确保图像不失真1]。这些图像可以来自不同的时代,高度,可视角度和传感器。图像拼接技术广泛应用在计算机图形学中,计算机视觉、虚拟现实技术、医学图像分析等领域(2]。
图像配准是图像拼接的核心,其中包括特征点的提取和匹配。有很多方法来提取特征点,如哈里斯、筛选、冲浪、快速、ORB。海浪算法不仅可以适应图像旋转和缩放也保持稳定的条件下观察角度的变化,规模变化,照明的变化。因此,该方法使用冲浪算法[3提取特征点。海浪算法的改进算法筛选(尺度不变特征变换),是不受图像旋转,尺度缩放和亮度的变化。同时,它具有更快的计算速度4]。2012年,彭日成等人提出了一个完全radiation-invariant冲浪算法,结合尺度不变特征变换(筛选),加速健壮的特性(冲浪),和仿射筛选(ASIFT)。同时,它使用ASIFT的仿射不变性和冲浪的利用效率高5]。改进算法通过使用冲浪的正面和负面特征海赛矩阵跟踪,保存时间的特征点检测和匹配(6]。此外,另一个冲浪算法提高了SURF特征点描述符从64减少到36维度。然而,该算法并不普遍,只适合大型旋转角度和低亮度图像(7]。针对这一点,提出了一种改进的基于特征点的冲浪算法的基础上冲浪。该算法使用海赛矩阵来提取图像的特征点轨迹,提高了算法的速度和精度。然而,它是复杂的和相对耗时(8]。为了提高注册的效率,快速图像拼接方法的基础上,提出了改进的冲浪和相位相关算法。该算法不仅能减少计算复杂度,也减少不匹配。然而,它也很容易消除一些正确的匹配点,很容易导致缝合后图像融合过程中(9]。2021年,传统Hitmap版本的性能评估在类似的GPU集群。Fernandez-Fabeiro等人提议将这个实现通过添加新的功能扩展到最新版本的Hitmap支持任意载荷分布的多节点异构集群GPU实现图像(10]。帕夏Hosseinbor等人提出的二维点集配准算法基于线性最小二乘法和随后的无标号数据用于minutia-based指纹匹配。匹配器考虑所有可能的细节搭配,迭代地将两套到细节的数量对不超过允许的最大数量一对一配对。第一对齐之间建立一个区域重叠的两个细节集,然后每个连续对齐(迭代)精制而成。每次校准后,细节对表现出弱的信件被丢弃(11]。
在图像拼接图像融合中发挥着重要作用。因为可能有亮度的变化,角,和规模之间的图像缝合,直接融合会造成重影和缝合的差距等问题。马尔可夫随机场(MRF)图像融合提出了融合模型。凸结构的输入图像融合在梯度域,然后最终结果是重建通过求解泊松方程。融合图像,泊松方程使融合图像的梯度接近融合梯度(12]。基于相对取向的一种改进方法和小区域融合,提出了可以选择适当的缝表面根据半张角校正方法。然后,选择一个带状区域的中间部分图像重叠区域的过渡区域进行逐步融合(13]。在2017年,提出了一种自适应加权图像融合方法。方法设计一个自适应加权图像融合策略结合模糊理论的想法基于曲波变换(14]。另外,s型非线性融合策略进行图像融合提出了缝合,这有效地解决了缝合差距和重影的问题(15]。荣格和香港提出一种量化的方法输入图像的视差水平并相应地集群。这有助于定量评估不同缝合方法为每个视差的水平。图像的视差水平分组基于平面视差的大小和变化,估计提出了度量使用匹配错误和补丁相似(16]。本文介绍了一个健壮的和可靠的图像拼接方法(l, r-Stitch单位),认为多非齐次图像序列作为输入来生成一个可靠的全景式地缝宽认为最终的输出。除此之外,它还介绍了小说convolutional-encoder-decoder deep-neural-network (l, r-PanoED-network)与一个独特的split-encoding-network方法,针不相干的输入左、右立体图像对(17]。雪等人提出了一个高质量的鱼眼图像拼接算法(LLBI-AW)。修正部分,传统的双线性插值算法会导致模糊边缘,和一个插值算法提出了基于纬度和经度(LLBI)来解决这个问题。的融合,提出了一种基于弧函数加权融合算法对图像的重叠区域的鬼问题后缝合。我们建立一个弧函数确定的重量下左边和右边的图像,然后进行融合计算(18]。Vishwakarma和Bhuyan提出一个自动分类算法和图像拼接算法基于当地哈里斯的特性差异。在图像镶嵌过程中,自动分类结果扭曲由于图像噪声和伪周期。通过使用结构相似度指数来解决上面的问题,更换标准Sobel边缘检测器与当地不同操作,时间复杂度高的问题可以减少传统角探测器(19]。尽管上述方法已经相对完善,一些图像拼接质量问题仍然没有得到解决,和缝纫效率也需要改进。
针对匹配精度低的问题和大量的计算在图像配准过程中,本文结合了改进的算法和冲浪冲浪优化来改善图像的匹配精度,和本文的主要贡献如下:(1)首先,使用余弦相似性检测信号点的初步筛选。如果余弦相似度大于K值时,信号点检查双向一致性检测,并再次不匹配的点是过滤掉。(2)第二,MSAC细匹配的算法来确定最终的匹配的一对。(3)第三,针对鬼魂和缝合接缝等问题可能发生在图像融合过程中,权力cell-accelerated function-weighted融合算法,它使用电力function-weighted融合算法获得细胞中心的细胞的重量加速度。最后,图像拼接技术与缝合质量好,生产效率高是根据该方法终于意识到。
2。优化算法冲浪
2.1。提取特征点
冲浪算法使用海赛矩阵 检测特征点,每个像素都可以找到海赛矩阵。因此,海赛矩阵 与协调x和规模可以表示为 在哪里x图像像素坐标和吗图像的规模吗
海浪算法使用一个盒子过滤器代替高斯二阶偏导数。多尺度空间构造函数通过改变框过滤器的大小。然后,与原始图像的多尺度空间函数卷积在不同的方向。
卷积的总和 在方程(1)可以表示为 ,因此,海赛矩阵可以简化为 在哪里是权重系数一般是0.9。
首先,海赛矩阵用于查找当地最大的像素点,关键是标记为兴趣点。相应的二维数组下标是图像中的感兴趣点的位置。然后,冷雾小波用于确定的主要兴趣点的方向。最后,一个64 -维冲浪构造特征描述符。
2.2。改进的特征点匹配
对于传统的冲浪算法,有两个步骤来确定特征点之间的匹配程度。首先,计算两个特征点之间的欧氏距离,然后海赛矩阵的符号计算痕迹,用于确定特征点匹配。尽管它有一个很大的优势在筛选算法,仍有大量的不匹配点影响缝合效果,需要很长时间,是效率低。针对上述问题,本文提出了一种结合了余弦相似度匹配的方法,双向一致性和MSAC算法。余弦相似性和双向一致性用于粗匹配,然后MSAC算法用于细匹配。
2.2.1。余弦相似度
余弦相似性意味着特征点之间的相似程度。根据特征点的坐标,确定向量之间的余弦。余弦值意味着两个特征点之间的相似性。余弦值越小,两个特征点之间的角度越大,匹配相似度越小,反之亦然。
首先,欧几里得距离用于选择初步特征点,然后是余弦相速度函数是用来进一步确定特征点。如果两个向量的余弦值大于阈值K,它将被保留,反之亦然。向量的余弦相似性一个和b获得的是
余弦相似度是用来测试四种类型的图像。第一种图像生成缩放和旋转,第二亮度和对比度的变化,第三有模糊的变化,第四个视角的变化。根据表1,我们选择的平均作为最终的阈值K= 0.975。
2.2.2。双向一致性
与余弦相似性匹配后,仍然会有一些不匹配。为了提高匹配的准确性,本文运用双向一致性约束来消除不匹配点对。首先,匹配的一对单向匹配后保存。第二,匹配图像和原始图像之间的关系将交换。然后,我们执行反向匹配和选择常见的匹配对作为最终的匹配结果。单向匹配点被删除。计算匹配点的相对位置关系对能有效提高匹配结果的准确性。双向一致性约束匹配如图1。假设同音异义的点是 ,并进行反向登记。同音异义的角度是 ,满足双向一致性约束。否则,点被认为是一个不匹配的点,应该取消。
2.2.3。MSAC算法
MSAC算法是一种优化的RANSAC算法。通过修改RANSAC成本函数,RANSAC被敏感阈值的问题被解决。本文使用MSAC算法进行图像配准。算法是用来消除不匹配点对的匹配。全息矩阵H两个相邻图像之间的计算根据正确的匹配点对。最后,图像中每个点的矩阵映射到参考坐标系统,注册和使用双线性插值方法实现精确的图像匹配。
3所示。改进的图像融合
传统的图像融合算法对注册执行直接融合图像,这将产生非常明显的针和颜色差异,严重导致过度的颜色不均匀或工件。此外,提出了一些改进的方法,但这些算法繁琐和费时的。针对这一点,本文提出一种cell-accelerated function-weighted融合算法。
3.1。逐渐加权融合算法
渐进的加权融合算法是一种改进传统的融合算法。根据传统的单一的加权系数,重量是由重叠区域的像素点之间的距离和重叠区域的边界。因此,缓慢而实现平稳过渡和缝缝合差距的形象是消除20.]。 在哪里参考图像;是原始图像; 。
图2表明,渐进的加权融合算法容易实现,和缝合速度快。权重和不同线性从0到1的。该算法比直接的融合算法。然而,注册后重叠的地区都有阴影,因为同样的十字路口的两个加权函数和融合函数的拐点。此外,该方法的效果并不好当两个缝图像的亮度大大不同。可以看出,逐渐淡出加权法不再适用于大多数图像融合情况。
3.2。Cell-Accelerated Function-Weighted融合算法
为了解决缝合接缝和鬼魂在图像拼接问题由于亮度差异和噪声在图像采集生成,提出了一种cell-accelerated function-weighted融合算法,这不仅解决了重影问题,也节省时间和提高缝制效率。
根据Weber-Fechner法(21),人眼感知反应显示了一个幂函数的非线性变化规律为背景亮度刺激变大。本法更适合植物生长的轨迹。因此,本文使用物流和立方函数常用的植物生长模型推导出权力function-weighted融合模型,如方程所示5)和(6)[15]: 在哪里t是时间,T是植物的生长周期, 分别是初始值和最大值。当t=T,植物生长接近最大值。
根据方程(7),适当的r选择更适合的权重函数的幂函数模型。
最后,结合幂函数加权函数的变化趋势本文从1到0,方程(8)调整得到方程(9)。最后改进加权融合过程,如图3(一)。
为了清楚地表达的变化趋势 ,方程的推导9)。
抛物线的属性,我们可以得到,当x= 0,y< 0,和之前的系数小于0,单变量二次方程的判别式吗 显示没有交集的x设在,所以你可以画一个粗糙的形象 ,如图3在右边。
结合图3可以看出,在这个过程中近似的边缘重合区域的中间位置,它的导数幂函数的权重函数先增加然后减少。这使得幂函数加权函数跟随第一快,然后缓慢,和改变。快速度意味着,再输注过程中左派和右派的图像,像素的比例相对也会改变,从而减轻问题的差异在两个图像的融合过程大色差也解决缝合接缝的问题。
因为每个像素重叠区域需要计算加权系数和线性加权系数不会改变,这将导致计算更加复杂和耗时。为了应对这种情况,基于单元的集成加速度提出策略。具体步骤如下:(1)将融合重叠区域划分为尽可能多 小方块的大小相等,如图4,它被定义为细胞。(2)细胞的中心点或要点 靠近中心,计算的价值由方程(这一点9),使用点的加权系数P每个像素的加权系数在整个细胞。(3)点接近重叠区域的边缘,不参与细胞需要分别计算加权系数。适当的值n可以选择根据大小和形状之间的重叠区图像缝合。
结果,计算权重系数将减少的数量成倍增长,并融合效率会显著提高。
4所示。实验结果和分析
本文中的实验使用Matlab 2014 Windows 10系统下编程和图像拼接的英特尔i5处理器和内存12 g,验证了本文计算的可行性和优越性。第一个是比较传统的冲浪算法,该方法在图像配准阶段,第二个是图像融合基于该算法之间的比较和其他两个算法在图像融合阶段。
4.1。登记分析特征点
为了验证该方法的普遍性,室外停车场和室内大厅使用图像进行图像拼接,如图5和6。该方法提取的特征点匹配相邻图像,相比与传统的冲浪算法。
根据该方法和传统的冲浪算法,户外停车场图像的特征点提取和匹配特征点,如图5。传统的冲浪算法会产生少量的不匹配点对,红色圆圈所示图和紫色广场5(一个)。两张图片中的红色圆圈标志着地面缝。不匹配的原因是,地面特征点之间的欧几里得距离非常小,导致高特征点之间的相似性和不匹配;紫色的平方在图5显示了两个白人的匹配结果的汽车,同样的海赛矩阵计算后生成符号矩阵跟踪,导致不匹配。在图5(b),不存在不匹配现象在本文中使用的匹配算法,生成和更稳定的兴趣点匹配点,提高了算法的效率。
同样,根据该方法和传统的冲浪算法,室内大厅图像提取的特征点和特征点匹配。结果如图6。图中的红色圆圈6(一个)显示左边柱子之间的不匹配的图像缝合和右墙图像的缝合。图像的左斜柱和墙缝合不匹配,如紫色框的图所示6(一)图6(b),该算法消除了错误匹配点对。
为了确保结论的准确性,本文分析了传统算法和本文的算法,进一步验证该方法的优越性。摘要正确匹配率(22作为评价标准: 精确率是正确的;falmatches是错误的匹配;correctmatches是正确的匹配。
使用方程(11)计算室外停车场和室内大厅的匹配精度,如表所示2。
从表2可以看出,室外停车场图像的匹配精度的方法大于80%。然而,室内大厅图像的匹配精度为76.8%,这低于室外停车场。原因匹配结果是室外停车的特点更加明显比室内大厅形象。同样的现象出现在该方法。但是,传统的冲浪算法的匹配精度低于该方法,并低于该方法的11%左右。它说明了该方法降低了错误的匹配,提高正确的匹配。此外,提出了图像匹配的方法的时间小于传统算法,冲浪和注册该方法的有效性优于传统的冲浪算法。因此,该方法具有明显的优势在两个图像配准的速度和准确度。
4.2。分析图像融合
为了验证该方法的有效性在图像融合方面,本文采用改进的冲浪匹配算法基于累进性加权融合算法的选择,和使用的算法23)相比,该方法对多个实验。为了验证该方法的普遍性,图像亮度不同,不同的角度,选择不同分辨率,不同尺度的融合。
4.2.1。准备影响融合结果的分析
(1)不同的亮度。摄像机部署在不同位置的停车场,附近的摄像头用于收集停车场图像在不同的时间,如图7。图7(一)是一个停车场在阴天拍摄,和图7(b)是一个停车场拍摄在一个阳光明媚的一天。可以看出,两幅图像的亮度是显然不同的。
两个不同亮度图像提取和匹配算法使用优化的冲浪。首先,海赛矩阵用于检测特征点,形成一个64维特征描述符。然后,余弦相似性用于初步判断特征点之间的相似性。双向共识共同选择再次用于过滤特征点对,并与逆向匹配点对错误或反向nonmatching点消除。MSAC算法用于细匹配,最终确定特征点。最后,该方法与其他两种算法相比,实验结果如图8。
图8(一个)显示了传统渐进图像融合的结果加权融合算法。从图8(一),它是可见的,有两个明显的缝合缺口,并融合后的色差严重。红圈标记。图8(b)表明,缝拼接图像的差距是明显的消除。融合后,仍有轻微的色差。图8(c)表明,该方法有效地解决了缝合和色差。
(2)不同的角度。固定位置的摄像机在不同的旋转用于室内大厅室内大厅与重叠区域的图像,如图9。图9(一个)显示大厅,面临的角度拍摄,图9(b)显示了图像旋转摄像机获得的30°左右和上下15°。
海赛矩阵用于从两幅图像中提取特征点是缝在不同的角度,根据部分和特征点匹配2.2本文以消除不匹配点。最后,该方法与其他两种算法相比,实验结果如图10。
有明显的缝合接缝的传统性算法,如蓝色的标记在图所示10(a),从图10(一),清晰可见,有一种融合的差距。因为这种方法显示了一个非线性的加权系数的趋势,它可以解决缝的问题。图10(c)是该方法得到的融合结果。它类似于融合算法在文献[23在视觉效果方面,但缝制效率将会大大提高,如前所述如下。
(3)不同的决议。图像匹配在这个实验中来自互联网,和原始图像缝合将不同的分辨率,如图11。图的分辨率11(一) ,和图的分辨率11(b)是 。
图像匹配的图像缝合处理使用本文的第一章的内容,和错误的匹配点对消除。然后,根据执行图像融合方法第二节这篇文章的,融合结果如图12。
图12(一个)显示三个缝合接缝的传统逐渐融合算法。左上角的蓝色方块标记放大显示,屋顶上显示有明显的偏差。左和右底部的蓝色方块标记表明有一个宽缝差距。上面的错误用红圈标记。图12(b)显示融合算法中使用的效果(23]。从左边蓝色的盒子,可以看出,该算法消除了错位和缝合的问题。图12(c)显示了该方法的结果,也可有效地消除失调和缝合的差距的问题。
(4)不同尺度(不同高度)。本文使用无人机获取图像缝合,并通过设置不同飞行高度重叠的区域,如图13。图13(一)在90米的高度,和图13(b)的高度是100米。因此,这两个图像有不同的规模,他们会有不同的分辨率。不同分辨率的图像有不同的像素大小。因此,这两种不同分辨率图像的像素不能合并在一起。两张图片的不同分辨率将导致匹配失败。
无人机首次采取的原始图像预处理解决在拍摄过程中噪声产生的影响。选择两个图像重叠区域的特征点提取和匹配根据匹配算法在本文提出。然后,使用逐步性的图像融合处理算法,融合算法用于文献[23),该方法。实验结果的比较如图14。
图14显示了不同规模的缝合效果无人机拍摄的照片。图14(一)传统的循序渐进的加权融合算法的影响。扩大该地区在红色框中,可以看出融合图像略有偏差。有明显的差距在蓝色的盒子里。有红色区域的微小差距,但缝合空白的蓝色标记是有效地消除,而且没有错位。图14(c)是该方法的结果。缝合在红色区域错位的问题有效的解决,并缝合差距在蓝色区域是有效地消除,解决了鬼或缝合在融合过程中造成的不正确的重量比。
4.2.2。融合图像的质量分析
从不同亮度的图像拼接,不同的角度,不同的分辨率,和不同的尺度,这显然是不可能区分,改进后的方法比融合算法(23]。因此,平方误差和信息熵是用来评估该方法的有效性。(1)时间消耗:如图15,因为权重系数是线性相关的,该算法将会节省许多时间。4组实验后,可以看出,该算法所消耗的总时间中使用(23)超过2秒的时间比渐近的算法。这是因为使用的权重系数(23)更加复杂。由于该方法使用细胞加速幂函数的加权系数,将双幂函数的加权系数的计算。因此,该方法的总时间消费超过2 s小于的融合算法在文献[23,性加权融合算法的总消费时间是相对较近。(2)均方误差(MSE):均方误差越小,越接近原始图像和更好的融合效果。所示图的直方图16,该方法的MSE远远小于性加权融合方法和略小于文献中使用的算法(24]。与四组实验数据相比,降低了1.32%,1.48%,1.39%,1.33%。使用的算法(23)只有1%小于性算法。均方误差数据的比较,可以看出,该方法不仅维修融合缝也显著降低了与原始图像误差。(3)信息熵:它是用来描述一个图像和测量的平均信息量丰富的图像信息(25]。信息熵越大,越大的融合结果图像中包含的信息量。 在哪里的比例是灰度值的像素数量吗我图像和总数l灰色的总数的水平。
图17显示性的信息熵加权融合算法几乎等于中使用的算法(23]。与其他两种算法比较,可以得出结论,与性算法相比,该方法增加了1.70%,0.98%,1.42%,和1.04%的四组试验信息熵的比较。与性加权融合算法相比,算法的信息熵在[23是增加了0.17%,0.16%,0.09%,0.13%。图片缝合后,该方法提高了图像信息和消除重影。同时,显著提高整体形象信息。
根据上面的分析,该方法不仅可以适用于亮度的变化,角,分辨率,和规模也解决重影和缝合的问题经常发生在传统的性算法。该方法耗时少,具有更好的详细描述和更丰富的信息内容。与其他两个融合算法相比,该方法可以获得更高的拼接和融合质量。
5。结论
该方法使用余弦相似性、双向选择、一致性和MSAC算法匹配特征点,有效地解决了错误识别匹配的点。在图像融合阶段,提出了一种电力function-weighted融合算法基于细胞加速。它不仅解决了重影和缝合在传统融合算法也提高整体形象缝合的效率。通过几组实验数据的比较结果,它可以表明,该方法有更高的正确的特征点匹配算法比传统的冲浪,它花费更少的时间。在图像融合阶段,这三个指标的总时间消费,均方误差和信息熵用于评估。与进步的加权融合算法相比,该方法所消耗的总时间至少2 s,和均方误差减少1.32%∼1.48%。信息熵增加了约0.98%∼1.70%。提出的方法具有更好的性能匹配的准确性和融合效果。同时,它具有更好的拼接图像质量比传统融合算法和普遍性。
在未来,登记和融合的低分辨率图像应该被关注。同时,图像拼接的关键是图像特征点的决心。确定图像特征点的有效性将直接决定了图像拼接的速度。此外,图像特征点的精度会影响图像配准的精度。因此,我们将进行快速和准确的研究确定图像特征点和视频流的快速拼接。
数据可用性
期间产生的所有数据或分析本研究包含在本文中。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是财务支持的青年科学基金项目(51706165)。