文摘
全景可以反映图像在任何角度来看,在一个特定的观点。如何提高全景拼接的质量和使用它作为一个“智慧旅游”系统的数据基础已成为近年来的研究热点。图像拼接方法使用之间的重叠区图像为注册和缝融合生成一个新的形象与更广泛的视角。本文以“太极”动画的生产为例,应用图像拼接技术生产的现实的三维模型纹理来简化生产动画纹理。手持相机是用于收集图像在一定重叠区域。圆柱投影后,哈里斯算法基于尺度空间检测图像特征点,采用双向匹配特征点的归一化互相关算法,以及该算法提取的阈值T迭代地删除不匹配。转换参数模型迅速通过改进的RANSAC算法估计,预计和拼接图像和转换。Szeliski灰度融合方法直接计算匹配点的平均灰度融合图像,最后,最好的缝合方法用于消除图像马赛克的重影。基于Matlab数据实验表明,该图像拼接技术具有效率高、清晰的图像和更令人满意的全景图像拼接的视觉效果。
1。介绍
太极拳是我国宝贵的文化资源和的一个重要文化产业,促进区域经济发展。本文使用动画来推广这种文化产品。当使用三维动画制作软件设计动漫人物模型,为了节省人力和时间,可以使用模型精度。然而,为了实现对人物细腻逼真的视觉效果,真正的字符图像被用作模型纹理时模型的纹理。为了弥补模型精度低的缺点。然而,收集真实的人需要拼接成一个二维平面图像360°全景根据需求模型的紫外线分布图,利用图像拼接技术,可以完成。图像拼接技术是用于生活的许多领域。例如,在医学研究领域,随着使用显微镜、高放大倍数的显微镜下的照片可能会单独领域,医生想要观察。图像镶嵌技术可以用来生成一个新的马赛克帮助医生解决问题无法通过。其他应用领域包括军事领域、航天领域,机械设计领域,等等。 This article will take a group of real person head images as an example to describe the process of using image stitching technology to make 3D model textures [1- - - - - -5]。
图像镶嵌技术是一个重要的研究课题领域的虚拟现实,计算机图形学,图像处理。领域的动画,它是用来制作动画模型纹理来节约成本,提高速度和准确性的纹理模型。领域的提示(旅游到图片),全景图像生成提供了重要依据生成动态三维图像二维静态图像。
图像拼接技术(见图1)是几个相邻的注册和融合图像或照片与重叠的区域形成一个360度或款全景图像。图像拼接算法主要集中在基于区域相关的方法和特点。基于区域相关的方法决定了方差函数通过图像的相似性和决定通过函数图像之间的变换关系。这种方法要求图像之间的变换振幅很小,和该方法容易受到保健条件和有大量的电脑。基于功能特性的方法是提取图像特征,并确定相应的特征之间的关系找到图像之间的变换关系。这种方法相对稳定、快速、具有广泛的适应(6- - - - - -8]。
图像拼接的重要内容之一,图像配准主要分为以下。
1.1。基于图像灰度登记
这种类型的方法直接使用图像灰色信息来构造相似度计算的相似度函数。常用的方法是提出的投影匹配方法Fuh CS和p .中提琴的互信息匹配方法。图像配准算法的原理基于灰色信息很简单,但是计算量大,而且因为它计算像素的灰度信息,对噪声和光很敏感。
1.2。基于变换域的图像配准
图像变换到频域,然后执行相应的转换处理实现图像配准,如基于傅里叶变换的相位相关匹配方法Srinivasa和Reddy提出的。在时域延时与相变在频域中,和相应的振幅的变化相对简单,所以一般用于仿射转换图像配准,但它不适合复杂的图形转换形式。
1.3。基于特征的图像配准
图像特性包括特征点、轮廓特征、区域特殊诊断结构、边缘特征,等等。此外,还有许多商业图像拼接软件,开源软件赫吉等苹果QuickTime的虚拟现实系统,微软的数字图像,等等。
国内图像拼接技术比欧洲和美国开始得较晚,但近年来发展迅速。领域的边缘提取,温家宝Ting等人综合考虑图像梯度的影响特性,相位特性,和噪音和使用定向能量和计算的亮度梯度直方图差分算子作为图像边缘检测功能;太阳Shuyi等人使用小波变换提取边缘特征,然后使用手动选择注册。的特征点提取、特征点提取基于变分的b样条滤波器结合哈里斯张勇等人提出的算法大大提高了算法的时间复杂度;跟踪徐先锋等提出的分组哈里斯。拉普拉斯算法特征点提取的优势减少功能冗余;邱主任和其他改进了哈里斯算法来避免k价值在角落里响应函数和阈值的选择T在检测过程中(9- - - - - -12]。
尽管国内外许多学者已经做了大量研究特征提取和匹配,并取得了明显的成果,研究如何提高特征提取的速度,提高匹配精度,减少冗余,提高鲁棒性仍在进行中。作者认为,很难找到一种算法,适用于所有图像缝合,毕竟,图像缝合的字段是不一样的。在医学领域,重点是拼接图像的质量,因为如果不匹配,缺少比赛,和重影出现,他们将有更大的影响医生的判断;在航空航天领域,重点是拼接图像的鲁棒性。好,因为天体拍照的对象正在和光线都是不同的。在智能旅游系统中,由于高质量的图片,算法改进的重点应该是减少冗余和减少拼接算法的时间复杂度13- - - - - -15]。
全景图像生产的主要步骤是基于特征点。首先,收集一定的重叠区域的图像,图像预处理。本文根据缝合方法,圆柱投影图像,然后提取特征点,特征点匹配,图像变换,最后通过图像融合生成全景。图像采集分为三种方法:相机放在一个滑轮并行拍摄,相机放在三脚架固定旋转,和相机被射杀。本文使用手持相机拍摄最常见的和灵活的方法。这种方法被广泛使用和有实际的研究意义。很难整合手持相机,因为相机采集的图像运动是复杂的拍摄过程中,有一个水平和垂直偏移量。可能会有一定接触相邻图像之间的区别和一个小范围的物体运动,甚至一定量的旋转角度和小规模的扩展(规模的大小对象或功能)(16- - - - - -23]。收集各种物体或特性的图像需要特定范围内研究是有意义的。全景图像的表示离散图像加工成一个连续的图像。为了不破坏视觉图像中不同对象之间的一致性和维护空间约束关系在实际场景中,收集到的离散图像需要投射到标准坐标。根据其表面投影的形式,全景可以分为三种类型:球面,立方体表面,和圆柱表面。由于圆柱投影图像容易获得,图像质量是统一的,和细节很高,它是广泛使用的。这篇文章是一个图像拼接算法,使用一个柱面投影表面。在特征点提取,双向归一化互相关方法用于特征点匹配。变换矩阵的计算是计算两个图像拼接的空间几何变换根据特征点的匹配点集。在这篇文章中使用的变换矩阵模型是一种eight-parameter投影变换模型。模型描述了平移、旋转、缩放和规律性运动图像的还包括不规则的拉伸运动,也就是说,平行线转换后不能保持平行。 After the image is cylindrically projected, an image matching operation is required, that is, the images of adjacent overlapping areas are spliced and merged. The splicing method based on feature points extracts image feature locations by describing features. This paper adopts a Harris corner detection feature point algorithm with scale spatial information. After the image projection transformation, the image needs to be fused, that is, the coordinates of the reference image and the target image are merged into one coordinate. The directly stitched image often has problems such as grayscale difference and ghosting, which requires the stitched image perform grayscale adjustments and eliminate ghosting operations [24- - - - - -29日]。
2。图像拼接
当“太极”字符图像收集,postimage缝合和紫外线分布特征模型应充分考虑。为了获得一个360°全景图像的“太极”角色的头部,当图像被收集,“太极”人物的头部作为中央轴,和绕中心轴转动镜头拍张照片。在拍摄过程中,从多个角度连续射击是必需的。镜头必须针对人的头,和必须有一定程度的重叠之间的连续拍摄的图像。图像采集的图所示2。
图像拼接是一个复杂的过程,过程的主要步骤可以概括为:图像预处理,图像投影变换,图像配准和图像融合。
2.1。图像预处理
柱面全景图,我们需要相机保持在水平线时捕捉图像,尽量避免镜头的音高和倾斜,并执行360 -旋转射击在水平方向上。如果条件允许,将相机放在一个固定的三脚架,效果会更好。照片的数量决定了工作负载的缝合。图片越多,更大的工作负载。然而,如果每个图片的宽度的视觉范围扩大以减少缝合时间,之间的重叠区域相邻的图片将会降低,甚至导致不准确的特征匹配和缝合的失败。权衡双方,我们一般要求之间的重叠区域相邻的图片是50%左右。最后,内容需要固定,也就是说,没有人或移动对象;否则,它将导致拼接图像的失真,甚至缝合失败。
由于多变的环境下,图像将不可避免地有噪声点。这些噪声点可能会引起干扰在特征提取和匹配的影响效果和效率。因此,在投影变换,图像的去噪。属性如亮度、颜色、形状和灰度的一组连续获得图像由于人类或自然因素不同。因此,有必要进行预处理低对比度的问题,变形、几何失真等出现在图像。这不仅能提高图像的显示质量,还可以确保后续的图像配准过程的顺利进行。
2.2。图像投影
为什么我们需要项目吗?捕获的图像的重叠可以直接缝合?它可以拼接,但效果并不理想。因为真正的场景的投影图像的二维坐标,直接拼接图像不能满足人类的视觉一致性要求。简单地说,拍照水平平面成像,和我们需要的图片是圆柱形成像。直接缝合会产生失真。
柱面全景图的最大的特点是,它没有顶部和底部,只能用于小角度倾斜操作。本文选择圆柱形全景的研究内容有以下原因:(1)柱形全景的照片收集很简单(2)柱面全景图的边缘失真很小,和像素是均匀分布的(3)柱面全景图的坐标变换相对简单,并且没有边缘和固定分立方体全景,所以坐标的测定和缝合的难度降低
柱面全景图需要飞机图像投射到一个圆柱形的身体相机焦距f随着半径。同时,需要使用相机的焦距平面和圆柱坐标转换和相机的标定坐标。相机的焦距f是一个全景,这是一个重要的参数的生成过程。但大多数相机的焦距参数不是给定的,尤其是在路上用手机拍照。因此,在图像的圆柱投影之前,我们必须先估计使用的拍摄镜头的焦距。
根据图所示的方法收集到的图像2在不同的角度拍摄。为了保持实际对象的空间约束关系,收集到的图像需要投射在一个标准的坐标系统。否则,如果你直接控制这些图片并进行拼接,不同对象之间的视觉一致性在实际场景将被摧毁,和人们的视觉需求将不会得到满足。因为本文中使用头部轮廓的形状就像一个圆柱,投影图像无关的投影位置表面的油缸。一个圆柱投影模型作为标准坐标空间在本文中被选中。
如图3,建立了坐标系统O作为原点,我是一个原始图像的相机,点P (x,y)是原始图像上的任何像素我,然后像素点P摄像机坐标系的坐标xyz可以表示为
在这里,W是原始图像的宽度我,H是原始图像的高度我。如果缸的中心作为相机的坐标系统的起源,和相机的像素焦距f用作圆柱体的半径,然后在一个柱面全景图像,投影点问(x′,y′)可以表示为
在这里,f焦距和满足以下公式:
从公式可以得出结论(2)圆柱投影算法可以防止物体在竖直方向变形。
2.3。图像配准
图像配准使用相似性度量来计算空间变换参数和变换两个或两个以上的同一场景的照片,从不同的角度和一定程度的相似性,在不同的时间相同的坐标系统来获得一个拼接图像。图像配准的焦点一直是图像镶嵌技术的研究,国内外学者也提出了不同的图像配准算法。一般来说,图像配准必须包括以下基本内容:(1)特征空间,即图像的集合的特征匹配,如灰度特性,统计功能(不变量,中心),边缘,角落,等。:当选择特性,要注意选择特征的数量,太多会增加匹配的数量,太少会导致匹配失败。(2)选择相似的措施:它是用来衡量相似性匹配特性。这是最关键的一步注册和直接决定了匹配的准确性。(3)搜索空间,所有可能的转换空间。(4)最好的空间,这是找到最高的转换参数搜索空间的相似性。
由于不同时间拍摄的两幅图像在拼接过程中,同一场景的灰度值不一定相同,所以缝合将发生在缝合。图像融合的目的是消除接缝,使图像自然过度,保持良好的光谱图像本身的特点(图4)。
图像配准的基本原理是拼接多个图片包含相同的图像面积和使用某种相同的图像区域匹配方法来确定两个相邻图像之间的拼接的位置。基于一个人的头部图像的特点和丰富的边缘信息,纹理信息,和特征点信息,本文采用基于特征点匹配Harris角点检测算法。拐角检测公式 在哪里 窗口函数和吗 是图像的灰度梯度值。为每个小位移(Δx,Δy),可以表示为双线性近似
在这里,米可以通过以下公式表示:
让λ1和λ2的两个特征值矩阵米代表当地的自相关函数的曲率。E可以作为当地的互相关函数,近似描述的形状。时的值λ1和λ2很小,如果窗口在任何方向移动,变化的价值E是小;当一个人的λ1和λ2大,其他值很小,如果窗口沿着边缘方向,改变吗E值也小,如果窗口移动的方向垂直于边缘,的变化E价值更大;当两个λ1和λ2都是大的,任何方向的移动会导致吗E价值大幅增加。绘制在图的价值变化5。根据上述情况,用来计算角点响应函数在实际应用可以写成 在哪里
当矩阵的行列式米大,这表明它是一个边缘或角落;当矩阵的主对角线的总和米在一定的面积大,这表明它是一种优势。k一般以一个经验值为0.04。
Harris角点检测算法可以提取特征点信息用于注册这两个图像。然而,提取的特征点信息不能用于匹配。还需要测量这些特征点的相似度信息。性能指标决定了所有注册测试的相关特征。首先,提取相关的窗口(2N+ 1)×(2N+ 1)大小的两个图像特征点为中心,然后使用参考图像中的每个特征点作为参考点,然后根据特征点在当前图像。搜索顺序和执行块匹配。在匹配可以指定搜索区域,其范围也可以指定根据实验经验。使用此方法,搜索相应区域的特征点可以改变从整个图像的窗口指定的大小,可大大减少计算工作量。本文采用归一化互相关(NCC)算法来计算两个相关窗口之间的相关系数。上面的粗匹配的特征点后,仍有少量的假特性对。如果使用最小二乘方法直接估计模型参数,它将带来一个相对较大的登记错误。因此,本文使用RANSAC方法实现精匹配。该算法可以有效地排除异常值在特征匹配。
2.4。图像融合
图像拼接后,由于不同的观点,决议,等等,原始图像的加照明等外部因素的影响,拼接图像产生模糊,噪声,或鬼重叠部分,拼接将发生在同一时间。也有接缝的边界。因此,有必要对拼接图像进行融合处理。在本文中,采用多分辨率融合方法,实现过程如下:(1)创建一个原始图像的金字塔分层结构来获得每个图像的低通层: 在这里,G0是原始图像。(2)通过低通层每个图像,获得相应的带通层图像可以分解: (3)执行图像融合操作每个图像的带通层分别使用加权平均方法来实现,然后对当前lk层,有 这一步后,相对应的空间带通输出图像。(4)结合获得的带通层获得最后的缝合图片: 通过实验,可以看出融合图像清晰,光滑,无缝的。
3所示。图像特征提取和匹配
一个图像的特点是抽象表达的像素或图像中像素的集合,它是最基本的属性,区分图像。它可以用更少的像素描述图像信息。图像的特征提取是选择,因为它可以避免噪声的影响,灰度,更大程度上和其他外部因素。
图像特性包括特征线,特征脸,特征点,等等。专线:特征线主要指的是图像的边缘特性,包括轮廓和弧。通常,边缘检测算法用于检测特性曲线。误差变化如图6:功能点:功能点是点,反映特征的类型或地理区域的分布特征。一般来说,特征点是指角点(目前没有明确的数学定义)或其他极端点的计算值特征提取功能。角点的边界方向变化明显具有最大的概率。表面特征:它指的是区域块图像中包含的重要信息,也称为功能域。大多数表面提取的特征是明显的禁区,常用的提取方法是分割方法。基于特征的图像拼接技术的最大困难在于表面的提取特征区域。
匹配的特征点对得到的NCC算法会有很多错误。一个是由特征点的定位不准确造成的。这种效应可以减少在使用最小二乘方法来解决变换矩阵,,另一个是由于噪声等干扰。如果有很多不匹配,将会有一个很大的影响图的矩阵变换。因此,NCC匹配完成后,匹配的一对将“净化。“在这里我们介绍RANSAC算法。图像过程如图7和8。
RANSAC算法是一种数学模型,它使用一个迭代算法来估计参数。这是一个算法容错率高,加上NCC算法,它能有效地将外部点。RANSAC算法的想法是找到包含最内部的转换模型通过迭代点。以直线拟合为例,我们需要找到一个拟合直线,其中包含尽可能多的点在图中。我们首先选择两个点,找到一条直线,然后采取一定的阈值t,标志着点距离小于t从内部点的直线,然后找到一条直线基于内点集获得这一次,和使用t法官同样多少分属于内陆点的直线,直到某一采样使得最大内陆点的数量,和直线是所需的。
对于大量数据的图像,我们继续示例和找到的变换矩阵。的H匹配矩阵由每4点需要验证一个接一个,这是一个大量的工作。在这篇文章中,当使用RANSAC算法来净化和计算H矩阵,进行了改进:4 + 2双选择初始匹配点,和H矩阵由4个特征点是由其他2双特征点。如果他们不是所有内陆点,就抛弃它,选择4 + 2双匹配点。
在实验中使用的图像是图像采集与手持移动电话的情况下定点旋转和翻译在户外照明,和收集到的图像的重叠率约为20%。后收集到的图像,图像是第一圆柱投影,使用哈里斯的图像特征点提取算法规模不变的空间,和双向归一化互相关方法用于匹配、特征点提取迭代消除不匹配,使用RANSAC算法和投影模型估计,最后采用Szeliski灰度融合方法。直接灰度平均的方法匹配点和最好的缝纫线完成全景的马赛克处理。图5最后缝合效果图片,拼接图像质量能满足要求的提示纹理背景图像和动画模型。缝图像如图9。
4所示。结论
图像拼接技术是一种流行的数字图像处理领域的研究方向,它吸引了许多学者研究近几十年。其中,图像配准是其关键技术。图像配准技术,人们通常希望改善从三个方面,一个是特征提取的准确性,另一种是提取速度,第三个是匹配的准确性。
在太极的创建动画,图片需要拼接往往肖像照片,并达到良好的宣传效果,图片的质量必须相对较高,可能会有更多的功能,增加的工作负载特性匹配。从节省时间的大致方向,本文牺牲少量的时间来降低特征点的积累,很容易出现在哈里斯的经典算法,减少了冗余,降低了特征匹配的工作量如下图片,并提出增加两对匹配点。预先判断匹配矩阵RANSAC算法大大减少了计算时间,尤其是高质量的旅游风景的变换模型计算图片。
在我国,国家旅游局包括“智慧旅游”在“十二五旅游发展规划。“健全政策性环境中,物联网技术的快速发展,云计算、现代通信技术和虚拟现实技术与智能旅游也为它提供了技术支持。智能手机和平板电脑的普及也给他们提供了强大的硬件支持和用户基础。因此,智能旅游的发展前景非常好。
柱面全景图的形成比球形全景的简单,但不能从顶部视图和视图顶部,漫游时,双方的失真是显而易见的。本文是成对注册匹配策略。对于多重图象拼接,多次重复匹配过程,浪费了很多时间。如何实现多个图像的注册和融合在一起也是一个问题,作者认为。最后是推荐的加载信息。现在系统中,全景只能浏览,没有任何信息显示出来。因为游轮是非常大的,作者认为以前的乘客的实际消费信息,每一个全景的点击率为准绳,并将推荐明星添加到全景旅游的巡航的目的清晰。
数据可用性
数据集可以在请求访问相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是支持的科技项目下的河南省科学技术厅项目“评估行动在体育视频基于Multifeature融合数字”(182102310041)和“评估基于视觉的太极拳动作的变压器”和三门峡职业技术学院项目下项目“低质量评估行动的大排量体育视频数字”(szygccrc - 2020 - 005)。