文摘
为了探索数字图像修复的问题,作者提出了对数字图像恢复的研究基于multicontour批量扫描。该方法建议关键技术问题和解决方案基于信息由multicontour批量扫描,数字图像修复的探索研究。研究表明,数字图像修复研究基于multicontour批量扫描大约是40%比传统方法更为有效。针对数字图像修复的新应用程序,研究了图像修复在图像压缩中的应用,和图像修复的技术原理和图像压缩是补充。
1。介绍
数字图像修复技术被广泛使用,因为它广泛应用背景;它已成为图像处理领域的一个热门研究课题,近年来(1]。数字图像修复技术进行了深入研究,并提出了有针对性的改进来提高图像修复质量,从而提高图像修复的可行性[2]。图像的应用无处不在,大部分人类在日常生活中获得的信息来自视觉系统;计算机产业的蓬勃发展和信息时代的到来,图像作为信息的载体的应用价值正变得越来越高。例如,气象局可以研究气候变化和环境污染通过卫星航拍图像,天文学家可以通过观察天文图像研究星系的法律和观察宇宙天体,比如黑洞。医生在医院检查身体的相关部位,CT和MRI扫描,和公安部门使用指纹、脸,和其他图像识别和提取的基础解决情况下,等;的发展,越来越多的技术需要使用图像;可以说,现代技术的发展离不开图像。
“图像修复”的概念最初起源于恢复古代绘画和其他的艺术作品3]。等文物字画被损坏在一定程度上由于环境因素,人为因素,在保存过程中以及其他因素,如划痕和失踪4]。最初的图像恢复是修复并填写损坏的部分工作的专业经验丰富的艺术维护者;目的是恢复受损的形象变成一个完整和清晰的工作尽可能通过图像恢复、图像恢复技术的前身。无疑是有巨大风险的直接修复原来的珍贵艺术品;一些简单的疏忽和粗心可能导致不可预知的后果,甚至不可逆转的损失。图像数字化的实现和普及,一种新的修复的想法出现了,原著可以扫描成数字形式并将其存储在电脑,只需要使用图像恢复技术在扫描执行相关处理数字文件。这样,操作可以避免原来的工作,大大降低了修复图像的风险。在上述“相关性”处理,图像恢复技术中起着举足轻重的作用;经过多年的研究和发展,数字图像修复技术已经发展成为一个日益成熟的学科。
由于移动互联网时代的到来和医疗信息革命,图片和视频已经变得越来越流行,和图像处理已经收到了越来越多的关注,已经发展成为一个有前途的学科5]。图像不可避免地会破坏在获取和传输的过程中,这无疑给研究人员带来了巨大困难。对不同处理的目的,图像处理主要分为图像增强、图像恢复、图像重建、图像分割。
近年来,流行的小波变换的发展非常迅速,已逐渐成为图像压缩领域的前沿和热点[6]。小波变换考虑人眼的视觉特性,消除图像冗余,并广泛应用领域的静态图像和动态图像的压缩7]。小波变换的图像压缩比离散余弦变换具有更大的优势,它不具有较高的压缩比和块效应,它有很强的处理能力对噪声和细节可以显示图像数据在多个决议,因此,基于小波变换的图像压缩方法取代DCT,成为图像压缩领域的主要研究方向。当前流行的JPEG200O是新标准的基于小波变换的图像压缩,如图1。
2。文献综述
娇,吴邦国说,因为图像是一个直接的方式为人们获取信息,图像的处理尤为重要(8]。随着现代科学技术的发展,图像处理技术得到了广泛的应用。蔡等人说,在医学研究领域,射线照相法和显微图已经很长一段时间(用于诊断疾病9]。九和Pustelnik说,目前,计算机图像处理已经成为一个重要的疾病诊断处理方法(10]。艾格尼丝等人说,身体的内部条件,以前通用检测方法检测不到现在可以通过医学成像技术(特别11]。最具代表性的诊断方法之一是x射线CT(计算机断层扫描)。数字图像处理和重建的发展到今天的水平主要是由于(1)计算机本身的发展。早期的计算机是难以满足的要求实时处理大量数据的处理速度和存储容量。随着计算机硬件和数字技术的发展,计算机的价格,存储设备,和外围设备已经大幅下跌,他们的表现明显改善。处理以前只可能与大型计算机现在是可能的个人电脑。(2)数学的发展。特别是,离散数学的产生和发展为数字图像处理奠定了理论基础。
郑认为人们通常处理图像,以获得高质量的图像以达到令人满意的结果(12]。例如,消除图像中的噪声,增强或抑制图像的某些部分,或改变图像的亮度从而改善图像的质量。尼尔森等人认为,提取图像中包含的信息或某些特性便于计算机分析也是一个因素,人们考虑图像处理,包括计算机视觉的预处理(13]。Espriella等人认为,最后一个原因是为了便于图像的存储,从而完成图像的编码和萎缩(14]。数字图像处理主要包括几何处理、图像编码、图像增强、图像恢复、图像重建、图像分割。任何图像处理过程可以简单地使用一个输入输出系统建模。不幸的是,大多数图像处理问题是不适定的逆问题,不满足唯一性,存在,或稳定。因此,如何解决这些欠定的理想解决方案问题给人们带来了巨大的挑战。自干扰图像在采集的过程中,传播,或存储,图像将会退化;例如,图像含有噪声和模糊。因此,退化系统的先验知识用于构造合适的数学模型来减少或消除观测图像的畸变,导致高质量的图像,易于观察和研究。
图像恢复的概念有着悠久的历史,但它是一个相对较新的话题领域的图像处理技术研究。直到2000年,图像恢复的概念(图像修复)介绍了在国际图形年会,更加正式、在国际上有影响力的会议上,正式提出Bertalmio et al。自那时以来,数字图像修复技术已成为一个通用术语的工作类型,使用计算机程序自动运行,或恢复丢失的图像与少量的人机交互。图像修复不仅是一个简单的图像处理问题,但还涉及许多领域,如计算机视觉,计算机图形学中,与人类视觉心理学;有许多影响因素和不同的处理方法,因为其高的实用价值,它吸引了许多学者的研究;相关的数字图像修复技术已成为一个比较热门的研究课题。
因为数字图像修复技术包括技术在许多领域,各种研究方法一个接一个的出现,和图像恢复方法的分类根据不同的分类标准也不同。根据不同的修复理念,专注,数字图像修复可以简单地分为两类:基于结构的修复方法与texture-based修复方法。大部分的基于结构的图像修复是处理方法求解偏微分方程的形式;主要的思想是模仿手工修补的技能,逐步扩散从失踪的边界区域内部通过迭代方法实现图像填充。在最初的修复方案,提出了迭代执行修复顺序从外到内沿isoilluminance与单个像素的基本单位;修复过程实现了解决三阶PDE,基于早期古典BSCB模型的结构方法。BSCB模型的修复理念和数学建模很容易理解和实现,但是这种修复方法修复的特点是基于像素,确定修复速度必须非常缓慢,和修复效果缺乏整体美和协调;因此,BSCB模型通常只作为参考图像修复模型。
3所示。方法
3.1。添加模糊和泊松噪声的过程
通常,模糊和泊松噪声被添加到流程,是真正的形象,是一个模糊的点扩散函数(PSF),和泊松代表泊松噪声的影响15,16]。这个问题的公式所示
降解获得信号由泊松噪声是一种常见的现象在生物医学成像等应用程序,夜视,和天文学17,18]。因此,泊松噪声去除是特别重要的图像分类和识别等进行进一步的处理。泊松噪声是一种相互依赖的噪音。它非常不同于高斯噪声和不满足简单的可加性原理,所以常用的高斯噪声去除算法不能直接应用于泊松噪声抑制。具体来说,假设观察noise-contaminated图像服从泊松分布,离散概率所示
在subetwork SubNet1,泰勒公式和卷积算子先后采用模拟常规的推广提出变换。更具体地说,通过引入一个变换和应用泰勒公式,它可以获得所示
卷积算子由“Conv”通常是卷积神经网络架构的一个组成部分。每个卷积层神经元学习权重和偏见 ,所示
首先,为了稳定,使用多个方程广义“Conv”层和SubNet1求和运营商,即。,见
假设有一个受损的形象 ,中间不规则区域该地区被修复,是边界,已知的面积。修复过程是一个迭代的过程,而且沿着图像边界逐渐扩散,external-to-interior方式,及其迭代方程可以表示为
的公式,是迭代的数量, 是当前的迭代次数, 二维图像的像素坐标,每次迭代的步长,通常可以被设置为一个恒定值。改善量是一个关键的公式,这是直接关系到修复过程的扩散模式;其计算表达式所示
CDD模型curvature-driven扩散模型;电视模型的基础上,curvature-driven术语引入扩散强度因子的表达;其数学表达式所示
为方便计算,我们可以简单的把 ,以获得维修CDD模型的表达式所示
表中的值1显示三个卷积过滤器确实是类似的定量指标(19,20.]。特别是,高斯模糊内核的网络训练比其他两个更相关模糊内核。剩余子网中的第二,转换层包含不仅光滑特性,还一些详细的功能类似于噪音。即剩余块确实起到了重要的作用在非高斯噪声去除,如表所示1。
4所示。结果和分析
为方便比较,修复时间和各种修复指标上面的三组实验中列出一个表(21]。修复图像的像素的数量是修理修理时间直接相关;更多的像素被修复,修复时间越长是必需的。修理过的像素总数反映了样本块的搜索范围,间接地影响了修复时间;修复了像素总像素的比例也可以反映图像修复的难度。示例复制的数量反映了特定数量的块复制在修复过程中;这个参数是由平均大小的块复制,可以间接反映纹理复杂性和结构信息块的修复。泊松治疗的数量的影响样品的数量复制修复时间也是一个重要参数值指的是(22,23]。从表可以看出2的修理时间三个图像修复是在100秒的单位,在可接受的范围之内,并修复像素总像素的比例是3.5%,6.8%,和20.0%,不同的损失比率代表不同的修复困难,和所有三组图像不仅具有不同比率已被填补,表明提出的修补算法具有良好的多功能性(24,25]。在三组实验中,泊松处理的数量约占样本总数的20%复制;确实可以证实泊松处理维修只样本块的外层循环。该算法修复指标如表所示2。
在图像恢复领域,目前还没有可靠的和一致的客观评价标准修复效果;使用最广泛的在传统修复技术研究人员是峰值信噪比;因为对象删除实验没有一个已知的图像作为比较基准,无法计算指数,这客观评价标准不能应用在这种情况下修复实验。本实验使用主观评价标准;即观察者评价不仅形象不知道填补区域(26,27),如表所示3。
如表所示3,修复方法在实验中取得了良好的效果的维修时间和维修质量;传统的Criminisi AIEI模型修复时间最短;然而,很难保证修理质量为一个特定的形象;提出的改进方法在一定程度上提高修理质量,但它大大增加了时间成本;提出的改进方法可以显著提高图像修复质量不增加太多的修理时间,这是一个有效的改进方案。
离散余弦变换可以扮演一个角色在数据集中能源相关的形象;DCT变换后,图像信息主要集中在矩阵的左上角;它代表了图像的低频分量,这里反映了图像的大部分信息。虽然大多数的右下部分中的值为零或接近于零的分数值,这些信息代表了图像的高频分量。之前执行逆离散余弦变换,丢弃这些系数值接近于零没有影响重建图像的图像质量,但达到的目的表达图像用更少的数据,从而使图像数据的压缩28]。
原始图像进行离散余弦变换后系数和一些被丢弃,系数矩阵编码,采用相对简单的RLE编码的压缩方法。RLE编码也称为行程长度编码;在图像编码中,相邻元素具有相同像素值在指定方向上被定义为一个圆,和保留的长度是一个连续运行,称为运行。行程长度编码的主要原则是代表相同的值的字符串在图像矩阵代表值+运行长度,这样表示矩阵数据的长度小于原始数据的长度,从而实现数据压缩。
保留块和丢弃块的选择是一个关键步骤在图像修复应用于图像压缩;如果丢弃块太少,不利于提高压缩比;如果有太多保留块,很难保证修复的效果。特别是重要的功能块被丢弃的错误,它将导致没有修理或修复后明显的修补痕迹。因此,在这一步中要实现的目标是找到最合适的平衡丢弃多余的阻塞和留住重要的特性。采用的方法是提取压缩图像的边缘,然后锐化;同时,极端点在图像块计算;最后,锋利的边缘上的像素和所有极端点的统计处理,也就是说,扩展处理。然后可以获得所有选定的块未经选择的块将被删除。
图像的边缘一般指的位置图像的灰度值变化明显,边缘检测的原理通常是意识到通过使用不同的灰色,颜色,和纹理特征之间的对象和背景;常见的检测运营商包括普瑞维特运营商,罗伯特算子,Sobel算子,精明的经营者。
精明的边缘检测算子可以处理图像边缘等多个阶段的过滤,增强和检测,其梯度计算使用高斯滤波器的导数。首先,与高斯滤波器平滑图像,然后计算过滤图像梯度的大小和方向,然后应用nonmaximum抑制加工梯度值;最后,双阈值方法是用于连接边缘。
考虑到图像矩阵是由离散的像素,上述运营商都使用不同的方法来近似偏导数。采用边缘检测和锐化方法如下:首先,Sobe1水平边缘锐化滤波器用于提取和锐化图像边缘,然后,普瑞维特水平边缘滤波器用于提取和锐化图像两次。锐化两次不同的过滤器可以获得有利于修补的轮廓。图像的源点是一个关键点,并有很强的结构,通常这样的关键是一个数学极端点,和极端点包含一个最大值点和一个最小值点,和计算要点和标志等。修复的图像可以通过扩大提取并磨轮廓和获得的源点由几个像素宽度。
表4是一个全面的比较三组的实验;在使用这个实验的压缩方案压缩和冗余消除,每个可以获得不同的压缩比。通过纵向比较,可以发现,整个压缩比与使用的编码和解码方法的压缩和消除冗余的第二个“压缩”,和第一个压缩方案的编码和解码处理的三个图像和消除冗余方法在第二个“压缩”是相同的,但由于冗余的三个图像本身是不同的,这导致了不同数量的扑杀,这直接导致了不同的压缩率。横向比较,二级后的图像修复方法的选择“压缩”获得一个完整的形象有非常重要的影响;CDD恢复模型可以从PSNR值的客观评价指标(峰值信噪比);AIEI修复模型和修复的修复方法在实验中表现出增加的趋势,如表所示4。
三组实验演示图像修复应用到图像压缩的可行性;然而,由于图像修复技术使用的修复机制的相关图像本身,因此,将图像修复技术应用于图像压缩的先决条件是,图像内容有一定的相关性。如果图像的相关性很大,可以获得相对较大的压缩比,但如果图像本身是一个图像相关性和复杂的结构,较低的压缩率得到这个方案将相应减少。例如,图像在实验3中是相对复杂的由于其相对复杂的纹理;获得的压缩率低于实验1和2。
获得的压缩比这个计划是有限的,和获得最高的压缩比小于5:三组实验1,当压缩比,可以通过现有的主流标准JPEG压缩通常高于10:1;如JPEG2000的新兴发展甚至可以取得更大,表明该方案获得的压缩比不能与特殊的压缩标准。的压缩率而言,数字图像修复技术的应用图像压缩不能建立自己的优势,但这个计划的重要性是一个尝试一个新的压缩主意除了传统的压缩方法;从这个角度来看,图像修复应用到图像压缩的方案提高了图像压缩技术的灵活性。与传统的如JPEG压缩方法相比,该方案将映像恢复应用于图像压缩的能力恢复处理除了压缩。如果压缩的JPEG压缩后图像本身损坏,无法恢复所需的图像由于没有后续处理机制;相反,这个方案可以修复造成的损害压缩本身由于后续修复处理;因此,可以增强压缩的容错。
同时,压缩比可以通过这个方案也直接关系到图像的修复能力恢复技术;当图像是固定的,不能获得更高的压缩比的原因是因为现有的数字图像修复技术已经相当大的限制压缩图像的恢复能力。压缩后恢复,恢复算法获得一个更好的恢复效果比CDD模型和AIEI模型。获得的压缩比的三组实验都获得的最大值在修复算法研究的前提下,可以修复;在更多的情况下丢弃块,现有的修复算法难以完成维修任务。从理论上讲,图像恢复技术的进一步发展,条件下,新的修复技术更强大的修复能力,可以获得较高的压缩比。
比VST-Net-part VST-Net-joint执行以来,本节只讨论VST-Net-joint。网络上的一些变体VST-Net-joint从不同方面进行了研究,即。,with/without BN layers in SubNet2, the number of Conv layers in SubNet1 and SubNet3, and the number of channels and filter sizes in the entire network. First, the proposed networks with and without BN layers are compared in SubNet2. Figure2列出了平均PSNR和SSIM值Set11。可以看出,在网络与BN层,它可以实现更好的性能对中型和大型峰值。相反,山峰,可以获得更好的性能在网络没有BN层。这一现象表明,第一阶段用于变异稳定的确是不精确的,随后在第二阶段产生的噪音是不确切的高斯噪声。BN层的去除高斯噪声,不为非高斯噪声,如图2。
5。结论
图像恢复和重建一直受到研究人员的广泛关注。传统的算法在一定程度上可以达到令人满意的结果,但随着卷积神经网络的日益成熟,网络学习算法给人们带来了更多的研究方向。工作主要集中在图像恢复和重建基于卷积神经网络;首先,网络只是构造;后图像去模糊有一定的效果,提高网络,让它更好的适用于泊松图像去噪的任务。随后,医学CT图像进行了探讨。
图像恢复的应用研究,包括传统的应用程序,如恢复艺术品,文物、照片文字删除,等新的应用程序相对复杂的视频传输错误隐藏和虚拟场景生成,图像修复的应用可行性在上面的阐述了应用领域,及相关应用实例是由使用现有的图像修复技术。“二级压缩”提出的方案从传统压缩图像提取和删除信息,然后修复压缩图像恢复技术来获得正常使用完整的图像。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究是由黑龙江省级教育部门的科学研究项目(135509313)。