全球分布调整转换自动彩色化和非线性特性

文摘

自动彩色化通常分为两组:propagation-based方法和reference-based方法。reference-based自动彩色化方法,彩色图像(s) (s)作为参考来重建原始的颜色灰色目标图像。这里的最重要的任务是找到最佳匹配双参考和目标之间的所有像素图像为了转移从参考目标像素颜色信息。很多吸引人的地方特征图像匹配方法已经发展在过去的二十年。不幸的是,据我们所知,没有最优匹配方法自动彩色化,因为像素匹配的要求自动彩色化是完全不同于对传统图像匹配。为自动彩色化,设计一个高效的匹配算法聚类像素较低的计算成本和产生的描述性特征向量需要解决的最重要的挑战。在本文中,我们提出一个新颖的方法来解决这两个问题。特别是,我们的工作集中于解决第二个问题(设计一个描述性特征向量);也就是说,我们将讨论如何使用扩展学习描述纹理特征稀疏纹理特征结合非线性变换构造最优特征描述符。我们的实验结果表明该方法优于方面的最先进的方法自动彩色化应用程序的健壮性颜色重建。

1。介绍

自动彩色化技术给正确的一种无色为每个像素颜色信息(灰度)自动或半自动地形象。这种技术一般分为两组:propagation-based方法和reference-based方法。Propagation-based方法也称为交互式方法或半自动的方法。这些方法需要数十个喂给用户并生成颜色灰色像素的传播提供的线索(颜色信息)‎1]。reference-based自动彩色化方法,彩色图像(s) (s)作为参考来重建原始颜色的灰色目标图像‎(2]。此外,一些先进的系统结合这两种方法。讽刺的方法等人介绍了‎(3使用离散余弦变换(DCT)系数的——- - - - - -社区周围每个像素作为底层特征向量。聚类后像素利用PCA(主成分分析),只有可靠的像素接收来自参考(s)的颜色,这些颜色扩散到整个段使用优化颜色插值引入了莱文et al。‎1]。在不同的尝试,贾et al。‎4]介绍了半自动系统着色单色图像用户较少的努力。用户需要提供一个标签为每个目标图像作为搜索关键字和图像分割作为一个过滤器,从互联网上获得最合适的参考图像。

reference-based方法,最重要的任务是找到匹配的成对的两幅图像之间的所有像素为了转移从参考目标像素颜色信息。很多好的地方特征图像匹配方法筛选和冲浪等已经发展在过去的二十年。当我们介绍这些成熟的技术为我们的目的,似乎很容易实现一个优秀的自动彩色化系统。不幸的是,据我们所知,没有最优匹配方法自动彩色化,因为像素匹配的要求自动彩色化是完全不同于对传统图像匹配。虽然传统的图像匹配方法通常只计算在两个图像兴趣点之间的通讯,自动彩色化方法必须找到所有像素之间的通讯引用来获取一个好的输出图像和目标图像。这将导致以下两个严重的问题。

第一个问题是巨大的计算成本。自一个图像通常包含几百个兴趣点而一个图像的像素数量常常是几百万,计算像素匹配的自动彩色化的成本远高于传统的图像匹配。为了解决这个问题,像素聚类广泛应用之前匹配过程,因为它可以降低计算成本匹配每个集群而不是每个像素匹配。方法通过Gupta et al .‎(2)使用superpixel作为匹配过程的基本组件。尽管有许多方法,如‎(5,6)从输入图像中提取superpixels精度高,使用匹配superpixel仍然没有解决这个问题完全因为很难提取区域的大尺寸(superpixel)由于squared-shape约束。事实上,superpixel提取总是遭受高精度和冗余之间的权衡(每个superpixel的大小)。对于这个需求,我们应用最近推出了像素分类方法‎(7],它提高了彩色线概念‎(8]。这种方法是一种很有前途的解决方案任意像素分类没有严格的约束像素分布。

第二个问题是匹配性能。在传统图像匹配(局部特征匹配)方法,系统定义更多的歧视比周围像素的像素的兴趣点。匹配过程成功完成因为每个有趣的一点是歧视。不幸的是,在自动彩色化,所有像素(或所有集群)在参考和目标图像必须相互匹配的不管他们的歧视的权力。这将降低匹配性能。如何提高nondiscriminative点的描述能力(或集群)在自动彩色化是一个至关重要的问题。

存在许多研究进化的稀疏编码图像重建;然而,据我们所知,没有任何方法来重建从灰度图像颜色信息。在本文中,我们提出一个按比例缩小的稀疏纹理特征表示算法提取的特征描述符像素颜色信息的条件下将被保留下来。

本文的其余部分组织如下。前研究工作提出了部分2。部分3详细讨论我们的学习描述性特性利用期望最大化贡献模型。部分4提供关于hemisphere-based像素分类的介绍,以及它是如何应用到我们的工作。部分5是专门讨论节中使用该方法和成就6我们描述了本文的结论和未来工作的计划。

2。相关的工作

节中描述1匹配过程中,有两个主要任务自动彩色化:像素分类,发现描述性特征向量。通用的数据分类,存在许多研究可以应用于许多不同的应用程序的数据分析。根据分类数据模式的灵活性,现有的方法可以分为两种主要的方法:模糊聚类和脆集群。模糊聚类,这是最初引入‎(9),吸引了各种研究,评估每个数据模式的隶属度和相应的潜在集群。提出的方法在‎10- - - - - -14落在这个类别。在不同的方法中,脆聚类的目标是不重叠的分类;也就是说,一个数据点属于单一特定的集群。脆群集覆盖聚类算法,实现了许多杰出的结果。因此,富有研究已经显示在这个类别包括——‎(15),其衍生品‎(16- - - - - -18‎),和许多其他方法(19- - - - - -24]。

模糊——聚类算法,首先介绍了‎(9),试图最小化均方误差之间的集群和集群质心的距离同时通过更新会员度为每个数据集模式对未来的集群。输出是一个矩阵,每一行的数据点的隶属度对应于一组可用的集群。虽然最初的模糊方法需要所需数量的集群,工作在‎10]试图解决这个障碍通过自动估计最优数量使用Xie-Beni公式‎(14]。与类似的目的,Yu et al .‎(12)提出了一种模糊方法使用ant殖民优化(ACO)找到最佳的集群。这项工作还可以改进的选择适当的初始质心而不是随机初始点。作者量化每个RGB通道进入细胞,并使用它们作为初始集群。集群内核更新时使用ACO像素基于模糊分类——计划。尽管蚂蚁算法是一个很好的方法,它总是遭受高计算复杂度。它需要很多努力降低计算成本通过量化的像素颜色和适当的量化水平的定居点。

则能有效集群数据模式最合适的分区如果提供了合理的预期数量的集群。挑战的缺点则倾向于检测hyper-spherical-shaped集群虽然集群应该采取任意形状和大小在现实情况下,李et al。‎(25)探讨了对称距离而不是使用欧氏距离来衡量数据模式之间的不同。获得集群从苏和周‎16)更健壮的数据集包含no-spherical-shaped集群。另一个的导数则是全球性的——集群由lika et al。‎(18]。——严重遭受集群内核是随机的初始条件决定和收益迭代迁移集群错误最小化的内核。为了消除这种情况,lika等人提出一种全局搜索。它逐步添加了一个最优内核为每一个迭代搜索过程,直到达到预期的数量 。这种方法保证可以获得最优结果没有质心位置对每一个搜索的随机初始化一个新内核的过程。另一个吸引人的方法提出了推导-medoid‎(25]在古等人最初治疗每一个点的代表他们属于集群。在每个连续的步骤中,最接近对代表的合并到一个集群,直到获得集群使用测量它们之间的距离。尽管当前模糊和清晰的方法取得了广泛的改进聚类算法,仍然存在重大缺陷时用于图像处理应用程序。像素分类器模型中引入‎(7拥有优势,可以满足这些要求。它不需要用户工作在提供任何输入参数聚类过程中,它还可以自动适应改变的输入数据。因此,该分类器可以是一个有前途的方法,我们目前的实现。

另一方面,与第二个任务(建设一个描述性特征向量),有一些介绍作品处理在‎(学习高效的特性集。26),Hazırbaş等人提出了一个方法从预定义的字典学习相应的特征向量。这种方法的目的是学习的最佳特性集构造一个描述性语义分割,同时减少冗余的特征向量。在这项工作,他们将每个像素的颜色信息作为字典的部分功能,但它是不适用的自动彩色化自目标图像的颜色信息是失踪。此外,减少冗余的特征描述符,他们衡量每一对之间的互信息(MI)特性和尽量减少这个数字的学习过程,这样大的值MI表示高冗余的特性集合。然而,小姐不是一个好的测量分类和冗余扣除因为它措施的具体数量相等的特性值在一个特定的像素位置。reference-based自动彩色化的目的,参考图像是量子化的,颜色比原始图像中扣除少冗余。换句话说,相似的像素颜色通常分为每组匹配的组件。在一个不同的工作27),俄梅珥,沃曼利用稀疏表示方法找到的描述性表示彩色图像。取得优秀的成绩,这个研究显示其鲁棒性对图像去噪和彩色图像恢复和适用性,同时,为我们的目标自动彩色化,颜色信息在任何条件下无法使用。因此,强烈渴望一个有效的特征描述符,它可以帮助分类像素到适当的集群和保存他们的相似性而不需要颜色信息。在一个直观的方法,纹理信息和灰度的像素可以承诺的资源。节3中,我们将介绍一个学习算法获得最优特征描述符的图像像素。我们是在利用期望最大化技术进行算法学习一个描述性的功能,最大化之间的颜色相似重建彩色图像和原始。

3所示。颜色复苏的期望最大化(EM)模型

3.1。设计理念

至于reference-based自动彩色化,颜色参考图像和一个灰色的目标图像。降低计算成本之间的匹配过程,我们尝试用类似颜色的像素进行分类到相同的类。因为我们不能使用颜色信息,我们利用纹理特征作为像素代表的信息来帮助他们保持原来的颜色标识。尽管存在各种类型的纹理特征用于特定的用途,其中一些也强烈相关。所以没有必要同时使用许多纹理特性的像素表示。除此之外,很难选择一个最好的描述性特征不同的图像由于其内容和结构不稳定。由于这些原因,我们提出一个功能学习方法学习一个描述性特征向量对个人形象。为目的的应用reference-based图像彩色化,这个特征向量必须满足三个要求。首先,它应该从灰度像素。第二,它应该是一个很好的代表失落的颜色信息,我们可以使用它们来分类成“类似的颜色”集群不知道原来每个像素的颜色。 Third, the distribution of feature vector should be similar to color vector distribution. To evaluate our proposed algorithm, we need to know whether the learned feature vector is representable for missing color information. Fortunately, references are color images, so that we can use them as the training samples in our feature learning algorithm. In automatic image colorization, a reference image is usually selected from the images whose composition or texture characteristics are similar to a target image. As a result, the learned features set from the reference image(s) are useful to handle the characteristics of the pixels extracted from a target image. In our learning strategy, a texture feature dictionary is extracted from gray-scale reference images first. Then, a descriptive feature vector is learned from this dictionary, and original color of reference pixels is used to evaluate the learning result. Finally, the learned feature set is applied to the target gray-scale image.

现在,我们假设特征向量的分布和颜色通道是相似的,因为特征向量代表每个像素的颜色信息。此外,我们想要学习适当的特性集可以表示像素的颜色信息最有效。这变成了渴望回归的颜色分布模型与一个给定的特性集 ,在哪里是一种含有特征参数集词典和是恢复图像的颜色。简化计算过程,而不是直接估计该模型中,我们尽量减少原始颜色的区别()分布和 ;也就是说,MinDiff = 。这个过程是由两个主要步骤:评估最合适的功能,满足MinDiff和估计的直接优化功能通过修改特征像素的分布特征。这两个步骤可以通过应用广义期望最大化算法。

3.2。系统概述

图1显示了我们提出的彩色化系统的系统图的阴影块是本文的主要贡献。本文的其余部分将讨论每一个步骤的更多细节。学习后适当的特征向量作为参考图像,相应的从目标图像提取的特征类型创建特性集。白色的块额外的步骤应用学习特征向量彩色化。在这些步骤中,我们使用增强hemisphere-based分类器‎(8为将像素分为类)。

EM算法已被用于拟合高斯混合模型在许多视觉应用,如人脸检测应用‎(28),而事实证明实现好的结果。在我们的研究中,我们处理的EM算法适合颜色分布模型的特征向量,这样的预期功能集是最类似于RGB颜色的分布。这种相似性,特征之间的相关性将接近的颜色通道,我们可以描述这种关系由以下公式: 在哪里是当前学习特性集的特性元素之间的相关性和是RGB颜色元素之间的相关性。我们把这些值的指数规范化在PSNR值的范围自相关范围在0和1之间。

当使用这个学习的特性,我们可以推断出原图像像素通过传播颜色从集群的内核。推断和最初的颜色之间的相似性意味着MinDiff价值越低,即 推断图像和原始图像之间。我们可以捕捉这种关系 在哪里和图像的宽度和高度,和是原始和推断出图像的颜色值。

峰值信噪比水平评估质量,提高了我们的算法。我们使用方法在‎8)集群特征向量。PSNR水平计算原始彩色图像和彩色图像恢复通过传播集群内核的颜色属于像素。更高的PSNR值意味着更高的训练和恢复彩色图像之间的相似性。我们的目标是学习最大的四维的特征向量维字典。要完成这个任务,我们把两个约束条件的学习过程。第一个约束是最大限度地恢复了彩色图像和原始图像之间的相似性,提出了为PSNR值水平。第二个约束条件是制定一个特征向量相似的分布RGB颜色。我们测量这种相似性通过使用相关的值。这两个值之间的减法需要尽可能最大。总之,我们把这两个约束方程如下:

或 在哪里 与 是需要的特性集估计的EM算法。 , 在M-step非线性变换的参数优化。颜色通道和吗是原始图像的像素索引。PSNR值是相应的PSNR的学习特性集 ,和和RI是原始和恢复彩色图像分类集群。

正如上面所讨论的,因为不能使用颜色信息在我们的实现中,我们利用像素强度标准差的像素及其邻国,应用灰度共生矩阵建立和(灰度级相关矩阵)‎7)功能。更具体地说,像素强度保持原来的值,和标准偏差特性包含两个元素:像素的平均值标准差和社区。GLCM纹理特性包括五个特性值;那些是手段,不同,同质性、熵和关联特性。此外,自从在图像纹理特性相差很大。捕捉这种变化,我们探索纹理特征在三个不同尺度的能力最大化处理相应的像素的不同特征。因此,我们的学习词典是18-dimensional特征向量的组合。

我们的算法是由应用EM算法(期望最大化)‎(28]。在期望步骤(E-step),我们关注优化初始特性集最大化PSNR和相似的相关性与RGB组件。最大化步骤(M-step)是非线性变换适用于最大化的优化步骤之间的相似性特征和色彩元素的相关性。我们算法的细节部分3.3和3.4。

3.3。期望步骤(E-Step)

E-step最初学习适当的三维特征向量代表的元素。在这一步中,我们试图找到特性并设置参数 表示,他们并不认为E-step。没有转换将在早期研究尝试。因为我们的词典是学习一个18-dimensional向量在每个迭代中,一个三个不同元素的组合表示的特性 。我们使用此功能的输入像素分类过程,增强hemisphere-based聚类方法。然后颜色是传播到集群分类像素的内核。PSNR值计算相应的通过使用原始和推断出彩色图像经过右手边的公式(4)。

此外,考虑特征之间的相关性计算元素的测量他们的分布特征。RGB颜色通道之间的相关性也进行相应的计算。这两个值之间的减法措施分布特性和RGB的特征向量的相似性。我们定义这个值作为全球参数,同时最小化这个参数特性和颜色组件之间的可能性自学习特性集的目的是恢复像素的颜色信息。是凭直觉认为较大的相似性特征向量的分布和RGB分量概率越高意味着各自组的像素进行分类的功能域。

通过使用(4),我们可以同时处理这两种情况。最后获得的特性产生最高价值的学习成本。和E-step的目标是定义最适合描述为输入图像的特性集。

3.4。最大化步骤(M-Step)

M-step,我们考虑从E-step三维特征向量作为输入,并继续使用(4),我们的学习公式。为加强学习特征向量,M-step,我们将学习额外的特征尺寸与高维向量的期望是灰色像素更具描述性的。我们也考虑计算成本之间的权衡和鲁棒的特征向量;因此只有一个维度会学会E-step后把获得的三维的特征向量。

自学习功能的目的是将像素集群到集群,同时保留其颜色信息后复苏,预计特征向量的分布与RGB向量的分布是相似的。此外,测量的相关性进行了调查在E-step散射信息。在这个优化,我们应用个人特性值的非线性变换算法从而导致的修改在全球分布特征向量。对于我们学习过程的目的,我们的目的来最大化空间分布和颜色向量的相似度以及提高分类器的精度。此外,聚类算法中引入‎(8),我们使用像素分类达到好的结果当矢量高斯或混合高斯分布。使我们的学习特性分配“高斯”M-step,我们进行非线性变换在学习从E-step特性集。

绘制图2预计,对数变换能够操纵贝尔的像素分布形式。我们控制这个变换通过使用两个额外的参数方差和作为我们的偏见组件操作。我们使用对数函数的非线性转换操作符中给出以下表达式: 在哪里 , 特征值转换,(之前和之后 转换操作符的方差和偏差。

执行M-step找到最优的值( ),满足(4)。使我们的算法更加合理,我们考虑的参数作为规范变量使得控制转换功能的价值范围在(0,255)调整。在这种非线性变换,的价值控制高斯分布的位置在水平轴或飞机,作为手段的价值μ高斯模型如果拟合正态分布模型的修改功能元素。另一方面,的价值影响的大小和宽度高斯或高斯峰垂直向上或向下移动。因此,通过调整的价值( ),我们可以控制特性元素之间的相关性,因此分类算法的结果应用于特征向量可以控制。

评价方法保持类似的E-step通过计算恢复图像的PSNR值和新转换特性之间的相关性值元素。一双新值( 如果公式(处理)4)实现更大的价值比从E-step获得价值。这一步的结果是将几个( 云)变化特征向量的分布尽可能最相似的颜色点。

4所示。增强Hemisphere-Based分类

‎(8],作者引入了一个方法使用增强的半球概念颜色像素分类的网格半球用于几何坐标系统切成网格。每个网格都包含一组颜色像素。使用这种方法,颜色分布的假定像素显示的混合高斯贝尔的形状。实验结果证明了算法的鲁棒性引入不同的彩色图像的方法。这些成就还表明,增强hemisphere-based聚类方法可用于各种RGB颜色像素分布。

在本文中,我们调查分类器使用增强的优势半球概念像素的特征向量。作为我们的研究的目的,我们想提出一个全自动彩色化方法,可以为不同类型的反应和变化的图像背景。主要步骤中着色、自动分类是最重要的一个过程组类似的颜色像素到相同的集群,这样就可以大大降低匹配的成本。我们发现这一功能的增强半球集群概念适合我们的目的。旁边,在我们的方法中,我们使用特征向量进行像素的特点,特别是保持的关系在尽可能多的像素颜色。因为我们将学特性元素转换为Gaussian-like分布节中描述3,特征向量的分布将类似颜色的像素分布。出于这个原因,我们试图探讨增强hemisphere-based集群为特征向量而不是RGB向量在最初使用在‎8]。

流程进行增强hemisphere-based分类器特征向量首先考虑每个特性值作为一个颜色通道。第一步是估计的数量半球功能集群。我们需要计算规范和定义特征向量的最小规范并使用它作为初始半径估计下一个半球边界,直到达到最大特征向量范数。审判半径迭代增加;在每一个尝试,定义相应数量的特征点的质心()和边界(半球),计算决策成本 。较小的值代表的价值更低与像素的位置 在图像坐标系和在当前迭代半球的半径。因此,低的价值意味着地区特征向量收集稀疏(边界),反之亦然。根据这个值,我们定义一个新的脑片会低于前一个值。

一旦让半球的数量,我们去下一个步骤来定义内核点和每个特性集群的集群大小。‎(展示的8),我们定义内核列表通过考虑特征点在每个半球片的重心地区。每个集群的半径和大小取决于大小的脑片,这样我们可以动态地估计这些值,而无需任何预定义的参数。

自从hemisphere-based聚类算法是一个完全自动化的过程,我们可以用它作为特征向量的分类器估计所需参数的迭代过程在EM模型与杰出的成就。

5。实验结果和讨论

在我们的实验中,我们使用三种类型的上述特征向量包括像素强度,应用灰度共生矩阵建立标准偏差和纹理特征。应用灰度共生矩阵建立的纹理特性,我们操作同现矩阵和三个尺度的大小 , , 。五个纹理特征类型的意思是,不同,同质性、熵和关联特性,创建一个字典18-dimensional特性。我们执行我们的学习算法维特征向量。因为更多的倾向于保持图像像素的更多信息,但需要较高的时间复杂度,我们只有学会等于最大4的最终结果。我们使用麻省理工学院城市和自然场景数据集‎(29日)作为输入图像来评估我们的算法。

我们执行第一个实验证明E-step的鲁棒性和准确性。为此,我们使用重构彩色图像的PSNR值衡量相似的恢复图像和原始图像。功能元素的数量等于3。的能力在保持原来的颜色只使用像素的纹理特征表明我们的算法的鲁棒性学习适当的特性集,我们的算法或者尝试每个可能的结合字典元素的三倍。这可以保证找到最合适的向量最大程度的PSNR。

作为显示在图3,恢复图像有强烈的类似的颜色到原始图像。这证明我们的算法可以学习最合适的特性集的字典。此外,增强hemisphere-based方法可以有效地将像素分类为适当集群,同时保留他们的颜色信息。它还表明,扩展字典可以有效处理不同纹理的像素的特征。

M-steps是基于认为修改的全球分布特征向量优化像素同时描述和分类器。一方面,我们学习了一个额外的功能,使不同的特征向量更具描述性的纹理类型。作为显示在图4失踪的颜色信息,只使用三维特征向量补偿了学习第四维度的特性。

另一方面,我们试图让变得“更高斯分布的学习特性。“图5(一个)块的直方图特征元素之前转换相应的恢复图像使用这个特性向量。特征值的分布并不是一个“好高斯形状。”

图5 (b)显示应用非线性变换后特征值的分布。它包含了两个钟的形状,可以推断出两个高斯分布的混合物。通过调整两个参数的值( ),我们已经成功地修改特征向量分布,使他们更具描述性的和歧视。这证明使用非线性变换函数修改特征值可以操纵全球分布的特征向量。这个变换后,分类方法中引入‎(8达到更准确的结果,导致颜色更精密的复苏。

表1总结了我们的实验和不同的图像结构。对于每一个图像,我们收集的相关性特征元组和RGB颜色以及重建图像的PSNR值前后M-step来演示这种优化方法的优点。M-step后,相关的值接近的颜色通道之间的相关性;这些证明我们已经成功地修改了全球分销功能域,保持颜色的像素信息。此外,更高的PSNR值定义的转换和学习额外的特征维度产生更具描述性的E-step后比原来的三维特征向量。

图6显示图像的输出使用学到的特性对像素进行分类的标准和集群内核种子颜色来重建原始像素的颜色。可以看出,E-step后,仍然存在一些缺陷,颜色恢复的结果。M-step变换特征值进行特征向量的分布变得更加高斯,有助于增加hemisphere-based提高分类器的精度。此外,M-step也学习额外的特性元素,这样最后的特征向量是更具体的在处理彩色像素的特征。当图像在图中恢复过来6(C)与E-step后(图的结果6(B)),我们可以看到我们卓越的学习和优化算法。

上述实验数据证明了学习算法的鲁棒性和描述性的功能。我们进行进一步实验彩色化的应用程序特性集。我们建立了三个实验,用我们的学习特性,特征线‎(30.],superpixel‎(2)的材料匹配的过程。我们比较两个方面包括匹配时间和PSNR的着色图像来评估我们的方法的性能。匹配的测量时间表示多少冗余消除在匹配过程;值越小,更优的过程。PSNR水平测量多少彩色的图像和参考图像之间的相似性;数越高,结果越好。我们总结结果表2。

是显示在表2,PSNR值水平的我们的方法明显高于其他两种方法表明我们的方法可以产生更多的描述性特征向量。此外,比较匹配的方法和superpixel方法我们看到我们有有效地减少计算时间或冗余匹配过程中虽然我们仍然可以保持更精确的匹配结果。我们的方法的匹配时间只是略大于特征线方法;然而PSNR水平更高和更稳定的比获得的特征线方法,以便它是负担得起的牺牲这些计算成本。

彩色的图像的psnr值水平高于使用我们的方法使用特征线方法表明更多的准确性不仅学会了特征向量在特征分类器的输出。

图7显示输出彩色的图像使用学习方法的特征向量与特征线和superpixel方法相比。我们可以看到在这些照片中,我们的方法可以产生更顺利,更甚至彩色化的结果。它消除了牛肉干的颜色分配如果使用superpixel方法。它还档案比特征线法更精确的匹配结果。

传统上,户外自然风景图像中经常使用的实验这一主题。为了扩大图像彩色化的应用,该方法应用我们的其他类型的图像如动物、其他造物(鸟类、昆虫和鳄鱼),人工物体,和人类。有些实验结果如图8(一个)- - - - - -8 (d)。这些数据显示我们的方法有足够的能力为这些类型的图像。另一方面,我们发现,彩色化的人工对象(特别是人类的衣服)有时是非常困难的(例如,在图4行8 (d)),因为一个参考图像不包含正确的颜色的衣服。这不是我们的方法的问题,而是所有reference-based图像彩色化方法的问题。我们认为这是一个重要的未来的工作在这个话题。

6。结论和未来的工作

在本文中,我们提出了一种新颖的功能使用EM技术学习方法和非线性变换建立一个描述性的特征向量和特征点的分布进行优化维空间的目的,实现优秀彩色化的结果。在我们的方法中,E-step试图找到的最有意义的组合特征元组从字典。E-step后结果显示灵活和健壮性算法的学习为每个输入图像组的功能类型。

M-step显示其优势,因为它可以学习适当的参数 和额外的功能,分布更接近于高斯分布。这些步骤有助于满足重要假设获得高精度分类步骤使用增强hemisphere-based方法‎(8]。

除此之外,我们也进行了实验,对彩色化使用学到的特性集。作为实验结果部分表明,我们的方法生产更具描述性的特征向量提高匹配过程的准确性导致更高的PSNR的颜色转移从参考目标像素。我们使用功能集群作为代表他们属于像素匹配相似的地区参考和目标图像,它可以保持集群的数量稳定在一个图像的大小变得更大。所以,计算成本没有增加指数在superpixel图像大小增加时的方法。

总之,我们的方法有两个优点,支持图像彩色化工作中应用的目的。它可以自动学习最适当的特征向量的转换步骤正确重建一个彩色图像的剩余的小错误。此外,它可以帮助提高精度的匹配过程,同时保持匹配时间没有飙升太高了在大尺寸图片。

的利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. a·莱文·d·里奇斯和y . Weiss,“彩色化使用优化”诉讼程序的ACM交易图形(ACM SIGGRAPH 04),页689 - 694年,洛杉矶,加州,美国,2004年8月。视图:出版商的网站|谷歌学术搜索
2. r·k·古普塔Y.-S。贾,d . Rajan e . s . Ng和h,“使用类似的图像,图像彩色化”20 ACM国际会议多媒体学报,2012毫米日本,页369 - 378年,2012年11月。视图:出版商的网站|谷歌学术搜索
3. r .讽刺、d . cohen或者和d·里奇斯“彩色化的例子,”研讨会在现代外国文学季刊,第210 - 201页,2005年。视图:谷歌学术搜索
4. 答:Y.-S。贾,卓,r·k·古普塔et al .,“语义与互联网图像彩色化,”ACM交易图片,30卷,不。6、2011。视图:谷歌学术搜索
5. a . Levinshtein立方米,k . n . Kutulakos d . j .舰队,s . j·迪金森和k . Siddiqi“TurboPixels:快速superpixels使用几何流,”IEEE模式分析与机器智能没有,卷。31日。12日,第2297 - 2290页,2009年。视图:出版商的网站|谷歌学术搜索
6. r . Achanta a .沙棘k . Smith, a . Lucchi p . Fua和s . Susstrunk”SLIC superpixels先进的superpixel方法相比,“IEEE模式分析与机器智能,34卷,不。11日,第2281 - 2274页,2012年。视图:出版商的网站|谷歌学术搜索
7. r . m . Haralick k Shanmugam,汀斯坦,”纹理特征的图像分类,“IEEE系统,人,控制论,3卷,不。6,610 - 621年,1973页。视图:出版商的网站|谷歌学术搜索
8. 诉Ng和t .青木,“颜色像素分类,增强脑概念”《国际多媒体会议系统和信号处理(ICMSSP),页31-35,新台北,台湾,2016年9月。视图:出版商的网站|谷歌学术搜索
9. r . j . c . Bezdek埃利希,w .满,“FCM:模糊c均值聚类算法,电脑与地球科学,10卷,不。2 - 3、191 - 203年,1984页。视图:出版商的网站|谷歌学术搜索
10. 答:观测。刘和h .严”的自适应空间模糊聚类算法3 d图像分割先生,”IEEE医学成像,22卷,不。9日,第1075 - 1063页,2003年。视图:出版商的网站|谷歌学术搜索
11. n . a . m . Isa s . a . Salamah和英国戈,“自适应模糊k - means聚类算法进行图像分割,“IEEE消费类电子产品,55卷,不。4、2145 - 2153年,2009页。视图:出版商的网站|谷歌学术搜索
12. z, o . c . Au r .邹w . Yu和j .田”的一种自适应无监督图像分割方法对像素聚类和颜色,”模式识别,43卷,不。5,1889 - 1906年,2010页。视图:出版商的网站|谷歌学术搜索
13. s Das和a .东部赫拉”自动图像像素聚类与一种改进的微分进化,”应用软计算,9卷,不。1,第236 - 226页,2009。视图:出版商的网站|谷歌学术搜索
14. x l·谢·g·贝尼省,“模糊聚类有效性措施。”IEEE模式分析与机器智能,13卷,不。8,841 - 847年,1991页。视图:出版商的网站|谷歌学术搜索
15. t . Kanungo d·m·山:美国内塔尼亚胡,c, d . Piatko r·西尔弗曼和a . y .吴“k -均值聚类算法:一种有效的分析和实现,”IEEE模式分析与机器智能,24卷,不。7,881 - 892年,2002页。视图:出版商的网站|谷歌学术搜索
16. m·c·苏和c·h·周,”甘氨胆酸的修改版本基于集群对称算法和距离,”IEEE模式分析与机器智能,23卷,不。6,674 - 680年,2001页。视图:出版商的网站|谷歌学术搜索
17. f·西迪基和n . a . m . Isa”增强移动k - means (EMKM)图像分割的算法,”IEEE消费类电子产品卷,57号2、833 - 841年,2011页。视图:出版商的网站|谷歌学术搜索
18. a . lika n . Vlassis和j·j . Verbeek“全球k - means聚类算法,模式识别,36卷,不。2、451 - 461年,2003页。视图:出版商的网站|谷歌学术搜索
19. l·考夫曼和p . j . Rousseeuw集群通过medoids, 1987。
20. s·r·Rastogi, k .垫片”治疗:一个有效的聚类算法对大型数据库,”信息系统,26卷,不。1,35-58,2001页。视图:出版商的网站|谷歌学术搜索
21. r·t·Ng和j·汉”,高效和有效的聚类方法对空间数据挖掘,”20国际会议的程序非常大的数据基础旧金山,页144 - 155年,CA,美国,1994年。视图:谷歌学术搜索
22. Bandyopadhyay和美国Maulik”遗传聚类自动进化集群和应用程序的图像分类,“模式识别,35卷,不。6,1197 - 1208年,2002页。视图:出版商的网站|谷歌学术搜索
23. 答:奥利弗,x穆尼奥斯,j·巴特列l·帕切科和j . Freixenet”提高聚类的图像分割算法利用轮廓和区域信息,”《IEEE国际会议自动化、质量和测试,机器人技术,卷2,2006年5月,页315 - 320。视图:出版商的网站|谷歌学术搜索
24. g . w . Milligan s . c .很快,l·m·科尔”集群大小的影响、维度和集群的数量恢复真正的集群结构,”IEEE模式分析与机器智能,5卷,不。1,40-47,1983页。视图:出版商的网站|谷歌学术搜索
25. n . Li h·霍Y.-M。赵、陈x和t方”,一个空间聚类方法与加权图像分割,边缘”IEEE地球科学和遥感信,10卷,不。5,1124 - 1128年,2013页。视图:出版商的网站|谷歌学术搜索
26. c . Hazırbaşj . Diebold d·克莱莫,“为有效的语义分割优化relevance-redundancy权衡。”课堂讲稿在计算机科学(包括子系列讲义在人工智能和课堂讲稿在生物信息学):前言卷,9087年,第255 - 243页,2015年。视图:出版商的网站|谷歌学术搜索
27. 即俄梅珥和m·沃曼“颜色线:形象具体的颜色表示,”《IEEE计算机学会学报计算机视觉与模式识别、会议CVPR 042004年7月,页II946-II953、美国、。视图:谷歌学术搜索
28. s . j .王子计算机视觉(模型、学习和推理)算法英国,剑桥大学出版社,2013年。视图:出版商的网站
29. 2016年麻省理工学院城市和自然场景分类数据集,http://cvcl.mit.edu/database.htm。
30. 诉阮、诉Sintunata和t .青木“自动基于特征线的图像彩色化,”美国11日联合会议上计算机视觉,第133 - 126页,2016年。视图:谷歌学术搜索

版权

版权©2018 Terumasa青木和Van阮。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。