对称网络( 8- - - - - - 11)已被证明是非常有效的特定字段。至于选择对称型的原因,研究人员认为无论卷积层,会有信息提取功能的丧失。进一步训练,即使是很小的损失可能会导致缺陷边界信息或纹理边缘。以弥补损失,他们分组所有层模型分为两个阶段根据特征图的大小。长等。 9)第一次使用一个完全卷积网络(FCN)。他们建议完全可以取而代之的是卷积层连接层,并进一步改进阶段之间的连接可以通过“跳过连接。“虽然FCN不完全对称,跳过连接,构建一个“桥”层之间在编码阶段和解码阶段,提供地图功能的另一个来源。基于这个想法,Ronneberger et al。 8)设计一个u型的网络(U-Net)。他们认为扩张路径的特性与收缩的关系路径,从而扩大渠道的数量特征。然而,当我们想要设计一个新的网络,参数大小是一个重要的问题,应该高度重视,考虑到对称网络比其他类型的网络需要更多的参数,这将是一个巨大的挑战,CPU和GPU使用量。几乎同时,Badrinarayanan et al。 10)应用一种新的upsampling方法命名为“unpooling”max-pooling时记录的指标。与这些指标,原始位置信息可以很容易地发现在解码阶段。在这种情况下,培训过程大大减少所需的参数。

卷积的可视化网络( 12),我们知道卷积计算可以有效地提取和概括特性,输出可被视为一组特性。upsampling操作的目的是增加的分辨率低分辨率数据和upsample原始数据映射到一个高分辨率的地图,旨在弥补损失的信息在之前层由于卷积操作。

整个过程的难度在于如何从低分辨率的地图生成采样数据和相应的颜色通道。

虽然它已经几年以来第一次卷积神经网络(CNN)是使用[ 7),内部架构仍然可以简单的得出结论。大多数网络现在可以被认为是卷积层和max-pooling层的组合,和有很多的研究 14, 18- - - - - - 21)可用于理解什么是CNN。许多先前的研究指出,“max-pooling可以取代一个卷积层增加步幅和不损失精度同时”( 22]。当然,我们可以把网络组件和max-pooling卷积层作为一组卷积计算无论内部架构实际上是什么。

正如我们在前面所讨论的,语义细分领域的研究者倾向于把整个过程分为编码和解码阶段upsampling一步总是发生的地方在解码阶段。许多研究人员认为“路径”存在于卷积操作。从功能的角度来看地图,编码和解码阶段指的是扩张和收缩路径,分别;这两条路径或多或少是对称的。在这种情况下,我们对待upsampling恢复任务的特征图谱产生相应的层编码阶段。

例如,图 1提供了一个简单的观点一般对称网络。整个网络分为编码和解码阶段,和层由两个阶段 E _我和 C _j分别为( 我和 j层)的方向。当 我= j,这意味着 E_输入= C_输出,我们考虑的输出 C _j地图功能恢复的结果 E_输入。

如图 4之后,一系列的卷积计算,一个4×4的功能映射在编码阶段变成2×2像素矩阵(矩阵也是一定的输出层)。投影操作,这张地图可以恢复到原始大小的地图在编码阶段(这暂时的结果是用 C ¯ 输入 )。(指的是沉重的蓝色填充部分网格)表现为模糊(噪声);剩下的工作是一个恢复工作。

当比较左矩阵右,我们制定了基本的损失函数如下: (4) 损失 u , C 输入 = 1 2 u C 输入 − C ¯ 输入 2 2 , 在哪里 u 代表我们upsampled和结果 ⋅ 2 表示2-norm。

TGV ( 23)主要用于解决问题的图像去噪和恢复。但在这篇文章中,我们改编成可训练的upsampling特征图的方法。我们增加映射到目标的分辨率大小,然后对每个执行TGV地图。

我们的方法的第一步是投影,考虑低收入和高分辨率的大小区别地图。我们首先应用双线性插值得到的初步结果,同样大小的地图在编码阶段。这些处理地图将被视为嘈杂的地区(实际上指的是整个图像),这将是在TGV恢复治疗。

自从Bredies et al。 23提出TGV模型,它已广泛应用于图像恢复领域。极大地重建图像的TGV模型模糊数据或吵闹,间接测量。制定整个upsampling问题作为一个凸优化模型( 12, 24- - - - - - 26]。我们的模型的数学公式描述 (5) 最小值 u λ 损失 u , x + 法国高速列车 α K u , 在哪里 损失 u , x 代表图像保真度参数 λ用于重量之前的操作来计算全局优化,然后呢 法国高速列车 α K u 代表正则化项。

卷积的可视化网络( 8),我们知道卷积计算可以有效地提取和概括特性,输出可被视为一组特性。为了更好地理解图像的语义,平滑的纹理和边境边缘特征图尤其重要。

对于一个 k秩序形象,传统的修复方法倾向于解决半范数有界的变异,而TGV模型引入了一个 k订单功能,整合了来自不同渠道的信息,可有效保持纹理不连续。

给定一个 k订单图片 μ ,我们代表TGV模型如下: (6) 法国高速列车 一个 k u = 吃晚饭 ∫ Ω Ω d 我 v k v d x ∣ v ∈ C C K Ω , 信谊 k 红外 d , d 我 v l v ≤ 一个 l , l = 0 , … , k − 1 。

让 信谊 k 红外 d 代表的空间对称张量 k。通过平衡衍生品从一阶 k阶,这大大减轻了问题包含不同的灰色水平成像时,导致边界信息丢失损失以及边缘和角落。

但在这个工作,针对特征图谱,结果是一个二阶TGV就足够了。我们制定的二阶模型 (7) 法国高速列车 一个 2 u = 最小值 w 一个 1 ∫ Ω ∇ u − ω + 一个 2 ∫ Ω ε ω 。

对于一个给定的二阶 u,最低的TGV模型是接管所有复杂的向量场 w 在有限域。 ε w = 1 / 2 ∇ ω + ∇ ω t 代表使对称导数。参数 一个 1 和 一个 2 应用平衡第一和第二衍生品。

最后TGV-based upsampling模型定义为一个组合的损失函数( 5)和TGV术语( 6),方程( 7): (8) 最小值 u , w λ 2 u C 输入 − C ¯ 输入 2 2 + 一个 1 ∫ Ω ∇ u − ω + 一个 0 ∫ Ω ε ω 。

与此同时,与固定权重中使用( 23),我们适应TGV可训练的方法,考虑权重a₁和a₂反向传播来寻找一个合适的平衡点。

考虑到upsampling模型我们提议(公式( 8)是凸的,而不是光滑,我们使用了非计划( 24, 25, 27)来解决这个问题。我们新配方upsampling模型作为凸凹形鞍点问题通过引入两个对偶变量 米和 n。公式的转换模型( 8)是由 (9) 最小值 u 马克斯 v λ 2 ∑ 我 , j ∈ Ω u C 我 , j − E 我 , j 2 + 一个 1 ∇ u − ω , 米 + 一个 2 ∇ ω , n 。

的可行集 ρ 和 φ 定义如下: (10) 米 = 米 : Ω u ⟶ ℛ 2 ∣ 米 我 , j ≤ 1 , 我 , j ∈ Ω u , N = n : Ω u ⟶ ℛ 2 ∣ n 我 , j ≤ 1 , 我 , j ∈ Ω u 。

最终结果是逐像素计算通过迭代优化。与 u 0 = E 输入 和 v 0 , 米 0 , 和 n 0 = 0 ,步大小 σ 米 , σ n 和 τ u , τ ω 是选择。对于迭代 我 ≥ 0 、更新变量如下: (11) 米 我 + 1 = 项目 米 米 我 + σ 米 一个 1 ∇ u ˜ 我 − ω ˜ 我 , n 我 + 1 = 项目 n n 我 + σ n 一个 2 ∇ ω ˜ 我 , u 我 + 1 = 1 + λ 2 τ u − 1 u 我 + τ u 一个 1 米 我 + 1 + λ 2 C ¯ 输入 ω 我 + 1 = ω 我 + τ ω 一个 1 n 我 + 1 + 一个 2 米 我 + 1 , u ¯ 我 + 1 = u 我 + 1 + θ u 我 + 1 − u ¯ 我 , ω ¯ 我 + 1 = ω 我 + 1 + θ ω 我 + 1 − ω ¯ 我 , , 在哪里 项目 米 米 ¯ 和 项目 n n ¯ 表示欧几里得投影仪到集上 米和 N,分别。他们可以通过逐点的计算操作: (12) 项目 米 米 ¯ = 米 ¯ 马克斯 1 , 米 ¯ / 一个 1 , 项目 n n ¯ = n ¯ 马克斯 1 , n ¯ / 一个 1 。

在方程( 11), θ 代表弛豫参数。它可以通过迭代更新迭代使用预处理[ 5]。因此,TGV-based模型可以实现全局最优upsampling解决方案在处理二阶图像。

结束所有四个upsampling操作后,介绍了在上面的部分中,我们可以把他们分成两种类型根据他们不同的信息来源。