1。介绍
图像配准的目的是建立空间之间的对应两个或两个以上相同或不同场景的图像在不同的时间,不同的观点,和/或由不同的传感器。通常捕获复杂和大型图像变形的能力是至关重要的许多计算机视觉应用程序包括图像配准和阿特拉斯建设。问题变得更具挑战性当物体图像或图像的边缘发生严重变形(
1 ]。
以医学图像配准为例,组织和器官或身体本身容易变形,移动和旋转在大多数情况下。大多数迭代方法达到一个令人满意的重叠在特定数学标准,最大化或最小化变形能量中描述
1 。被定义为固定形象
F
,而移动的形象
米
。登记的目的是找到最优模型
T
最能满足能源
年代
。因此,模型
T
,目标函数
年代
(相似性度量)和优化方法构成了图像配准的三个主要组成部分。考虑
(1)
年代
F
,
米
∘
T
+
R
W
。
根据最新的一项调查(
2 ),可分为刚性和非刚性的登记注册。刚性模型约束最优一些参数来达到全球注册,而非刚性的模型恢复局部变形等物理模型弹性或粘滞,或统计模型和支持向量回归框架,等等。为了完全重叠的两幅图像,研究人员通常采用两步策略,其中包含初始迭代后注册和登记(
3 ]。
登记在两步策略,首先始于初始全局比对的全局仿射变换,把最先进的方法[调情
4 ]和ELASTIX [
5 ,
6 )为例。或基准标记首先发现通过特征描述符,例如,筛选方法(
7 ),所以进行初始登记这些点集之间建立对应关系。预先登记过程中,旋转,规模和翻译修改移动图像的仿射矩阵计算。迭代之后,非刚性的登记。预先登记在仿射矩阵的一个严重的问题是,当大变形和旋转都存在,精度受限于这些提出描述符之间的通讯。如果描述符本身并不准确,问题变得更严重。一旦描述符不能发现点对应,注册后将严重影响的准确性。因此,不精确也可能误导介绍下列程序。除此之外,传统的调情和ELASTIX方法宣称图像登记必须以最好的质量,否则可能发生可怜的登记。
为了解决上述限制和捕获非常复杂和大变形,我们提出了一种新的图像配准方法是基于一个两层的深度适应注册框架。首先,在预先登记过程中,旋转,规模和两幅图像之间的转换程度分别获得实现初始登记。这是完全不同的从传统的“一次计算仿射矩阵。旋转参数,CNN离线训练分类器是为了确定当前图像的水平旋转下切断失真。然后获取参数规模和翻译。一个最佳的预先登记上面获得相关参数计算。至于3 d图像,triplanar 2 d cnn (
8 每个立体像素)是用于计算最后的仿射矩阵。直到现在,预先登记已经完成。其次,纠正图像进一步恢复通过以下非刚性的恶魔注册程序。在下一圈,之后登记的登记前进一步促进结果的迭代。这个迭代过程进行到一个最佳的实现两幅图像之间的重叠。此外,介绍了PCA提取最有价值的功能,和发现功能放到SSD,肯德尔,皮尔森和斯皮尔曼等等形成新的相似性度量。另外,triplanar提出二维主成分分析过程和图3 d登记问题
1 给出详细的算法。因此,收敛速度加快,同时保持相同的登记的准确性。数据
1 ,
2 和算法
3 说明我们工作流程的处理框架2 d和3 d图像配准。
图1
2 d图像配准的工作流程。
图2
三维图像预先注册结构。
本文介绍的工作贡献在以下方面:
(我)
预先登记提高通过旋转,估计规模,分别和翻译。研制了一种多源cnn来精确分类不同层次下的旋转断绝与高精度的扭曲和帮助识别旋转程度。3 d图像,triplanar 2 d cnn构造仿射矩阵的估计参数。这个新的预先登记执行比最先进的ELASTIX和SURF-based方法。
(2)
注册一个两层的自适应框架构造和它表现比其他所谓的两步策略。
(3)
PCA是用于提取有价值的特性和引入传统相似性度量SSD,皮尔森,等等。3 d图像,提出triplanar 2 d PCA过程三维注册问题。实验结果表明,与新的相似性标准收敛速度加快。
(iv)
拟议的框架下测试合成和性质2 d和3 d图像在不同程度变形。实验结果表明,我们的两层深自适应注册框架下能够识别旋转的程度严重变形更准确和正确的大而复杂的扭曲骰子比高的比较方法,自适应地修改图像之间的差异而其他人没有任何深刻理解之间的变形图像。
剩下的纸是组织如下。注册的整个架构提出了两层自适应框架部分中说明了2 d和3 d图像
2 ;部分
3 解释方法论的cnn分类器预先登记;部分
4 介绍我们的预先登记结合恶魔非刚性的注册和我们的新PCA相关相似性度量;提出的方法评估部分
5 在不同的数据集和评价原则;最后,这项工作节中给出的结论
6 。
3所示。预先登记
我们的策略包括首先通过cnn预先登记分类器2 d和3 d图像,然后利用cnn和恶魔算法自适应地在接下来的非刚性的登记注册,最终提高加速度的相似性度量收敛速度。在本节中,我们显示预先登记方法通过引入cnn旋转分类器。
3.1。为什么我们使用有线电视新闻网
(1)分类的鲁棒性 。cnn是一种基于数据分类方法进行培训,适当的数据量。CNN适合几乎任何类型的数据,可以使分类精度高,尤其是对功能磁共振成像的低质量,CT图像或图像在高变形(实验部分
5 显示了这两种真实数据适合CNN处理方法)。详细的cnn结构和反向传播训练方法将部分中描述
3.5 。
(2)自动图像特性感知 。几乎所有种类的预先注册方法是基于精确的特征感知,这样不同的特性感知方法扮演关键的角色在这个过程。传统的图像特征感知方法通常是基于专家指定的数据特征。通常专家给一些固定的方法来检测特定功能有限种类的图像。例如调情方法使用跨模型体素相似措施相关比率和互信息用于检测体素关系的不同部分。这种方法限制图像来源,高质量和变量设置。当特殊情况发生时,一些大的变形图像输入为例,它不会工作得很好。而网络本身的特性从cnn方法学会从训练数据,如边缘亮度,高或低频率特性,分布特征等等。一旦训练数据更新,网络会自动得到适合更多的功能在同一时间。尽管训练时间长和复杂的网络变量学习使CNN方法不是那么容易使用,由于其精度高,它仍然是图像处理和未来趋势。
(3)高效的分类 。虽然cnn的数据训练时间长(根据详细的训练方法,网络层结构和硬件设备比如GPU),测试或分类所花费的总时间是很短的。一旦网络训练好,唯一一次消费处理如线性操作。
最重要的是,尽管有一些不错的仿射变换方法基于专家知识,我们仍然需要一个聪明的适应更复杂的图像处理任务。
3.2。cnn的理论
深度学习的概念是由辛顿和Salakhutdinov
9 2006年],它带来了巨大的进步机器学习。学习旨在构建/使用大脑深处模拟识别数据,如图像/视频、音频和文本以一种无监督的方式。深度学习框架使用一个多层“编码器”网络将高维数据转换为一个低维代码和一个类似“译码”网络恢复的数据代码。低层网络的输出作为输入更高的层网络。整个网络的目标是相同的输入和输出没有损失的信息。通过使用底层特性代表更高的层功能/分类、分布特性表示的数据。汽车编码器,稀疏编码、限制玻耳兹曼机(元),深层信念网络(DBNs)和cnn五种深度学习框架。卷积神经网络是优秀的深度学习架构,首先介绍了福岛(
10 ),申请了手写数字识别。图像识别和分割任务也成功应用cnn自那时以来,错误率低至0.23% MINST数据库(
11 ]。此外,它是图像分类的速度和精度高(
12 ]。在面部识别
13 ,
14 )和视频质量分析(
15 ),cnn还获得了大量减少错误率和均方根误差。
CNN是一个多层感知器组成的多层膜,每一层用卷积层二次抽样层紧随其后。通过本地网络连接,固定特征的自然图像利用网络拓扑。首先,图像采样成小块。卷积层,小功能探测器是基于这些提取的样本学习。然后,特征检测器的特性是通过卷积计算和图像。在抽样层,功能降低减少计算复杂度和不变性特性介绍。cnn学的特性的一个重要属性是平移不变性,旋转,缩放和其他变形。这两次特征提取结构使cnn高变形公差时识别输入样本。
3.3。cnn的方法
cnn没有区别与其他的目标分类方法。他们都集中在最小平方误差。在这里,我们使用
c
来表示类数,
N
来表示训练数据集,总平方误差函数可以显示:
(2)
E
N
=
1
2
∑
n
=
1
N
∑
k
=
1
c
t
k
n
- - - - - -
y
k
n
。
在这里
t
k
n
是
k
维度的
n
数据集,
y
k
n
代表了
k
网络的输出,激活函数在cnn乙状结肠函数更快的收敛速度。对于每一个单一的数据集
n
,
2 可以描述为
3 。cnn的最终目的是实现的最小平方误差
t
k
n
和
y
n
。考虑
(3)
E
n
=
1
2
∑
k
=
1
c
t
k
n
- - - - - -
y
k
n
2
=
1
2
t
n
- - - - - -
y
n
2
2
。
对传统全连接神经网络、BP(反向传播方法)是用来计算偏导数最小平方误差,通常
我
当前层的输出
我
可以显示为
4 ,在那里
f
是乙状结肠函数。考虑
(4)
x
l
=
f
u
l
,
与
u
l
=
W
l
x
l
- - - - - -
1
+
b
l
,
(5)
x
j
l
=
f
∑
我
∈
米
j
x
我
l
- - - - - -
1
*
k
我
j
l
+
b
j
l
。
不像
4 ,因为
5 显示了卷积,层
我
,图像特性(
x
)之前由内核层是复杂的,在不同的层次是不同的,
b
j
l
乙状结肠函数的抵消吗
f
。考虑
(6)
x
j
l
=
f
β
j
l
下来
x
j
l
- - - - - -
1
+
b
j
l
。
示例层、数字和图像特性风格与之前是相同的层除了特征尺寸按比例缩小。每个功能都包含一种多和加法抵消。本文样本大小是2这意味着下一层图像大小是减少体重和身高的两倍。通过结合
4 和
5 方程,我们可以得到样品
7 在这
α
我
j
代表的价值。
j
没有输出。
我
输入功能。通过计算
α
我
j
和培训内核反向传播方法我们终于可以得到最好的特性从不同层次较高的分类精度。考虑
(7)
x
j
l
=
f
∑
我
=
1
N
我
n
α
我
j
x
我
l
- - - - - -
1
*
k
我
l
+
b
j
l
。
约束条件
∑
我
α
我
j
=
1
,
0
≤
α
我
j
≤
1
。
如图
3 被定义为输入层,输入图像;详细介绍可以在部分
3.4 和
3.5 。隐层是四对卷积和二次抽样层,表示为
年代
l
l
=
1、2
,
3、4
,
C
l
l
=
1、2
,
3、4
和被称为本地连接层。输出层的组合连接层和softmax分类的分类器。每一层的
年代
l
l
=
1、2
,
3、4
和
C
l
l
=
1、2
,
3、4
构造与multi-maps每个地图是由多独立的神经细胞。让
d
l
- - - - - -
1
和
d
l
的输入和输出
l
th层,
年代
我
l
×
年代
我
l
和
年代
O
l
×
年代
O
l
输入和输出地图的大小,
N
我
l
和
N
O
l
分别是输入和输出的数字地图的图层。据美国有线电视新闻网,
N
我
l
=
N
O
l
- - - - - -
1
年代
我
l
=
年代
O
l
- - - - - -
1
。
图3
cnn的插图。
3.4。cnn的结构设计
我们采用ten-layer cnn感知器网络(包括输入和输出层;卷积和样本层分别计算)。关键变量设置包括内核大小和采样率的不同层次提出了CNN是显示在表
1 和图
3 。学习速率α= 1,变量更新批大小= 10,迭代次数= 1000,任何训练和测试图像归一化
128年
*
128年
大小的灰色图像
(
0 1
]
像素大小。
表1
CNN网络的关键设置变量。
层
的名字
内核大小或采样率
1
输入层
没有一个
2
1日卷积层
9
*
9
3
1号样品层
2
4
2日卷积层
5
*
5
5
2号样品层
2
6
3日卷积层
5
*
5
7
3号样品层
2
8
4日卷积层
5
*
5
9
4号样品层
2
10
输出层
没有一个
3.5。通过cnn图像旋转训练分类器
培训我们的输入图像之间的差异图像固定和移动图片:
F
- - - - - -
米
。
米
在与不同程度的旋转变形。每一个旋转360°角被定义为一个类,生产多达360类。两个区分人物的cnn知觉领域和共享的权重。知觉领域意味着每个神经细胞在每一层不是xxx所有神经细胞连接在相邻层,但仅限于当地的神经细胞(
9
*
9
如图
3 )。共享权重意味着连接权重参数(
9
*
9
)当地每一个神经细胞的细胞都是相同的。如图
3 假设输入图像的大小
T
是
128年
*
128年
。在卷积过滤器,内核的大小
9
*
9
、图像壹空间的变化
120年
*
120年
大小。然后尺度到Tc1形象
60
*
60
在层S1。后四双
年代
和
C
,原始图像表示为Ts4仅有的
4
*
4
矩阵。在这个隐藏层,所有神经细胞特征图上并不是所有的连接,但相同的权重。结果,只有
9
*
9
重量参数需要计算,大大减少计算复杂度。所有连接之间存在Ts4矩阵和输出层,消除差距造成的部分连接在隐藏层。然后softmax分类器识别矩阵和输出检测结果。之后,通过反向传播参数调整的1000倍,直到收敛。所有这些步骤之后,一个有限的分类器。
4所示。深两层迭代注册框架
4.1。恶魔Diffeomorphic日志登记
在19世纪,麦克斯韦首先介绍了恶魔的概念来说明热力学的一个悖论。1998年,蒂里翁
16 )提出了一个注册算法恶魔模型下,通过像素配准精度高,效率速度引起的边缘的基础力量。
(我)理论和改进的恶魔登记 。恶魔登记利用光流方程为基础力量寻找微小变形时间序列图像。为点
p
在太空,让
f
和
米
是强度值在固定的形象
F
和移动图像
米
分别。根据蒂里翁的理论,
8 显示计算的速度
u
让点
p
对应点的匹配
米
。在这里,
∇
f
内部边缘固定图像的梯度图像和力量
(
米
- - - - - -
f
)
所谓的外力。为了使方程更加稳定和适合图像配准,蒂里翁添加项
(
米
- - - - - -
f
)
2
。后来,他王等人添加图像的力量移动图像方程提高收敛速度和稳定的注册所示
9 。参数
α
提出了Cachier调整力强度等人。考虑
(8)
u
=
米
- - - - - -
f
Δ
f
Δ
f
2
+
米
- - - - - -
f
2
,
(9)
u
=
米
- - - - - -
f
Δ
f
Δ
f
2
+
α
2
米
- - - - - -
f
2
+
米
- - - - - -
f
Δ
米
Δ
米
2
+
α
2
米
- - - - - -
f
2
。
比·et al。
17 )提出了非参数diffeomorphic恶魔算法。它认为恶魔算法作为优化的过程在整个空间的速度场和适应过程的空间diffeomorphic转换。转换的结果是更顺利、更准确。然后·et al。
18 )将过程分为log-domain,他使用一个固定的速度场。此外,该算法对输入的顺序是对称的图像。Lorenzi et al。
19 )实现了一个对称的当地相关系数log-demons diffeomorphic算法。Lombaert et al。
1 )提出了光谱log-demons捕捉大变形。Peyrat et al。
20. )实现多通道恶魔寄存器4 d心脏图像时间序列。
(2)Diffeomorphic日志恶魔算法 。在这里,diffeomorphic日志恶魔算法简要地提醒。diffeomorphic转换
ϕ
相关指数速度场的地图吗
v
:
ϕ
=
经验值
(
v
)
(算法
1 )[
1 ]。log-demons框架之间的交替更新的相似性度量,建立了函数的优化
10 。一般来说,恶魔diffeomorphic日志框架程序中描述的算法
2 。考虑
(10)
Sim卡
F
,
米
∘
经验值
v
=
我
F
- - - - - -
我
米
∘
经验值
v
2
。
<大胆>算法1:指数< inline-formula > < /大胆> < mml:数学显示= "块" xmlns: mml = " http://www.w3.org/1998/Math/MathML " id = " M87 " > < mml: mi >ϕ< / mml: mi > < mml:莫> = < / mml:莫> < mml: mrow > < mml: mrow > < mml: mi mathvariant =“正常”> exp < / mml: mi > < / mml: mrow > < mml:莫>< / mml:莫> < mml: mrow > < mml:莫弹性=“false”> (< / mml:莫> < mml: mi > v < / mml: mi > < mml:莫弹性= "假" >)< / mml:莫> < / mml: mrow > < / mml: mrow > < / mml:数学> < / inline-formula > (< xref ref-type =“bibr”掉= " B1 " > 1 < / xref >]。
输入: 速度场
v
。
输出: Diffeomorphic地图
ϕ
=
经验值
(
v
)
。
(1)选择
N
这样
2
- - - - - -
N
v
接近0
如。,这样
马克斯
2
- - - - - -
N
v
≤
0.5
像素
(2)规模速度场
ϕ
←
2
- - - - - -
N
v
。
为
N
次
做
(3)广场
ϕ
←
ϕ
∘
ϕ
。
结束了
<大胆>算法2:< /大胆>冲浪/ ELSTIX相关注册框架。
注册:
输入: 图片
F
,
米
和初始速度场
v
输出: 转换
ϕ
=
经验值
(
v
)
从
F
来
米
预注册: 通过相关的仿射变换或冲浪
ELASTIX全球注册
F
和
米
重复
恶魔注册:
(我)找到更新
u
F
→
米
映射
F
来
米
∘
经验值
(
v
)
(2)顺利更新:
u
←
K
流体
*
u
(3)更新速度场:
v
←
日志
(
经验值
(
v
)
∘
经验值
(
u
)
)
(近似
v
←
v
+
u
)
(四)速度场平滑:
v
←
K
流体
*
v
(v)
计算传统相似性度量 SSD。
直到 收敛
<大胆>算法3:< /大胆>两层无监督深自适应注册框架。
分类器训练: 培育cnn列车不同级别的旋转和变形图像
注册:
输入: 图片
F
,
米
和初始速度场
v
输出:
转换
ϕ
=
经验值
(
v
)
从
F
来
米
重复
预注册:2 d图像, 通过cnn分类器来调整旋转然后规模和转换;
3维图像 ,pre-registrate triplanar 2 d cnn
恶魔注册:
(我)找到更新
u
F
→
米
映射
F
来
米
∘
经验值
(
v
)
(2)顺利更新:
u
←
K
流体
*
u
(3)更新速度场:
v
←
日志
(
经验值
v
∘
经验值
(
u
)
)
(近似
v
←
v
+
u
)
(四)速度场平滑:
v
←
K
流体
*
v
(v)
使用PCA提取特性和计算新的相似性度量 PCA-pearson PCA-SSD,
PCA-spearman,肯德尔。
直到 收敛
4.2。主成分分析的新的相似性度量组合
数学上,主成分分析的定义是正交线性变换将数据转换到一个新的坐标系统中提取最大的方差数据集。因此,它能够避免影响形象的偏见造成的。传统上,主成分分析用于降维,便于分类、可视化、高维数据的通信和存储。这里,PCA应用2 d和3 d医疗和通常的图像,和发现功能表示被用作输入的相似性度量达到解剖函授和协助优化程序注册。
有许多古典度量措施,比如SSD,互信息(MI),互相关(CC),模式强度也相应的改进版。摘要皮尔森,枪兵,肯德尔,SSD一起利用主成分分析法(PCA)提取特征运用新的相似性度量。斯皮尔曼皮尔逊和肯德尔概念在统计和数据挖掘中常用的。皮尔森是皮尔森积差相关系数(PPMCC),开发来衡量两个变量之间的线性相关。斯皮尔曼等级相关系数是一个非参数衡量两个变量之间的统计依赖。两人的−1和+ 1之间的值。斯皮尔曼没有要求变量,而皮尔森坚持变量符合正态分布。我们利用日志恶魔登记避免带来的影响。
(我)
2 d图像的大小
米
×
n
首先,主成分分析应用于固定的形象
F
和注册移动图像
米
,获得了
主成分分析
F
和
主成分分析
米
。因此,可以充分利用图像最重要的信息的组合
主成分分析
F
和
主成分分析
米
作为输入的皮尔森、斯皮尔曼等等,形成新的相似性度量。
(2)
3 d图像的大小
米
×
n
×
k
首先,主成分分析应用于每一片
x
一系列的轴和收益
主成分分析
x
我
(
我
=
1、2
,
…
,
米
)
。通过总结每个
主成分分析
x
我
(
我
=
1、2
,
…
,
米
)
,
主成分分析
x
是获得。进行相同的操作
y
和
z
轴的数据,获得
主成分分析
y
,
主成分分析
z
。然后,PCA固定
(
f
x
,
f
y
,
f
z
)
和注册
(
米
x
,
米
y
,
米
z
)
计算图像。因此,可以充分利用图像信息的组合
(
f
x
,
f
y
,
f
z
)
和
(
米
x
,
米
y
,
米
z
)
PPMCC作为输入,枪兵,等等。工作流的这部分如图
4 。
图4
计算过程的3 d PCA-related相似性度量。
4.3。两层迭代注册框架
传统上,这两个步骤登记意味着最初的仿射登记在开始粗纠正后变形和迭代优化实现的相似性度量的罚款登记注册。我们也采用两步策略。但是在两步登记之前,我们建立一个分类器离线之间在cnn训练识别旋转固定的
F
和移动
米
图像下非常大的扭曲,然后规模和翻译。还在每个迭代中,初始迭代和后登记。这个反馈过程帮助实现更高的登记与传统冲浪和仿射方法精度比较。
此外,在每次迭代结束时,我们利用一个新的相似性度量通过结合主成分分析与传统的SSD,皮尔森,等等,完全包含图像的最重要的特征。因此,收敛速度比传统的高加速SSD没有PCA登记,同时保持相同的精度。算法
3 显示了在流的框架。
5。实验结果
在本节中,整个两层注册方法的性能评价在2 d和3 d图像,合成和性质的数据集。相比之下,传统的两步方法,ELASTIX和冲浪相关算法用于preregistrate移动和固定的形象。然后恶魔非刚性的登记。这些方法设置为基线方法被指示为ELASTIX +恶魔和冲浪+恶魔。他们首先使用检测功能最初注册通过仿射变换和原始SSD图像相似性度量恶魔diffeomorphic日志框架下。我们的方法不同于他们的框架在预先登记和跟踪非刚性的注册框架。2 d图像,首先训练分类器通过cnn和预注册移动旋转图像在大变形和旋转,然后一起规模和翻译转换,预先登记已经完成。对于3 d图像,pretrained triplanar 2 d cnn是用来定位体素,建立通讯功能。最后,PCA相关迭代注册图像的相似性度量下恶魔diffeomorphic日志框架。
两层的改进方法在登记的准确性,大变形和旋转,鲁棒性和收敛速度都与地面实况数据评估。我们的matlab代码处于Lombaert的工作(
21 和工具箱
22 ]。
具体来说,我们下载的大脑和肺部BrainWeb MRI模拟正常的大脑从数据库数据集(
23 ,
24 10)和帝国挑战[
25 训练和测试的)。此外,培训和测试也进行古典莉娜形象,大部分是用于图像处理。T1, T2图像从[
26 )和ITK形象(
27 )也在我们的实验中使用。BrainWeb核磁共振数据集包含20 2 d和3 d新正常解剖模型。帝国10挑战肺数据集包括20 3 d扫描,每个都包含固定和移动图像对。肺的描述数据集如表所示
2 (
28 ]。
表2
清单的数据用于肺登记(
28 ]。
一对
数据分类
一对
数据分类
一对
数据分类
1
Insp-Exp
11
Insp-Insp
21
Insp-Exp
2
Insp-Insp
12
扭曲的
22
Insp-Insp
3
Insp-Insp
13
4 d
23
4 d
4
绵羊的
14
Insp-Exp
24
绵羊的
5
扭曲的
15
Insp-Insp
25
扭曲的
6
对比
16
4 d
26
对比
7
Insp-Exp
17
4 d
27
Insp-Insp
8
Insp-Exp
18
Insp-Exp
28
Insp-Exp
9
Insp-Insp
19
Insp-Insp
29日
绵羊的
10
绵羊的
20.
Insp-Exp
30.
扭曲的
5.1。2 d图像配准
5.1.1。综合变形测试
很多注册一直在评估合成图像变形算法测试根据以前的工作
1 ,
26 ]。
(1)分类器训练cnn变形 。在这工作,ten-layer cnn构造训练各种来源的图像。我们还测试了其他数层cnn,结果表明ten-layer cnn实现分类时得分最高的旋转变形图像。四种二维源图像(
24 - - - - - -
27 )作为样本。样本图像显示在图的一个例子
5 。把图像
T
1
例如,线性变换旋转或翻译添加到图像
T
1
由多个旋转矩阵
r
通过matlab编写;然后添加四种大型和复杂的非线性变换
T
1
通过特殊处理photoshop。
T
1
图片只有旋转来标示
T
1
∘
r
指出,只有变形
T
1
′
、旋转和变形表示
T
1
′
∘
r
。相同的符号
F
1
和丽娜形象。图
6 所有这些处理后就是一个例证。为了准确识别旋转,在这里训练,不同的形象
F
和
米
(只有旋转)
D
T
1
=
T
1
- - - - - -
T
1
∘
r
是cnn的输入。训练后,每个360°角被定义为一个类,获得360类的失真。对于其他cnn,类的数量是180,90年,36。
图5
原始样本图像的一个例子。
图6
切断后说明样本图像的失真和大型旋转。
我们的测试是进行计算机的windows 7系统,与8 GB RAM, i7 - 4770 CPU @ 3.4 GHz。采取BrainWeb数据(
23 ,
24 ),例如,桌子
3 根据这些数据显示了分类器的测试结果。
表3
分类器的性能。
图像大小
分类器准确度36
分类器精度90
每次迭代时间(年代)
BrainWeb 训练数据
64年
×
64年
※
99.86%
41.2
28
×
28
99.97%
※
6.17
BrainWeb 测试
28
×
28
99.56%
※
※
莉娜, ITK, T1
28
×
28
99.94%
※
2.4
从表中我们可以看出
3 ,当输入图像的大小
64年
×
64年
像素,识别分类器的旋转可以达到高达99.86% 90;而图像大小
28
×
28
像素,分类器的识别精度36 99.97%。所有这些条件下完成训练数据也进行测试。当BrainWeb投入的测试数据训练分类器,精度达到99.56%,甚至低于训练数据本身,但仍然非常高的根据许多常用的分类器。莉娜,ITK和T1训练数据,分类器36收益99.94%的准确率。迭代的数量设置为1000每一个培训。
(2)cnn预先注册测试 。冲浪相关方法,ELASTIX和cnn的方法进行测试。这里,冲浪相关方法意味着使用首先冲浪算法来检测特性,然后仿射变换最初注册图像。
(我)
当只存在旋转
丽娜
∘
r
在图
7 ,ELASTIX方法失败;冲浪的方法能够识别旋转不变特性,建立准确的莉娜和之间的通讯
丽娜
∘
r
。建立通讯显示为丽娜相关系数 在图
7 。黄线代表特征点的对应关系。红色圆圈顶点代表在原始图像的特性
丽娜
∘
r
而绿色十字代表相应特征点注册莉娜移动图像冲浪 。注册图像和莉娜表示ELASTIX 和丽娜冲浪 。
(2)
然而,当旋转和大变形同时出现在移动的形象
丽娜
′
∘
r
在图
8 ELASTIX和冲浪粉碎方法。在这种情况下,在我们的测试中冲浪只发现一对对应点。因为没有足够的通讯功能,初始注册失败。
(3)
相反,我们训练有素的cnn分类器和后规模和翻译操作直接确定莉娜图像的旋转角度准确(
90年
∘
旋转),并把它带回
丽娜
′
如图
9 。为了更好的比较,我们使用软件显示旋转的方式处理在cnn冲浪的方式,功能检测和匹配在莉娜类比——CNN 。检测到足够数量的所谓的特性,cnn能够恢复旋转了
丽娜
′
。
图7
预先登记ELASTIX的结果和冲浪方法只有旋转图像。
图8
预先登记ELASTIX的结果和冲浪方法图像旋转和大变形。
图9
预先登记的cnn方法在图像旋转和大变形。
(3)精度评估登记 。数学上,骰子比是用来评估两个数据集之间的重叠。它是定义在
11 。在本节中,两个骰子比人类和主观评价方法用于评估ELASTIX的准确性和冲浪相关登记和我们的方法的结果
(11)
O
重叠
=
2
F
∩
米
F
+
米
。
在部分预先登记后
5.1。1 、ELASTIX和冲浪相关方法执行diffeomorphic日志恶魔迭代算法实现最佳登记;而我们的方法迭代地进行cnn分类器和diffeomorphic日志恶魔算法优化注册。这个新的两层框架充分利用预先注册和登记后恶魔方法和登记结果表明,它确实提高了精度。
图
10 显示ELASTIX的注册过程和结果(图
10 (c) )和冲浪(图
10 (b) )相关的方法,而图
11 表明,我们的方法。当两个旋转和变形存在于图像
F
1
,我们的注册结果
F
1
- - - - - -
F
1
C
+
恶魔
是比
F
1
ELASTIX
+
恶魔
和
F
1
冲浪
+
恶魔
显然。此外,测试骰子比登记,原固定形象
F
1
和注册两个方法放到函数的图像
11 分开。骰子ELASTIX的比例和SURF-demons方法是0.889和0.88,而我们CNNs-demons-iterative方法达到0.8964。
图10
预先登记的冲浪相关法(b)和ELASTIX法(c)与旋转和大变形的形象。
(一)
(b)
(c)
图11
预先登记的CNN方法在图像旋转和大变形。
5.1.2中。肺地图册
肺的描述数据集可以在表中找到
2 (
28 ]。帝国10肺数据首先用于MICCAI会议2010。它包含20 intra-patient thoracitic CT图像对。数据
12 和
13 切片图像的显示我们的预先登记结果8和6的4 d图像对的价格相比Elastix的工具。所有图片显示在工具的帮助下,vv [
29日 ]。数据从左到右的顺序是固定的图像,图像移动,预先登记ELASTIX的结果,我们提出了cnn的方法,最终注册上面两种方法的结果与恶魔。很明显,我们的方法可以准确地纠正旋转,规模和翻译变形移动图像。虽然ELASTIX预先注册未能纠正旋转固定和移动图像之间的差异。图片被指示为Elastix-demons和CNNs-demons注册。Diff图像之间的固定和图像被指示为Elastix-diff和CNNs-diff注册。
图12
肺片8登记。
图13
肺片6登记。
ELASTIX预先登记每个片如图的消耗时间
14 。一片的最短时间是超过1000毫秒(1秒)和时间片8是3500 ms。尽管训练我们的cnn分类器长时间成本,它是离线。和cnn旋转,规模和翻译操作成本一共只有39女士。因此,它是相当有吸引力的实时临床应用。
图14
ELASTIX预先注册的消费时间30肺片4 d数据集。
5.1.3。大脑地图册
我们选择的截面2 d图像BrainWeb MRI 20对象,10为培训和其他测试。从图
15 ,我们可以看到,我们提出预先登记可以纠正旋转和翻译比传统Elastix仿射注册成功。
图15
大脑切片登记。
5.2。试图利用cnn在3 d图像配准
3 d图像配准是我们专注于大脑地图册注册和给一个cnn的3 d图像配准方法。我们训练脑图谱从18人的3 d图像数据在大脑BrainWeb数据库通过四个步骤:(1)正态分布随机选择10标签分的3 d图像。(2)调整3 d大脑图像和单独的2 d图像在三个方向(
x
y
,
y
z
,
x
z
)。(3)测试每一个2 d切片位置triplanar after-trained CNN分类器(每个维度享有一个CNN网络)和得到正确的片位置(预测压)。(4)调整三维图像标签体素和预测体素,享受最小汉明距离。实验显示了高精度cnn分类结果将大大提高移动三维图像相似性的固定的三维图像。具体过程如图
16 。
图16
三维体素片样本图像(三片,
x
y
,
y
z
,
x
z
)分类。
5.3。收敛速度评价登记
部分
5。1 和
5。2 提高对准精度和速度。在本节中,我们测试登记精度T2大脑医疗数据和关注注册加快收敛速度。介绍了PCA提取有价值的特性和通过结合特性与SSD,皮尔森,枪兵,肯德尔,我们得到新的相似性PCA-SSD PCA-pearson, PCA-spearson和假象。原始SSD和能量图表示
17 (e) 。course-to-fine(在这里,三个级别推荐)注册策略是采用在这里。在图
17 迭代,横轴代表时间,纵轴代表指标的值。首先,意味着收敛程度计算三级登记。则进行均值归一化。可以得到一些结论:
(1)
定期PCA相关和原始SSD方法收敛,
(2)
作为一个整体,PCA-SSD和PCA-Pearson方法执行最佳和收敛速度比原创SSD指标;
(3)
PCA-spearman指标首先收敛速度最快,但最近它减慢;
(4)
肯德尔度量执行较其他指标最差。
图17
T2数据:(a)固定形象,(b)移动图像,(c)注册移动图像,(d) (a)和(c)的区别,(e)收敛迭代前十的程度。
(一)
(b)
(c)
(d)
(e)
收敛程度
6。结论
在这篇文章中,一个全面的方法,构建分类器下的图像旋转通过cnn严重的变形,提出了旋转。分类器能够识别畸变高达360类根据旋转角度的分析。分类器是用来帮助我们提出两层深自适应注册框架。登记在每个迭代中,预先登记与训练分类器的识别,规模、和翻译操作符和恶魔diffeomorphic日志登记后一个接一个相互促进。除此之外,提出了PCA相关相似性度量可以帮助实现更快的收敛速度。新的两层注册框架比较与传统diffeomorphic日志恶魔结合先进的ELASTIX和冲浪预先登记注册。只作为基线方法进行预先登记一次,大变形不能完全修改。从测试在不同的图像资源包含各种各样的2 d和3 d, MRI和CT数据集,我们框架的确优于基线方法登记质量和收敛速度。
在接下来的工作中,我们将结合其他类型的深度学习框架作为独立子空间分析(ISA) [
30. ),稀疏编码(
31日 ]等等来改善当前的注册。同时,更提出了两层注册框架的性能测试应该进行更多的数据资源。此外,该方法性能应与其他深度学习模型相比。