CMMM 计算和数学方法在医学 1748 - 6718 1748 - 670 x Hindawi出版公司 10.1155 / 2015/836202 836202年 研究文章 深自适应Log-Demons: Diffeomorphic图像配准和非常大的变形 http://orcid.org/0000 - 0002 - 2216 - 6066 Liya Kebin 电子信息与控制工程学院 北京科技大学的 北京100124年 中国 bjut.edu.cn 2015年 18 5 2015年 2015年 31日 10 2014年 28 12 2014年 28 12 2014年 18 5 2015年 2015年 版权©2015 Liya赵,Kebin贾庆林。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

本文提出了一个新的框架来捕获大型和复杂的变形图像配准。传统上,这一具有挑战性的问题首先依赖于预先登记,通常一个仿射矩阵包含旋转,规模,和翻译,然后在一个非刚性的变换。根据预先注册,直接计算仿射矩阵,通过有限的像素信息,可能misregistrate当大偏见存在,从而误导后登记颠覆性地。为了解决这个问题,对于二维(2 d)的图像,两层深自适应注册框架提出了首先准确分类的旋转参数通过多层卷积神经网络(cnn),然后确定规模和翻译参数分别。三维(3 d)图像仿射矩阵位于通过功能对应一个triplanar 2 d cnn。然后变形去除完成迭代通过预先注册登记和恶魔。与最先进的注册框架相比,我们的方法获得更多准确的登记结果合成和真实的数据集。此外,主成分分析(PCA)结合相关皮尔森和斯皮尔曼形成新的相似性标准2 d和3 d登记。实验结果还表明更快的收敛速度。

1。介绍

图像配准的目的是建立空间之间的对应两个或两个以上相同或不同场景的图像在不同的时间,不同的观点,和/或由不同的传感器。通常捕获复杂和大型图像变形的能力是至关重要的许多计算机视觉应用程序包括图像配准和阿特拉斯建设。问题变得更具挑战性当物体图像或图像的边缘发生严重变形( 1]。

以医学图像配准为例,组织和器官或身体本身容易变形,移动和旋转在大多数情况下。大多数迭代方法达到一个令人满意的重叠在特定数学标准,最大化或最小化变形能量中描述 1。被定义为固定形象 F ,而移动的形象 。登记的目的是找到最优模型 T 最能满足能源 年代 。因此,模型 T ,目标函数 年代 (相似性度量)和优化方法构成了图像配准的三个主要组成部分。考虑 (1) 年代 F , T + R W 根据最新的一项调查( 2),可分为刚性和非刚性的登记注册。刚性模型约束最优一些参数来达到全球注册,而非刚性的模型恢复局部变形等物理模型弹性或粘滞,或统计模型和支持向量回归框架,等等。为了完全重叠的两幅图像,研究人员通常采用两步策略,其中包含初始迭代后注册和登记( 3]。

登记在两步策略,首先始于初始全局比对的全局仿射变换,把最先进的方法[调情 4]和ELASTIX [ 5, 6)为例。或基准标记首先发现通过特征描述符,例如,筛选方法( 7),所以进行初始登记这些点集之间建立对应关系。预先登记过程中,旋转,规模和翻译修改移动图像的仿射矩阵计算。迭代之后,非刚性的登记。预先登记在仿射矩阵的一个严重的问题是,当大变形和旋转都存在,精度受限于这些提出描述符之间的通讯。如果描述符本身并不准确,问题变得更严重。一旦描述符不能发现点对应,注册后将严重影响的准确性。因此,不精确也可能误导介绍下列程序。除此之外,传统的调情和ELASTIX方法宣称图像登记必须以最好的质量,否则可能发生可怜的登记。

为了解决上述限制和捕获非常复杂和大变形,我们提出了一种新的图像配准方法是基于一个两层的深度适应注册框架。首先,在预先登记过程中,旋转,规模和两幅图像之间的转换程度分别获得实现初始登记。这是完全不同的从传统的“一次计算仿射矩阵。旋转参数,CNN离线训练分类器是为了确定当前图像的水平旋转下切断失真。然后获取参数规模和翻译。一个最佳的预先登记上面获得相关参数计算。至于3 d图像,triplanar 2 d cnn ( 8每个立体像素)是用于计算最后的仿射矩阵。直到现在,预先登记已经完成。其次,纠正图像进一步恢复通过以下非刚性的恶魔注册程序。在下一圈,之后登记的登记前进一步促进结果的迭代。这个迭代过程进行到一个最佳的实现两幅图像之间的重叠。此外,介绍了PCA提取最有价值的功能,和发现功能放到SSD,肯德尔,皮尔森和斯皮尔曼等等形成新的相似性度量。另外,triplanar提出二维主成分分析过程和图3 d登记问题 1给出详细的算法。因此,收敛速度加快,同时保持相同的登记的准确性。数据 1, 2和算法 3说明我们工作流程的处理框架2 d和3 d图像配准。

2 d图像配准的工作流程。

三维图像预先注册结构。

本文介绍的工作贡献在以下方面:

预先登记提高通过旋转,估计规模,分别和翻译。研制了一种多源cnn来精确分类不同层次下的旋转断绝与高精度的扭曲和帮助识别旋转程度。3 d图像,triplanar 2 d cnn构造仿射矩阵的估计参数。这个新的预先登记执行比最先进的ELASTIX和SURF-based方法。

注册一个两层的自适应框架构造和它表现比其他所谓的两步策略。

PCA是用于提取有价值的特性和引入传统相似性度量SSD,皮尔森,等等。3 d图像,提出triplanar 2 d PCA过程三维注册问题。实验结果表明,与新的相似性标准收敛速度加快。

拟议的框架下测试合成和性质2 d和3 d图像在不同程度变形。实验结果表明,我们的两层深自适应注册框架下能够识别旋转的程度严重变形更准确和正确的大而复杂的扭曲骰子比高的比较方法,自适应地修改图像之间的差异而其他人没有任何深刻理解之间的变形图像。

剩下的纸是组织如下。注册的整个架构提出了两层自适应框架部分中说明了2 d和3 d图像 2;部分 3解释方法论的cnn分类器预先登记;部分 4介绍我们的预先登记结合恶魔非刚性的注册和我们的新PCA相关相似性度量;提出的方法评估部分 5在不同的数据集和评价原则;最后,这项工作节中给出的结论 6

2。体系结构 2.1。cnn的2 d图像

整个工作流的2 d图像比传统方法如图预先登记 1。在传统的算法中,一个仿射矩阵计算通过检测特性之间的通讯,包含信息的旋转,规模,和翻译。这个过程明显受到特征点检测的准确性。在切断变形图像,传统的功能方法通常腐败。我们的算法单独流程上面的三个元素。通过精炼过程,准确的固定和移动图像之间的对应关系。它的工作原理如下。

旋转,首先cnn离线训练分类器是为了纠正图像的旋转程度严重变形。cnn训练分类器可以识别360类旋转。

规模,图像大小信息是用来实现固定和移动图像之间的一致性。

对于翻译,每个图像的质心计算通过统计算法和翻译是通过利用质心的位置信息。

2.2。Triplanar cnn的3 d图像

不同于2 d图像预先登记,cnn分类器是用于片位置的体素( x y , y z , x z 三个方向),而不是旋转标识符。3 d图像预先登记的工作流程是显示在图 2。主要过程包括抽样、片分类、变换矩阵计算,和图像变换的矩阵。使用有线电视新闻网3 d图像配准是一个新的尝试来解决高形变图像配准。详细的方法介绍了部分 5。2

3所示。预先登记

我们的策略包括首先通过cnn预先登记分类器2 d和3 d图像,然后利用cnn和恶魔算法自适应地在接下来的非刚性的登记注册,最终提高加速度的相似性度量收敛速度。在本节中,我们显示预先登记方法通过引入cnn旋转分类器。

3.1。为什么我们使用有线电视新闻网

(1)分类的鲁棒性。cnn是一种基于数据分类方法进行培训,适当的数据量。CNN适合几乎任何类型的数据,可以使分类精度高,尤其是对功能磁共振成像的低质量,CT图像或图像在高变形(实验部分 5显示了这两种真实数据适合CNN处理方法)。详细的cnn结构和反向传播训练方法将部分中描述 3.5

(2)自动图像特性感知。几乎所有种类的预先注册方法是基于精确的特征感知,这样不同的特性感知方法扮演关键的角色在这个过程。传统的图像特征感知方法通常是基于专家指定的数据特征。通常专家给一些固定的方法来检测特定功能有限种类的图像。例如调情方法使用跨模型体素相似措施相关比率和互信息用于检测体素关系的不同部分。这种方法限制图像来源,高质量和变量设置。当特殊情况发生时,一些大的变形图像输入为例,它不会工作得很好。而网络本身的特性从cnn方法学会从训练数据,如边缘亮度,高或低频率特性,分布特征等等。一旦训练数据更新,网络会自动得到适合更多的功能在同一时间。尽管训练时间长和复杂的网络变量学习使CNN方法不是那么容易使用,由于其精度高,它仍然是图像处理和未来趋势。

(3)高效的分类。虽然cnn的数据训练时间长(根据详细的训练方法,网络层结构和硬件设备比如GPU),测试或分类所花费的总时间是很短的。一旦网络训练好,唯一一次消费处理如线性操作。

最重要的是,尽管有一些不错的仿射变换方法基于专家知识,我们仍然需要一个聪明的适应更复杂的图像处理任务。

3.2。cnn的理论

深度学习的概念是由辛顿和Salakhutdinov 92006年],它带来了巨大的进步机器学习。学习旨在构建/使用大脑深处模拟识别数据,如图像/视频、音频和文本以一种无监督的方式。深度学习框架使用一个多层“编码器”网络将高维数据转换为一个低维代码和一个类似“译码”网络恢复的数据代码。低层网络的输出作为输入更高的层网络。整个网络的目标是相同的输入和输出没有损失的信息。通过使用底层特性代表更高的层功能/分类、分布特性表示的数据。汽车编码器,稀疏编码、限制玻耳兹曼机(元),深层信念网络(DBNs)和cnn五种深度学习框架。卷积神经网络是优秀的深度学习架构,首先介绍了福岛( 10),申请了手写数字识别。图像识别和分割任务也成功应用cnn自那时以来,错误率低至0.23% MINST数据库( 11]。此外,它是图像分类的速度和精度高( 12]。在面部识别 13, 14)和视频质量分析( 15),cnn还获得了大量减少错误率和均方根误差。

CNN是一个多层感知器组成的多层膜,每一层用卷积层二次抽样层紧随其后。通过本地网络连接,固定特征的自然图像利用网络拓扑。首先,图像采样成小块。卷积层,小功能探测器是基于这些提取的样本学习。然后,特征检测器的特性是通过卷积计算和图像。在抽样层,功能降低减少计算复杂度和不变性特性介绍。cnn学的特性的一个重要属性是平移不变性,旋转,缩放和其他变形。这两次特征提取结构使cnn高变形公差时识别输入样本。

3.3。cnn的方法

cnn没有区别与其他的目标分类方法。他们都集中在最小平方误差。在这里,我们使用 c 来表示类数, N 来表示训练数据集,总平方误差函数可以显示: (2) E N = 1 2 n = 1 N k = 1 c t k n - - - - - - y k n

在这里 t k n k 维度的 n 数据集, y k n 代表了 k 网络的输出,激活函数在cnn乙状结肠函数更快的收敛速度。对于每一个单一的数据集 n , 2可以描述为 3。cnn的最终目的是实现的最小平方误差 t k n y n 。考虑 (3) E n = 1 2 k = 1 c t k n - - - - - - y k n 2 = 1 2 t n - - - - - - y n 2 2

对传统全连接神经网络、BP(反向传播方法)是用来计算偏导数最小平方误差,通常 当前层的输出 可以显示为 4,在那里 f 是乙状结肠函数。考虑 (4) x l = f u l , u l = W l x l - - - - - - 1 + b l , (5) x j l = f j x l - - - - - - 1 * k j l + b j l

不像 4,因为 5显示了卷积,层 ,图像特性( x )之前由内核层是复杂的,在不同的层次是不同的, b j l 乙状结肠函数的抵消吗 f 。考虑 (6) x j l = f β j l 下来 x j l - - - - - - 1 + b j l

示例层、数字和图像特性风格与之前是相同的层除了特征尺寸按比例缩小。每个功能都包含一种多和加法抵消。本文样本大小是2这意味着下一层图像大小是减少体重和身高的两倍。通过结合 4 5方程,我们可以得到样品 7在这 α j 代表的价值。 j 没有输出。 输入功能。通过计算 α j 和培训内核反向传播方法我们终于可以得到最好的特性从不同层次较高的分类精度。考虑 (7) x j l = f = 1 N n α j x l - - - - - - 1 * k l + b j l 约束条件 α j = 1 , 0 α j 1

如图 3被定义为输入层,输入图像;详细介绍可以在部分 3.4 3.5。隐层是四对卷积和二次抽样层,表示为 年代 l l = 1、2 , 3、4 , C l l = 1、2 , 3、4 和被称为本地连接层。输出层的组合连接层和softmax分类的分类器。每一层的 年代 l l = 1、2 , 3、4 C l l = 1、2 , 3、4 构造与multi-maps每个地图是由多独立的神经细胞。让 d l - - - - - - 1 d l 的输入和输出 l th层, 年代 l × 年代 l 年代 O l × 年代 O l 输入和输出地图的大小, N l N O l 分别是输入和输出的数字地图的图层。据美国有线电视新闻网, N l = N O l - - - - - - 1 年代 l = 年代 O l - - - - - - 1

cnn的插图。

3.4。cnn的结构设计

我们采用ten-layer cnn感知器网络(包括输入和输出层;卷积和样本层分别计算)。关键变量设置包括内核大小和采样率的不同层次提出了CNN是显示在表 1和图 3。学习速率α= 1,变量更新批大小= 10,迭代次数= 1000,任何训练和测试图像归一化 128年 * 128年 大小的灰色图像 ( 0 1 ] 像素大小。

CNN网络的关键设置变量。

的名字 内核大小或采样率
1 输入层 没有一个
2 1日卷积层 9 * 9
3 1号样品层 2
4 2日卷积层 5 * 5
5 2号样品层 2
6 3日卷积层 5 * 5
7 3号样品层 2
8 4日卷积层 5 * 5
9 4号样品层 2
10 输出层 没有一个
3.5。通过cnn图像旋转训练分类器

培训我们的输入图像之间的差异图像固定和移动图片: F - - - - - - 在与不同程度的旋转变形。每一个旋转360°角被定义为一个类,生产多达360类。两个区分人物的cnn知觉领域和共享的权重。知觉领域意味着每个神经细胞在每一层不是xxx所有神经细胞连接在相邻层,但仅限于当地的神经细胞( 9 * 9 如图 3)。共享权重意味着连接权重参数( 9 * 9 )当地每一个神经细胞的细胞都是相同的。如图 3假设输入图像的大小 T 128年 * 128年 。在卷积过滤器,内核的大小 9 * 9 、图像壹空间的变化 120年 * 120年 大小。然后尺度到Tc1形象 60 * 60 在层S1。后四双 年代 C ,原始图像表示为Ts4仅有的 4 * 4 矩阵。在这个隐藏层,所有神经细胞特征图上并不是所有的连接,但相同的权重。结果,只有 9 * 9 重量参数需要计算,大大减少计算复杂度。所有连接之间存在Ts4矩阵和输出层,消除差距造成的部分连接在隐藏层。然后softmax分类器识别矩阵和输出检测结果。之后,通过反向传播参数调整的1000倍,直到收敛。所有这些步骤之后,一个有限的分类器。

4所示。深两层迭代注册框架 4.1。恶魔Diffeomorphic日志登记

在19世纪,麦克斯韦首先介绍了恶魔的概念来说明热力学的一个悖论。1998年,蒂里翁 16)提出了一个注册算法恶魔模型下,通过像素配准精度高,效率速度引起的边缘的基础力量。

(我)理论和改进的恶魔登记。恶魔登记利用光流方程为基础力量寻找微小变形时间序列图像。为点 p 在太空,让 f 是强度值在固定的形象 F 和移动图像 分别。根据蒂里翁的理论, 8显示计算的速度 u 让点 p 对应点的匹配 。在这里, f 内部边缘固定图像的梯度图像和力量 ( - - - - - - f ) 所谓的外力。为了使方程更加稳定和适合图像配准,蒂里翁添加项 ( - - - - - - f ) 2 。后来,他王等人添加图像的力量移动图像方程提高收敛速度和稳定的注册所示 9。参数 α 提出了Cachier调整力强度等人。考虑 (8) u = - - - - - - f Δ f Δ f 2 + - - - - - - f 2 , (9) u = - - - - - - f Δ f Δ f 2 + α 2 - - - - - - f 2 + - - - - - - f Δ Δ 2 + α 2 - - - - - - f 2

比·et al。 17)提出了非参数diffeomorphic恶魔算法。它认为恶魔算法作为优化的过程在整个空间的速度场和适应过程的空间diffeomorphic转换。转换的结果是更顺利、更准确。然后·et al。 18)将过程分为log-domain,他使用一个固定的速度场。此外,该算法对输入的顺序是对称的图像。Lorenzi et al。 19)实现了一个对称的当地相关系数log-demons diffeomorphic算法。Lombaert et al。 1)提出了光谱log-demons捕捉大变形。Peyrat et al。 20.)实现多通道恶魔寄存器4 d心脏图像时间序列。

(2)Diffeomorphic日志恶魔算法。在这里,diffeomorphic日志恶魔算法简要地提醒。diffeomorphic转换 ϕ 相关指数速度场的地图吗 v : ϕ = 经验值 ( v ) (算法 1)[ 1]。log-demons框架之间的交替更新的相似性度量,建立了函数的优化 10。一般来说,恶魔diffeomorphic日志框架程序中描述的算法 2。考虑 (10) Sim卡 F , 经验值 v = F - - - - - - 经验值 v 2

<大胆>算法1:指数< inline-formula > < /大胆> < mml:数学显示= "块" xmlns: mml = " http://www.w3.org/1998/Math/MathML " id = " M87 " > < mml: mi >ϕ< / mml: mi > < mml:莫> = < / mml:莫> < mml: mrow > < mml: mrow > < mml: mi mathvariant =“正常”> exp < / mml: mi > < / mml: mrow > < mml:莫>⁡< / mml:莫> < mml: mrow > < mml:莫弹性=“false”> (< / mml:莫> < mml: mi > v < / mml: mi > < mml:莫弹性= "假" >)< / mml:莫> < / mml: mrow > < / mml: mrow > < / mml:数学> < / inline-formula > (< xref ref-type =“bibr”掉= " B1 " > 1 < / xref >]。

输入:速度场 v

输出:Diffeomorphic地图 ϕ = 经验值 ( v )

(1)选择 N 这样 2 - - - - - - N v 接近0

如。,这样 马克斯 2 - - - - - - N v 0.5 像素

(2)规模速度场 ϕ 2 - - - - - - N v

N

(3)广场 ϕ ϕ ϕ

结束了

<大胆>算法2:< /大胆>冲浪/ ELSTIX相关注册框架。

注册:

输入:图片 F , 和初始速度场 v

输出:转换 ϕ = 经验值 ( v ) F

预注册:通过相关的仿射变换或冲浪

ELASTIX全球注册 F

重复

恶魔注册:

(我)找到更新 u F 映射 F 经验值 ( v )

(2)顺利更新: u K 流体 * u

(3)更新速度场: v 日志 ( 经验值 ( v ) 经验值 ( u ) )

(近似 v v + u )

(四)速度场平滑: v K 流体 * v

(v) 计算传统相似性度量SSD。

直到收敛

<大胆>算法3:< /大胆>两层无监督深自适应注册框架。

分类器训练:培育cnn列车不同级别的旋转和变形图像

注册:

输入:图片 F , 和初始速度场 v

输出: 转换 ϕ = 经验值 ( v ) F

重复

预注册:2 d图像,通过cnn分类器来调整旋转然后规模和转换;

3维图像,pre-registrate triplanar 2 d cnn

恶魔注册:

(我)找到更新 u F 映射 F 经验值 ( v )

(2)顺利更新: u K 流体 * u

(3)更新速度场: v 日志 ( 经验值 v 经验值 ( u ) )

(近似 v v + u )

(四)速度场平滑: v K 流体 * v

(v) 使用PCA提取特性和计算新的相似性度量PCA-pearson PCA-SSD,

PCA-spearman,肯德尔。

直到收敛

4.2。主成分分析的新的相似性度量组合

数学上,主成分分析的定义是正交线性变换将数据转换到一个新的坐标系统中提取最大的方差数据集。因此,它能够避免影响形象的偏见造成的。传统上,主成分分析用于降维,便于分类、可视化、高维数据的通信和存储。这里,PCA应用2 d和3 d医疗和通常的图像,和发现功能表示被用作输入的相似性度量达到解剖函授和协助优化程序注册。

有许多古典度量措施,比如SSD,互信息(MI),互相关(CC),模式强度也相应的改进版。摘要皮尔森,枪兵,肯德尔,SSD一起利用主成分分析法(PCA)提取特征运用新的相似性度量。斯皮尔曼皮尔逊和肯德尔概念在统计和数据挖掘中常用的。皮尔森是皮尔森积差相关系数(PPMCC),开发来衡量两个变量之间的线性相关。斯皮尔曼等级相关系数是一个非参数衡量两个变量之间的统计依赖。两人的−1和+ 1之间的值。斯皮尔曼没有要求变量,而皮尔森坚持变量符合正态分布。我们利用日志恶魔登记避免带来的影响。

2 d图像的大小 × n 首先,主成分分析应用于固定的形象 F 和注册移动图像 ,获得了 主成分分析 F 主成分分析 。因此,可以充分利用图像最重要的信息的组合 主成分分析 F 主成分分析 作为输入的皮尔森、斯皮尔曼等等,形成新的相似性度量。

3 d图像的大小 × n × k 首先,主成分分析应用于每一片 x 一系列的轴和收益 主成分分析 x ( = 1、2 , , ) 。通过总结每个 主成分分析 x ( = 1、2 , , ) , 主成分分析 x 是获得。进行相同的操作 y z 轴的数据,获得 主成分分析 y , 主成分分析 z 。然后,PCA固定 ( f x , f y , f z ) 和注册 ( x , y , z ) 计算图像。因此,可以充分利用图像信息的组合 ( f x , f y , f z ) ( x , y , z ) PPMCC作为输入,枪兵,等等。工作流的这部分如图 4

计算过程的3 d PCA-related相似性度量。

4.3。两层迭代注册框架

传统上,这两个步骤登记意味着最初的仿射登记在开始粗纠正后变形和迭代优化实现的相似性度量的罚款登记注册。我们也采用两步策略。但是在两步登记之前,我们建立一个分类器离线之间在cnn训练识别旋转固定的 F 和移动 图像下非常大的扭曲,然后规模和翻译。还在每个迭代中,初始迭代和后登记。这个反馈过程帮助实现更高的登记与传统冲浪和仿射方法精度比较。

此外,在每次迭代结束时,我们利用一个新的相似性度量通过结合主成分分析与传统的SSD,皮尔森,等等,完全包含图像的最重要的特征。因此,收敛速度比传统的高加速SSD没有PCA登记,同时保持相同的精度。算法 3显示了在流的框架。

5。实验结果

在本节中,整个两层注册方法的性能评价在2 d和3 d图像,合成和性质的数据集。相比之下,传统的两步方法,ELASTIX和冲浪相关算法用于preregistrate移动和固定的形象。然后恶魔非刚性的登记。这些方法设置为基线方法被指示为ELASTIX +恶魔和冲浪+恶魔。他们首先使用检测功能最初注册通过仿射变换和原始SSD图像相似性度量恶魔diffeomorphic日志框架下。我们的方法不同于他们的框架在预先登记和跟踪非刚性的注册框架。2 d图像,首先训练分类器通过cnn和预注册移动旋转图像在大变形和旋转,然后一起规模和翻译转换,预先登记已经完成。对于3 d图像,pretrained triplanar 2 d cnn是用来定位体素,建立通讯功能。最后,PCA相关迭代注册图像的相似性度量下恶魔diffeomorphic日志框架。

两层的改进方法在登记的准确性,大变形和旋转,鲁棒性和收敛速度都与地面实况数据评估。我们的matlab代码处于Lombaert的工作( 21和工具箱 22]。

具体来说,我们下载的大脑和肺部BrainWeb MRI模拟正常的大脑从数据库数据集( 23, 2410)和帝国挑战[ 25训练和测试的)。此外,培训和测试也进行古典莉娜形象,大部分是用于图像处理。T1, T2图像从[ 26)和ITK形象( 27)也在我们的实验中使用。BrainWeb核磁共振数据集包含20 2 d和3 d新正常解剖模型。帝国10挑战肺数据集包括20 3 d扫描,每个都包含固定和移动图像对。肺的描述数据集如表所示 2( 28]。

清单的数据用于肺登记( 28]。

一对 数据分类 一对 数据分类 一对 数据分类
1 Insp-Exp 11 Insp-Insp 21 Insp-Exp
2 Insp-Insp 12 扭曲的 22 Insp-Insp
3 Insp-Insp 13 4 d 23 4 d
4 绵羊的 14 Insp-Exp 24 绵羊的
5 扭曲的 15 Insp-Insp 25 扭曲的
6 对比 16 4 d 26 对比
7 Insp-Exp 17 4 d 27 Insp-Insp
8 Insp-Exp 18 Insp-Exp 28 Insp-Exp
9 Insp-Insp 19 Insp-Insp 29日 绵羊的
10 绵羊的 20. Insp-Exp 30. 扭曲的
5.1。2 d图像配准 5.1.1。综合变形测试

很多注册一直在评估合成图像变形算法测试根据以前的工作 1, 26]。

(1)分类器训练cnn变形。在这工作,ten-layer cnn构造训练各种来源的图像。我们还测试了其他数层cnn,结果表明ten-layer cnn实现分类时得分最高的旋转变形图像。四种二维源图像( 24- - - - - - 27)作为样本。样本图像显示在图的一个例子 5。把图像 T 1 例如,线性变换旋转或翻译添加到图像 T 1 由多个旋转矩阵 r 通过matlab编写;然后添加四种大型和复杂的非线性变换 T 1 通过特殊处理photoshop。 T 1 图片只有旋转来标示 T 1 r 指出,只有变形 T 1 、旋转和变形表示 T 1 r 。相同的符号 F 1 和丽娜形象。图 6所有这些处理后就是一个例证。为了准确识别旋转,在这里训练,不同的形象 F (只有旋转) D T 1 = T 1 - - - - - - T 1 r 是cnn的输入。训练后,每个360°角被定义为一个类,获得360类的失真。对于其他cnn,类的数量是180,90年,36。

原始样本图像的一个例子。

切断后说明样本图像的失真和大型旋转。

我们的测试是进行计算机的windows 7系统,与8 GB RAM, i7 - 4770 CPU @ 3.4 GHz。采取BrainWeb数据( 23, 24),例如,桌子 3根据这些数据显示了分类器的测试结果。

分类器的性能。

图像大小 分类器准确度36 分类器精度90 每次迭代时间(年代)
BrainWeb训练数据 64年 × 64年 99.86% 41.2
28 × 28 99.97% 6.17
BrainWeb测试 28 × 28 99.56%
莉娜,ITK, T1 28 × 28 99.94% 2.4

从表中我们可以看出 3,当输入图像的大小 64年 × 64年 像素,识别分类器的旋转可以达到高达99.86% 90;而图像大小 28 × 28 像素,分类器的识别精度36 99.97%。所有这些条件下完成训练数据也进行测试。当BrainWeb投入的测试数据训练分类器,精度达到99.56%,甚至低于训练数据本身,但仍然非常高的根据许多常用的分类器。莉娜,ITK和T1训练数据,分类器36收益99.94%的准确率。迭代的数量设置为1000每一个培训。

(2)cnn预先注册测试。冲浪相关方法,ELASTIX和cnn的方法进行测试。这里,冲浪相关方法意味着使用首先冲浪算法来检测特性,然后仿射变换最初注册图像。

当只存在旋转 丽娜 r 在图 7,ELASTIX方法失败;冲浪的方法能够识别旋转不变特性,建立准确的莉娜和之间的通讯 丽娜 r 。建立通讯显示为丽娜相关系数在图 7。黄线代表特征点的对应关系。红色圆圈顶点代表在原始图像的特性 丽娜 r 而绿色十字代表相应特征点注册莉娜移动图像冲浪。注册图像和莉娜表示ELASTIX和丽娜冲浪

然而,当旋转和大变形同时出现在移动的形象 丽娜 r 在图 8ELASTIX和冲浪粉碎方法。在这种情况下,在我们的测试中冲浪只发现一对对应点。因为没有足够的通讯功能,初始注册失败。

相反,我们训练有素的cnn分类器和后规模和翻译操作直接确定莉娜图像的旋转角度准确( 90年 旋转),并把它带回 丽娜 如图 9。为了更好的比较,我们使用软件显示旋转的方式处理在cnn冲浪的方式,功能检测和匹配在莉娜类比——CNN。检测到足够数量的所谓的特性,cnn能够恢复旋转了 丽娜

预先登记ELASTIX的结果和冲浪方法只有旋转图像。

预先登记ELASTIX的结果和冲浪方法图像旋转和大变形。

预先登记的cnn方法在图像旋转和大变形。

(3)精度评估登记。数学上,骰子比是用来评估两个数据集之间的重叠。它是定义在 11。在本节中,两个骰子比人类和主观评价方法用于评估ELASTIX的准确性和冲浪相关登记和我们的方法的结果 (11) O 重叠 = 2 F F +

在部分预先登记后 5.1。1、ELASTIX和冲浪相关方法执行diffeomorphic日志恶魔迭代算法实现最佳登记;而我们的方法迭代地进行cnn分类器和diffeomorphic日志恶魔算法优化注册。这个新的两层框架充分利用预先注册和登记后恶魔方法和登记结果表明,它确实提高了精度。

10显示ELASTIX的注册过程和结果(图 10 (c))和冲浪(图 10 (b))相关的方法,而图 11表明,我们的方法。当两个旋转和变形存在于图像 F 1 ,我们的注册结果 F 1 - - - - - - F 1 C + 恶魔 是比 F 1 ELASTIX + 恶魔 F 1 冲浪 + 恶魔 显然。此外,测试骰子比登记,原固定形象 F 1 和注册两个方法放到函数的图像 11分开。骰子ELASTIX的比例和SURF-demons方法是0.889和0.88,而我们CNNs-demons-iterative方法达到0.8964。

预先登记的冲浪相关法(b)和ELASTIX法(c)与旋转和大变形的形象。

预先登记的CNN方法在图像旋转和大变形。

5.1.2中。肺地图册

肺的描述数据集可以在表中找到 2( 28]。帝国10肺数据首先用于MICCAI会议2010。它包含20 intra-patient thoracitic CT图像对。数据 12 13切片图像的显示我们的预先登记结果8和6的4 d图像对的价格相比Elastix的工具。所有图片显示在工具的帮助下,vv [ 29日]。数据从左到右的顺序是固定的图像,图像移动,预先登记ELASTIX的结果,我们提出了cnn的方法,最终注册上面两种方法的结果与恶魔。很明显,我们的方法可以准确地纠正旋转,规模和翻译变形移动图像。虽然ELASTIX预先注册未能纠正旋转固定和移动图像之间的差异。图片被指示为Elastix-demons和CNNs-demons注册。Diff图像之间的固定和图像被指示为Elastix-diff和CNNs-diff注册。

肺片8登记。

肺片6登记。

ELASTIX预先登记每个片如图的消耗时间 14。一片的最短时间是超过1000毫秒(1秒)和时间片8是3500 ms。尽管训练我们的cnn分类器长时间成本,它是离线。和cnn旋转,规模和翻译操作成本一共只有39女士。因此,它是相当有吸引力的实时临床应用。

ELASTIX预先注册的消费时间30肺片4 d数据集。

5.1.3。大脑地图册

我们选择的截面2 d图像BrainWeb MRI 20对象,10为培训和其他测试。从图 15,我们可以看到,我们提出预先登记可以纠正旋转和翻译比传统Elastix仿射注册成功。

大脑切片登记。

5.2。试图利用cnn在3 d图像配准

3 d图像配准是我们专注于大脑地图册注册和给一个cnn的3 d图像配准方法。我们训练脑图谱从18人的3 d图像数据在大脑BrainWeb数据库通过四个步骤:(1)正态分布随机选择10标签分的3 d图像。(2)调整3 d大脑图像和单独的2 d图像在三个方向( x y , y z , x z )。(3)测试每一个2 d切片位置triplanar after-trained CNN分类器(每个维度享有一个CNN网络)和得到正确的片位置(预测压)。(4)调整三维图像标签体素和预测体素,享受最小汉明距离。实验显示了高精度cnn分类结果将大大提高移动三维图像相似性的固定的三维图像。具体过程如图 16

三维体素片样本图像(三片, x y , y z , x z )分类。

5.3。收敛速度评价登记

部分 5。1 5。2提高对准精度和速度。在本节中,我们测试登记精度T2大脑医疗数据和关注注册加快收敛速度。介绍了PCA提取有价值的特性和通过结合特性与SSD,皮尔森,枪兵,肯德尔,我们得到新的相似性PCA-SSD PCA-pearson, PCA-spearson和假象。原始SSD和能量图表示 17 (e)。course-to-fine(在这里,三个级别推荐)注册策略是采用在这里。在图 17迭代,横轴代表时间,纵轴代表指标的值。首先,意味着收敛程度计算三级登记。则进行均值归一化。可以得到一些结论:

定期PCA相关和原始SSD方法收敛,

作为一个整体,PCA-SSD和PCA-Pearson方法执行最佳和收敛速度比原创SSD指标;

PCA-spearman指标首先收敛速度最快,但最近它减慢;

肯德尔度量执行较其他指标最差。

T2数据:(a)固定形象,(b)移动图像,(c)注册移动图像,(d) (a)和(c)的区别,(e)收敛迭代前十的程度。

收敛程度

6。结论

在这篇文章中,一个全面的方法,构建分类器下的图像旋转通过cnn严重的变形,提出了旋转。分类器能够识别畸变高达360类根据旋转角度的分析。分类器是用来帮助我们提出两层深自适应注册框架。登记在每个迭代中,预先登记与训练分类器的识别,规模、和翻译操作符和恶魔diffeomorphic日志登记后一个接一个相互促进。除此之外,提出了PCA相关相似性度量可以帮助实现更快的收敛速度。新的两层注册框架比较与传统diffeomorphic日志恶魔结合先进的ELASTIX和冲浪预先登记注册。只作为基线方法进行预先登记一次,大变形不能完全修改。从测试在不同的图像资源包含各种各样的2 d和3 d, MRI和CT数据集,我们框架的确优于基线方法登记质量和收敛速度。

在接下来的工作中,我们将结合其他类型的深度学习框架作为独立子空间分析(ISA) [ 30.),稀疏编码( 31日]等等来改善当前的注册。同时,更提出了两层注册框架的性能测试应该进行更多的数据资源。此外,该方法性能应与其他深度学习模型相比。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

本文是国家重点支持的项目技术研发项目批准号2011 bac12b03,北京的创新团队,中国国家自然科学基金批准号。81370038和81370038下,北京自然科学基金批准号下7142012,北京新星项目批准号下Z141101001814107,科技项目下的北京市教育委员会批准号。KZ201310005004 km201410005003, Rixin基金下的北京科技大学的批准号。2013 - rx - l04和2012 - rx - 03,和北京工业大学基础研究基金批准号下002000514312015。

Lombaert H。 格雷迪 l Pennec X。 Ayache N。 Cheriet F。 光谱log-demons: diffeomorphic图像配准和非常大的变形 国际计算机视觉杂志》上 2014年 107年 3 254年 271年 10.1007 / s11263 - 013 - 0681 - 5 2 - s2.0 - 84897080957 Markelj P。 Tomaževič D。 Likar B。 Pernuš F。 回顾3 d / 2 d图像引导干预的注册方法 医学图像分析 2012年 16 3 642年 661年 10.1016 / j.media.2010.03.005 2 - s2.0 - 84857628623 首歌 G。 Tustison N。 旅行车 B。 J。 使用diffeomorphic肺部CT图像配准变换模型 医学图像分析又大的挑战 2010年 23 32 http://fsl.fmrib.ox.ac.uk/fsl/fslwiki/FLIRT 克莱因 年代。 盯着 M。 墨菲 K。 Viergever m·A。 Pluim j·p·W。 Elastix:灰度医学图像配准的工具箱 IEEE医学成像 2010年 29日 1 196年 205年 10.1109 / tmi.2009.2035616 2 - s2.0 - 73849116467 Shamonin d . P。 布朗的 E·E。 Lelieveldt b p F。 史密特 M。 克莱因 年代。 盯着 M。 快速并行图像配准在CPU和GPU诊断阿尔茨海默病的分类 Neuroinformatics前沿 2014年 7,第五十条 10.3389 / fninf.2013.00050 2 - s2.0 - 84892620757 C。 J。 Torralba 一个。 筛选流程:茂密的场景和应用程序之间的通信 IEEE模式分析与机器智能 2011年 33 5 978年 994年 10.1109 / tpami.2010.147 2 - s2.0 - 79953049203 Prasoon 一个。 彼得斯 K。 Lgel C。 Lauze F。 大坝 E。 尼尔森 M。 深特性学习膝盖软骨分割使用triplanar卷积神经网络 8150年 《医学影像计算和计算机辅助介入的国际会议(MICCAI 13) 2013年 246年 253年 辛顿 g . E。 Salakhutdinov R R。 降低数据的维数和神经网络 科学 2006年 313年 5786年 504年 507年 10.1126 / science.1127647 MR2242509 2 - s2.0 - 33746600649 福岛 K。 Neocognitron:自组织神经网络模型的机制模式识别影响位置的转变 生物控制论 1980年 36 4 193年 202年 10.1007 / bf00344251 2 - s2.0 - 0019152630 Ciregan D。 迈耶 U。 Schmidhuber J。 多列深层神经网络的图像分类 《IEEE计算机视觉与模式识别会议(CVPR 12) 2012年6月 3642年 3649年 10.1109 / cvpr.2012.6248110 2 - s2.0 - 84866714584 Cireşan d . C。 迈耶 U。 Masci J。 Gambardella l . M。 Schmidhuber J。 灵活、高性能卷积神经网络的图像分类 22 《人工智能国际联合大会22日(IJCAI”展出11) 2011年7月 1237年 1242年 10.5591 / 978-1-57735-516-8 / ijcai11 - 210 2 - s2.0 - 84881039921 劳伦斯 年代。 贾尔斯 c . L。 Tsoi a . C。 回来 答:D。 人脸识别:卷积神经网络方法 IEEE神经网络 1997年 8 1 98年 113年 10.1109/72.554195 2 - s2.0 - 0030737097 Matsugu M。 K。 Mitari Y。 金田 Y。 学科独立的面部表情识别与使用卷积神经网络健壮的人脸检测 神经网络 2003年 16 5 - 6 555年 559年 10.1016 / s0893 - 6080 (03) 00115 - 1 2 - s2.0 - 0037707305 Le荡妇 P。 Viard-Gaudin C。 胡须 D。 一个卷积神经网络为客观视频质量评估方法 IEEE神经网络 2006年 17 5 1316年 1327年 10.1109 / tnn.2006.879766 2 - s2.0 - 33750135479 蒂里翁 j。 图像匹配扩散过程:一个类比与麦克斯韦的恶魔 医学图像分析 1998年 2 3 243年 260年 10.1016 / s1361 - 8415 (98) 80022 - 4 2 - s2.0 - 0032153006 ·维 T。 Pennec X。 Perchant 一个。 Ayache N。 非参数diffeomorphic恶魔的图像配准算法 医学影像计算和计算机辅助Intervention-MICCAI 2007 2007年 4792年 柏林,德国 施普林格 319年 326年 在计算机科学的课堂讲稿 10.1007 / 978 - 3 - 540 - 75759 - 7 - _39 ·维 T。 Pennec X。 Perchant 一个。 Ayache N。 对称log-demons diffeomorphic注册:demons-based方法 5241年 第11届国际研讨会论文集医学影像计算和计算机辅助介入(MICCAI ' 08) 2008年 纽约,纽约,美国 施普林格 754年 761年 在计算机科学的课堂讲稿 10.1007 / 978 - 3 - 540 - 85988 - 8 - _90 Lorenzi M。 Ayache N。 Frisoni g . B。 Pennec X。 LCC-Demons:一个健壮的和精确的对称diffeomorphic注册算法 科学杂志 2013年 81年 470年 483年 10.1016 / j.neuroimage.2013.04.114 2 - s2.0 - 84879728404 Peyrat 人类。 Delingette H。 Sermesant M。 C。 Ayache N。 注册4 d心脏CT序列轨迹约束下多通道diffeomorphic恶魔 IEEE医学成像 2010年 29日 7 1351年 1368年 10.1109 / tmi.2009.2038908 2 - s2.0 - 77954233638 http://www.mathworks.cn/matlabcentral/fileexchange/39194-diffeomorphic-log-demons-image-registration https://github.com/rasmusbergpalm/DeepLearnToolbox Cocosco c。 Kollokian V。 关颖珊 r . K.-S。 派克 g . B。 埃文斯 a . C。 BrainWeb:在线3 d模拟大脑MRI数据库接口 科学杂志 1997年 5 425年 Aubert-Broche B。 埃文斯 a . C。 柯林斯 l 新的改进版本的真实数字大脑幻影 科学杂志 2006年 32 1 138年 145年 10.1016 / j.neuroimage.2006.03.052 2 - s2.0 - 33746094676 http://empire10.isi.uu.nl/ http://www.mathworks.cn/matlabcentral/fileexchange/21451-multimodality-non-rigid-demon-algorithm-image-registration http://www.itk.org/ITK/resources/software.html 墨菲 K。 范Ginneken B。 莱因哈特 j . M。 胸CT评价注册方法:10 challabnge帝国 IEEE医学成像 2011年 30. 1901年 1920年 http://elastix.isi.uu.nl/index.php G。 M。 Q。 Y。 年代。 D。 无人监督的深层特征学习变形登记先生的大脑图像 8150年 第16届国际研讨会论文集医学影像计算和计算机辅助介入(MICCAI 13) 2013年 日本名古屋 施普林格 649年 656年 在计算机科学的课堂讲稿 10.1007 / 978 - 3 - 642 - 40763 - 5 - _80 M。 D。 狂吠 p . T。 D。 Tree-guided稀疏编码脑疾病分类 医学影像计算和计算机辅助干预 2012年 7512年 15日,第3部分 239年 247年