文摘

在本文中,我们提出一个新颖的方法,介绍基于区域自适应本地化水平集使用卷积神经网络,为提高上颌窦分割的性能。健康窦内没有病变是传统算法简单。然而,在实践中,大多数情况下充满了病变的异质性导致精度降低。因此,我们提供一个策略来避免被困到一个活动轮廓不属预定目标的区域。首先,病变的特点和研究上颌窦使用卷积神经网络(CNN)和两个卷积和三个完全连接层的体系结构。此外,输出的CNN设计评估的可能性是零水平集的位置接近病变。最后,该方法估计稳定点轮廓的一个互动的过程。如果它位于病变,需要支付一定的速度补偿基于可能性通过CNN的价值,帮助自己逃离局部最小值。如果不是,保持现状直到收敛。功能的方法已经被证明是200 CT图像的数据集可能的病变。 To illustrate the strength of our method, we evaluated it against state-of-the-art methods, FLS and CRF-FCN. For all cases, our method, as assessed by Dice similarity coefficients, performed significantly better compared with currently available methods and obtained a significant Dice improvement, 0.25 than FLS and 0.12 than CRF-FCN, respectively, on an average.

1。介绍

鼻腔疾病越来越普遍患有严重影响日常生活。在美国,大约有16%的成年人患有此麻烦,还有1亿在中国1]。急性鼻窦炎是简单的用抗生素药物管理2]。然而,对于慢性,鼻内的功能性鼻窦手术治疗(承认)的可能是唯一的解决方案。承认有一些过程:上颌窦开窗、筛窦切除术等。3]。发现很多风险可能出现在手术由于鼻腔解剖结构的变化,视神经和颈动脉有更高的可能性影响(4]。分割和随后的定量评估病变的医学图像为疾病的分析提供有价值的信息,和定量成像可以揭示线索病变特征和解剖结构。例如,术前计算机断层扫描(CT)提供放射科医生前瞻性的机会识别解剖变异,使病人主要手术并发症(5]。实时手术导航已加入承认(6]。承认更安全,外科医生使用导航系统,注册一个病人他/她的CT扫描和跟踪工具在病人体内的位置(7]。

越来越多的证据的资格鼻窦增加洞察功能结果和需要精确的分割是一个具有挑战性的任务的原因。病变包括大型的异构外观变化的位置,大小,形状,和频率很难设计有效的细分规则。虽然最准确的分割结果可以通过手册描述由一位经验丰富的专家,花费大量的繁琐的时间,近8 - 10小时每一个病人的情况下(8]。此外,专业决定是否一个特定的区域分割对象的一部分。为了了解上颌窦的复杂性,有必要进行广泛研究,以获得统计模式,得出结论。因此,更准确,自动分割算法需要尽快。

图1说明了一些潜在的挑战时提出了一个计算方法自动上颌窦分割的任务。图展示了强度统计的差异和显示病变的上颌窦腔的例子。病变可以在多个站点,不同的形状和大小,误导曲线演化的结果高梯度噪声区域。同时,一般很难得到统计先验知识建立一个类似的描述形状的上颌窦由于常见的解剖异常9]。理想情况下,一个可接受的解决方案能够调整自身前景通过学习潜在功能的例子。

水平集曲线演化应用程序很受欢迎,特别是对于医学图像分割(10]。与活动轮廓方法相比基于点的运动,它有能力处理图像噪声强度的异质性,和不连续对象边界。水平集方法包括基于边缘模型(10- - - - - -12)或地区(13- - - - - -15]。Edge-based模型对噪声敏感和不完整的边界或低对比度纹理对象。提出的研究空间数据有趣的地区找到全局能量最小值功能,但缺乏细节的能力。,在许多伟大的异构的前景和背景的例子,一个局部区域模型具有更好的性能比全球(16- - - - - -20.]。混合模型是优越,定义一个能源功能与当地和全球约束来获得一个更健壮的分割与小敏感的初始化。

在水平集作品中,功能控制参数的选择困惑了很长一段时间。李等人。21)给证明了一个不恰当的定义可能会导致一个劣质分割无论初始化。作为Lankton等人描述(16与方向和速度),参数有密切关系的活动轮廓根据特定的纹理特征。甚至群参数的微小变化会产生完全不同的结果。因此,固定参数无法生存在不同强度的空间分布在上颌窦病变。一些研究倾向于测试可选值在整个数据库的一系列训练集图像,但通常情况下,新图片可能需要额外的实验找到最佳参数。因此,选择一组固定参数的试验是一个耗时和费力的过程。此外,大多数用户没有足够的经验来调整大量的参数优化。出于这个原因,一个自适应策略是完全可取的。在分割的过程中,如果参数可以根据特定的纹理,动态调整的方法有更高的机会提供一个更准确的分割。

一些论文提出一种算法来估计参数对能源功能分割之前。李等人。21]引入水平集模型的方法来调整参数根据分类的像素强度。不幸的是,初始化值一旦开始工作,保持不变,导致一个贫穷的分割病变尤其是对对象的变体。奥利维拉et al。22)提供一种机制来评估参数训练集的分析也可以重用的新图像。显然是不合适的窦腔高度多样化的病变。Baillard et al。23)空间异质性的问题设计一个解决方案,充分考虑每一个点的位置在每个迭代。轮廓上的点,首先确定其状态。如果它属于对象,它应该局部向外扩展。如果不是这样,它就朝相反的方向。这种分类取决于高斯和移位的瑞利统计分布模型通过训练集通过最大化后验概率。然而,由于病变的多样性,其预测精度的位置将被怀疑和讨论根据传统的机器学习方法。因此,(21- - - - - -23)可能会执行不可接受的高度多样化的数据集和需要更多的优化。

同时,深度学习技术的出现是一个强大的替代等监督学习应用分类、检测和其他领域(24- - - - - -27]。卷积神经网络(CNN) (28,29日]可以学习高度区别的特征与优势,已广泛在各种问题包括医学影像。Ciresan et al。30.)采用古典CNN的分割神经膜。显然,这种策略有两个缺点。首先,花费这么多的计算时间自网络必须单独运行每个补丁,和有很多冗余由于重叠的补丁。此外,有一个定位的准确性和使用上下文之间的权衡。更准确的定位,Ronneberger等人透出更优雅的架构U-Net来源于卷积网络(FCN) [31日),它包含一个承包路径获取上下文和对称扩展路径。虽然算法获得某些成就,具体对象的结果在边缘太粗了医学图像分割。Kamnitsas et al。32]在FCN中加入条件随机域(CRF)。分割的细节,精致的模糊分类基于像素的位置和类之间的关系。遗憾的是,这种方法受到噪音严重。艾瑟夫巴德et al。33]提出预测活动轮廓与CNN的位置。这种方法侧重于整个轮廓平均状态,它不能处理对象的不规则形状。这些方法在医学图像在计算机视觉应用中证明是成功的。CNN的理念加强知识的重要特性的大规模训练集,而出现一个巨大的挑战或纹理的分布空间提出了上颌窦分割。是不可能建立一个级平衡训练集来描述所有可能的情况下与病变。

在本文中,我们提出一个新颖的改进的水平集分割使用卷积神经网络。我们的方法是一个多级的过程。一个卷积神经网络用于识别的位置上的一个点零水平集轮廓。如果点高概率接近病变区域,它的速度可以在一定程度上补偿基于CNN的输出概率。如果没有,我们相信它已经抵达目标区域。这个互动过程当最小化成本函数迭代的水平集,它是不必要的更准确的初始轮廓的分割。与当前的混合水平集框架相反,我们的方法没有依赖特殊的初始化和不包含任何假设鼻窦和病变特点。因此,我们的算法有较强的适应能力在不同数据集异构的上颌窦病变,包括大量的噪声和异常解剖结构。

我们所知,这是第一个使用CNN确定点的位置的零水平集的大小速度补偿,避免能源功能从被困到局部最小值和导致广义细分解决方案比方法。

2。材料和方法

2.1。能量模型

我们使用两种不同的能量模型广泛评估提出的自适应本地化提出分割算法:统一建模能源(嗯)和平均能量(MS)分离。本文的创新方法是优化本地版本的水平集16),和能源给出如下: 在哪里和表示特定像素的位置位于当前图像的坐标, 代表当地的区域中心每一点轮廓,如一个矩形或圆形,函数是一个通用的内部能量测量用于描述本地坚持一个给定的模型沿着轮廓每一点。为了保持曲线光滑,我们添加一个正则化项是成功的一般。因此,嗯或MS模型被选中的候选人在我们的方法实现。通过第一个变化(1)对 ,我们得到以下演化方程:

2.1.1。统一的建模能源

能量的一个著名的例子,使用一个常数Chan-Vese能源强度模型(13),我们将称之为统一建模描述为能量

能量模型感兴趣的区域(ROI)分为前景和背景。和分别代表他们的强度意味着。集作为一个有界的子集和图像上的协调点 。让是一个距离地图和签署前景区域。本地版本的模型可以被替换使用和与当地的版本,和 ,代表当地的地区分为外部和内部周围的每个轮廓点,根据方程(4)。和参数有压紧速度方向和大小与ROI的结构有密切关系。相关的推导过程可以提供(13]:

2.1.2。意味着分离模型

意味着分离模型首次提出由Yezzi et al。34),我们称之为意味着分离能量:

这种能量功能到达最小值在前景和背景区域最大限度分离意味着强度。有一种强烈的假设对象及其背景强度的最大区别。没有限制的地区如何建模和 。在我们的方法中,我们设计的本地版本作为

用的导数到(2基于速度),我们获得当地流。这使得MS模型有效地找到图像边缘不考虑全球内部或外部区域的均匀性。

2.2。该方法

该方法包含本地化的交互式混合水平集和CNN,见图2估计的概率点的位置,有助于能源功能有效地逃离局部最小值。从以前的工作[借来的精神35),我们初始化水平集模型与周围的轮廓分割对象。一般情况下,轮廓应该移动到目标水平集函数所需的速度。然而,随着噪声干扰的结果,移动线可能被困在当地的噪音。因此,我们预测真正的目标可能位置和显示新的速度方向和价值加速移动轮廓移动状态进化更合理。

2.2.1。速度补偿

介绍了在节1,在分割困难的上颌窦病变不确定的位置,形状和强度。当然,一个健康的人可以很容易地处理。持有更高的灰度值,病变容易挫败进化的初始轮廓,很难到达目标。在我们的优化中,我们提出一个解决方案的速度补偿来解决这个问题。也就是说,如果一个点的速度轮廓检测到接近于零,需要设计了卷积神经网络识别其本地地区的特征。更精确的结果,我们训练的大规模训练集。关于细节,稍后我们将讨论它。CNN输出每个两个类:边界窦( )或损伤( )。在互动步骤中,我们使用两个类的概率值给速度补偿,这是计算使用以下方程基于MS模型: 在哪里影响曲线向外移动的体重正常,另外,试图向内移动曲线。相对物品相互作用和决定终极速度的大小。 的速度补偿。我们的研究依赖于一个重要假设任何初始轮廓给出窦腔内,因为还有很多其他鼻窦组件外部带来不可能自动分割。对于一个稳定点,如果 ,它可以支付一个伟大的速度,往往远。如果它位于上颌窦边界的地区, ,赔偿几乎为零,保持现状直到收敛。我们把困惑的条件, ,没有考虑为了确保稳定,这是发现在很少情况下验证实验。

2.2.2。CNN架构

对医学图像分割的研究,最不满意的结果是由非均匀纹理特征,使能量函数在当地嘈杂的最小值。这个问题我们的方法推广到一个机器学习的过程,一个共同的架构的CNN。

拟议的架构由三个完全连接的两个卷积层和输出层的两个类(图3)。输入图像的采样点的局部区域,它的大小是固定的 。有两个卷积层开始时提出的CNN架构,其中包括一个 过滤器和一个 分别马克斯池过滤。两层之间的区别是深度和步伐。hyperparameters我们测试过愿意比别人表现得更好。应用非线性激活函数的输出卷积层。在本文中,我们选择漏ReLU [36)网络给稀疏质量减少计算复杂性和保持向后传播运行平稳。为了避免过度拟合,增加输出的准确性,我们设计一批标准化(BN)过滤器37]ReLU配置之前,也解决了不同分布在训练集或预测的问题。每个卷积块CNN如图4。我们给这个光模型考虑的计算速度和我们的提议项目的重量。应该提供一个更复杂的CNN,但它会影响效率的水平集模型占更多的计算成本。

2.2.3。训练的美国有线电视新闻网

在项目中,CNN的成本函数选为叉损失,每一批后评估网络的性能: 在哪里每个训练例子和代表真正的标签 是预测函数。当例子是分为 , 等于1。否则,= 0。的概率吗被划分为例子类。为了防止过度拟合,L2-regularization介绍惩罚权重的大小 ,在哪里 是正则化系数。模型参数的学习,我们采用移动平均的策略,包括BN过滤和随机梯度下降法(SGD)和衰减设置为0.9997。具有相同的衰减系数,有效搜索全局最小点,每10000训练步骤,我们调整学习速率指数基于数量的步骤。完全连接层,我们组辍学并保持概率0.6确保稀疏网络一个可以接受的结果。模型的初始化参数,截断高斯重量分布用于生成和标准差是0.1。CNN与minibatch随机梯度下降法训练与一批大小32位图像。工具包的实验取决于苗条,高水平Tensorflow封装。

2.3。实现细节

2.3.1。没有仅水平集和窄频带

传统水平集有一个无聊的缺点,签署必要的距离函数(SDF)不能保持特点在一些迭代。常见的解决方案依赖于循环仅花费大量的计算时间和产生数值错误频繁。李等人提出了一种正则化方法解决这个问题(38有效)。通过附加一个自卫队正则化项目标能量函数,零水平集轮廓的进化过程是自卫队没有仅能保持质量,算法的复杂性显著减少,最终结果是著名的对等。为了节省计算时间,该方法计算网格点的能量功能只位于一个窄带距离的地图,因为本地化提出水平集(16关注当地的内部和外部的零水平集轮廓点。此外,通过实验,我们发现,这些点的窗口大小优于近小于10,一个非常狭窄的乐队ROI。

2.3.2。训练集和图像预处理

两类分为训练集的病变。当我们使用CNN来分析静态点的局部区域特性,它肯定呆在窦腔的边缘或病变。因此,详细构造训练集时,我们取样点在两种情况下的平均水平。例子的大小 和放大双线性插值。在实验中,我们尝试了不同的大小和这组表现出色。收集培训补丁的数量与两类50数千人,分别。神经网络的输入,灰色值正常化所需的速度和准确性。常见的策略往往受噪音影响极大,对重要的特性。我们应用contrast-limited自适应直方图均衡化(CLAHE),增强了两类不同的纹理特征表达式和减少琐碎的噪音干扰。图5显示了训练集的一个子集和相应的预处理功能的地图。

2.3.3。数据增加

为扩大训练集有限,增加数据集是由应用弹性和仿射扭曲。我们创建了弹性变形通过生成随机位移场与值的范围内 ,这些字段的高斯卷积过滤器,和由此产生的矩阵乘以恒定的因素,控制变形的强度。我们也试图采取旋转,增加培训批次。结果表明此方法在改善培训质量是有限的。因此,我们没有这个设计介绍。

3所示。结果与讨论

3.1。数据集

在我们的研究中,一个机构审查委员会批准限制域在我们的项目中,我们使用了50体积CT扫描(12.13 GB) +西门子SOMATOM定义包含上颌窦BE-FNet评估拟议中的多任务网络。他们都有相同的 平面分辨率但不同数量的轴向片。像素之间的间距沿ZYX股票轴属于从获得的数据集 mm 660毫米。我们分析了CT图像的上颌窦病变为训练集和验证集。另一个200的图片被选为测试集所有可能的情况下。下列图像采集参数使用:由西门子SOMATOM定义+;120千伏峰值;500毫米直径数据收集;0.390625毫米的像素间距;厚度0.6毫米;15.2784 CTDvol。所有CT图像各向同性像素。

一节中1,我们表明,大小,位置和异质性的病变有很高的多样性特征。很大程度上被发现的全套图片。因此,使用一组固定的参数在能源功能对所有例上颌窦在实践中并不可行。换句话说,一个新颖的解决方案应该提供给阻止点陷入局部最小值。广泛的病变的强度分布说明了速度补偿的重要性,需要基于卷积神经网络评估的特征区域和达到全局最优。

评价,两个放射科医师提供注释手动分割的地面真理有超过五年经验的。最终结果我们提出的方法定量与平均两个放射科医生的标志。的敏感性研究细分不同的初始化,在每一个图像,我们给五半径3,5,7,9,11个像素。所有初始轮廓位于窦腔内。有些人接近窦边界附近的中心和其他人。这种广泛的初始化允许我们评估我们的算法的鲁棒性。

3.2。分割性能

能量函数的参数 , ,和 使用,我们测试了它们与所有660 CT图像没有速度的最佳性能补偿。数据6 (c),6 (f),6(我),6(左),6 (o)显示分割为不同的情况下的一些示例。分割性能评估使用骰子相似系数(表1)。骰子系数计算相对于每个放射科医师的手动标记,然后,骰子平均分数估计。我们提出的分割方法具有较高的协议与手动标记不同的局部能量模型。结果比之间的重叠,测量完成手工注释的放射科医生,因此该方法展示我们的力量。

3.3。与固定轮廓参数的方法

我们将我们的方法与先进的工作能量模型,介绍基于区域本地化水平集基于固定参数(16)(FLS的)。在这个实验中,我们选择 , ,和 作为参数能量的功能,因为他们有最佳的性能在所有训练集没有速度补偿。图6显示了某些情况下不同的上颌窦,初始轮廓,和最终的分割对象,使用我们的方法和FLS的。左列供应一系列的CT图像和病变不确定尺寸,强度,明显位置。因此,FLS的具有较高的概率诱导初始轮廓困到病灶的边缘。右列证明了我们的方法的优势。

为定量评价两种方法,我们收购了另一家200 CT图像作为测试集,骰子系数平均在5初始轮廓。统计数据表明,FLS的平均骰子系数 和 嗯,女士模型,分别。这些骰子系数明显低于建议的方法。图7清楚地表明,我们的方法优于最先进的读者。

图8演示了FLS的,我们的算法的收敛迭代能量的功能。开始运行,它们都有一个趋势增加一点FLS的程度更大。正如所料,能源减少增加迭代,收敛在一个值;这意味着能量函数的最小化。后两个指标,获得了实质性的趋同60多个迭代。显然,我们的方法有更快的收敛速度。如果调整到一个合适的大长度的一步,这两个能量迭代的功能需要更少的时间。

3.4。相比其他的方法

我们比较我们的另一个最先进的方法提出的Kamnitsas et al。32]。作者提出了一种新颖的模型集成完全传统的网络(FCN)和条件随机场(CRF)医学图像的分割。本文设计了一个成本函数,加入CRF项来描述更准确类像素的街区,有效去除假阳性。此外,他们雇了一个双通道架构流程输入图像多尺度同时为对象的准确定位。他们的创新工作改进的分割技巧基于完整的深度学习和日益增长的关注。

我们测试了Kamnitsas”方法(CRF-FCN) 2 d模式相同的训练和测试数据集。CRF-FCN全自动,它不需要任何初始轮廓。在配置CRF-FCN hyperparameters,我们跟着作者的想法包括50个随机森林里树木和最大深度为30基线。CRF-FCN提供90%置信区间 有一个很大的骰子分配系数。这些结果提高强度的方法,明显优于FLS的和CRF-FCN。

图9说明了CRF-FCN结果方法,表现在很大程度上有完全不同的精度。和小窦病变,似乎能胜任分割。在第三行中,案例充满大量的病变未能预测密集的像素分割。在这项研究中,我们发现CRF-FCN或类似的深度学习技能的性能取决于类训练集的分布是平衡的。如果特定模式很少或冗余的情况下,他们肯定导致CNN网络压力或忽略相应的功能。因此,建立一个class-balanced训练集是至关重要的,但是一个巨大的挑战的做法,因为很大程度上上颌窦的空间分布。此外,CRF-FCN结束时,有一层精致的CRF模型。需要更多考虑一双相似的像素位置和强度在同一个班。大多数病变与邻居举行近似特性区域外窦腔或边界,对细分也有负面影响。类的测试集,完全不同的分布在上颌窦如大小、异常结构和成像水平肯定会导致相对较低的精度。 So, if there is another sufficient testing database, it should have a chance of improvement in evaluation. In a word, independent identical distribution (IID) of training or testing plays an important role especially in segmentation based on the neural network model.

3.5。计算时间

我们检查了该方法分析所需的计算时间分割。所有数据都是训练和预测使用Tensorflow 1.2,和水平集的过程发生在MATLAB R2017b 64位在Mac OS。与FLS的相比,我们的方法需要额外的过程的评估点,直到收敛的能量。此外,一个预测的时间稳定点零水平集CNN约0.2秒。该方法在统计,我们的成本超过FLS的平均30%。

3.6。对初始化的敏感性

对FLS的(不同的轮廓初始化有很大的影响39,40]。在实验中,我们评估FLS的和我们的五个不同的初始轮廓,总平均骰子系数(表2)。我们建议的方法与手工标记显示更好的协议和较小的分割性能的变化应用时使用不同的能量模型,显著优于FLS的。结果显示,尽管与嘈杂的病变,我们的模型可以处理严重偏离初始轮廓的位置,拿着伟大的鲁棒性。

4所示。结论

分割的上颌窦病变面临问题的大小,位置和非均质性严重不规则,无法生存的最先进的方法。他们中的大多数是基于灰色梯度导致病变的活动轮廓陷入局部最小值的边缘。如何逃生和到我们的研究的对象是关键。

在本文中,我们提出一个新颖的方法,一种自适应本地化的基于区域的水平集使用卷积神经网络。算法自动分析该地区特性稳定点的活动轮廓在每一个迭代。如果它位于病变,其速度可以根据CNN的概率输出补偿。如果不是这样,它仍然保持直到迭代结束。建议的机制确保困点可以向外发展。因此,我们的方法是自适应与可能的例鼻窦病变。我们的方法显示高协议与专家手工标记不同的CT图像数据集。各种各样的空间纹理特征强调我们的力量在我们的数据集自适应方法,表现良好的与非均匀损伤和嘈杂的背景。

我们比较我们的结果统一建模(嗯)和平均分离(MS)本地版本的模型(16]。测试集的200张图片,图6表明,本地化的固定参数提出水平集不能解决问题,在局部最小值和大多数轮廓停止,特别是见腔充满了更多的病变。此外,我们的方法具有明显的优势超过FLS的和被定量评价统计(表确认2)。

Kamnitsas”方法(CRF-FCN) (32)最近很受欢迎,来自完全卷积网络和条件随机场的想法。它已经被证明是一个有效的和有效的算法相比,与其他先进的方法。对比实验,该方法也显著优于和缺点CRF-FCN表示。伟大的变化出现在上颌窦表示CRF-FCN此外的挫折感。

此外,我们讨论了FLS的和我们的方法的收敛性。图8表明我们有更快的收敛速度虽然成本较长的计算时间平均增加了30%。同时,实验也给初始化轮廓不敏感的信心。这意味着我们的方法的巨大潜力全自动分割。因此,我们结合深度学习和水平集捕捉这两种方法的优点,克服其局限性,实现更好的结果比方法。

提出工作有一定的局限性。首先,是否 , ,和能量的功能对我们的方法不敏感讨论的工作。此外,基于三维分割应该是一个未来的方向,以及公司的全自动分割,没有任何用户输入。总之,方法显示了较先进的水平集方法更高级的技能。它在前景和背景之间的异构纹理表现的更好,提供一个新的研究领域。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突的报告对于本研究。