文摘
越来越多的研究左心室量化跳过分割由于其要求大量的像素标签。在这项研究中,一个框架开发直接量化左心室多个指标没有细分的过程。首先,利用DenseNet提取空间特征为每个心脏帧。然后,为了利用时间序列信息,连续帧的时间特性是使用封闭的复发性编码单元(格勒乌)。之后,注意力机制集成到译码器能够有效地建立输入序列和相应的输出序列之间的映射。同时,回归层相同的译码器输出是用来预测multi-indices左心室。为不同类型的设置不同的权重指数基于经验,和l2-norm用于避免模型过度拟合。与最先进的(SOTA)相比,我们的方法不仅可以产生更具竞争力的结果也更加灵活。这是因为预测结果在我们的研究中可以在线获得每一帧而SOTA只能输出结果毕竟框架进行了分析。
1。介绍
重视已附加到左心室在识别和量化的研究在临床常规诊断心脏疾病。它可以评估病人的现状,然后做出适当的和正确的判断疾病的预后和结果。近年来,心脏磁共振(CMR)已成为一个至关重要的影像学方法在临床心脏病学实践由于其高信噪比、非侵入性成像到心脏的房间,不需要几何假设,和大血管1,2]。尽管花费了大量精力左心室量化在过去几十年(2- - - - - -8),仍在研究阶段和报告的算法仍不够健壮且灵活支持临床实践由于医学图像的复杂性。因此,左心室量化仍然是承认作为一个挑战与很多改进空间在健壮性、灵活性和准确性。
一般而言,左心室量化可以实现根据辛普森法则(9心外膜后),心内膜上划出轮廓极震区片(5,8]。然而,由于心脏MR图像的特点和患者的变化图像,左心室在MRI分割仍然是一个挑战。一方面,分割的复杂性取决于切片图像的水平。例如,它是比较困难的顶端和基底片图像比midventricular段。此外,有效的方法通常两个阶段介绍量化左心室,导致难以优化框架作为一个整体。目前,端到端框架与深度学习技术的发展越来越受欢迎(3,10]。
在本文中,为了实现一个可靠的和精确的解决方案量化从极震区视图左心室心脏MR图像,一个优雅的框架基于DenseNet [11]和格勒乌- [12]基于encoder-decoder与关注。具体来说,结构参数如心肌和腔地区,地区墙厚度和空腔尺寸(图1)将评估我们的方法的每一帧。这项工作的主要贡献如下。
(一)
(b)
(c)
首先,提出了一种共享和端到端框架直接量化左心室指数没有细分。所有帧共享DenseNet提取他们的空间特性,使模型更简洁,避免过度拟合。
其次,为了赶时间信息在连续帧,提取的特征的连续帧编码格勒乌块。这是因为格勒乌有很大能力保留顺序数据的长期依赖,而且,与它的兄弟姐妹LSTM相比,它有类似的用更少的参数精度和更快的速度。
最后,连续帧,每一帧的编码时间特性映射到最后表示通过译码器由格勒乌块与关注,这是一译码器关注局部或全局特性。最后表示输入到回归层框架的量化指标。
本文的其余部分组织如下:在部分2一些相关工作进行了讨论。然后,深encoder-decoder递归神经网络模型提出了部分注意力3。实验设置和数据集介绍了部分的详细信息4。结果和详细讨论部分所示5。部分6是结论。
2。相关的工作
左心室研究的最终目标是获得结构和功能参数的准确识别和诊断心脏疾病。这些参数可能是一个低水平的心肌和空腔区域,区域墙厚度,和空腔尺寸,或者高水平的收缩体积(ESV),舒张卷(类别),把分数(EF)。大量的左心室量化方法在过去的几十年里,已报告,主要可分为2类:有效方法和回归方法。
2.1。有效的方法
在实际临床医学,医生通常通过手动的边界轮廓线获得可靠的量化心肌,耗时,不利于诊断自动化(2]。此外,手动轮廓容易内部和interobserver可变性。因此,研究自动分割方法进行了,其中大部分集中在左心室的分割基于数学计算或深度学习的方法。这是因为每一帧的所有片可以量化细分后根据辛普森法则。
2.1.1。分割基于数学计算
分割基于数学计算则勾勒出endo -和/或心外膜的边界在心脏的所有帧序列根据左心室的形状特征。然而,为了增加鲁棒性和准确性,大多数数学分割需要先验知识,有问题的假设,或用户交互13- - - - - -15]。
2.1.2。深上优于分割
大量的研究一直致力于深度上优于分段自AlexNet模型获得显著的分类精度ImageNet大规模视觉识别的挑战在2012年(16]。深上优于细分为左心室与深度学习技术的发展在不断细分。CNN的代表方法包括4,5,17),滑动窗口(18- - - - - -20.),全连接网络(6,21- - - - - -23],U-Net [7,8,24),和3 d卷积(25- - - - - -27]。
只要完成心脏中的所有帧序列的分割,结构和功能参数可以根据核磁共振参数计算和固定方法如辛普森法则。然而,许多数学为基础的细分需要先验知识或用户干预,而深上优于分割需要大量的训练样本。每个像素的样本需要标记获得鲁棒性和良好的结果。
2.2。回归方法
为了减少大量乏味的标签和用户干预工作,许多研究跳过分割过程,然后直接获得心脏回归根据提取的特征参数的心脏核磁共振成像。两种回归方法可分为基于单独手工功能和自动深度学习功能。在早些年,几乎所有的直接回归方法提取手工功能回归心脏参数由于计算能力的限制。这些方法通常遵循一个共同的两阶段框架:心脏图像表示和指数预测。首先,心脏图像通常是由手工制作的特性或功能通过无监督学习,比如Bhattacharyya系数之间的图像分布(28,29日)、外观特征(30.),多个低级图像特征(31日),以及从多尺度卷积深层信念网络特性32),和监督学习描述符33]。然后,心脏指数估计这些特性与一个单独的回归模型。
自2012年以来,随着深度学习技术的发展,基于自动深度学习的回归特性引发了一个令人印象深刻的研究努力,有前途的表演和广度的技术(4,6,10,30.,32,33]。以其独特的端到端功能,管道简单,和没有信息丢失,回归基于自动深度学习越来越青睐的研究人员。在本文中,我们遵循这一趋势,开发一个端到端的框架直接量化左心室指数没有细分。
3所示。方法
该模型包括三个模块紧密集成。首先,深卷积神经网络DenseNet用于心脏图像(帧)表示,然后一个encoder-decoder结构使用格勒乌构建块部署心脏序列的时序动态建模。强调当前的贡献输入框,一个关注模型添加到译码器网络。encoder-decoder模块的输出被送入左心室指数估计的多任务学习模块。
3.1。框架和问题公式化
拟议的框架的概述图所示2。为了更好的描述问题,我们使用 代表整个数据集和左心室指数表示 ,在哪里 表示主语和 表示框架。而是一个二维向量描述心肌的面积和左心室腔,是一个三维向量描述三维左心室腔,然后呢是一个六维向量描述了六个区域壁厚方向。然后,该框架可以描述为一个输入回归问题 和输出 。也就是说,连续帧 在当前帧之前用来预测当前帧的指标 。为输入 , 自心跳帧被认为是一个圆形的序列是一个循环的过程。根据这一观点,将被替换如果 ,在这= 20 DIG-Cardiac数据库上4]。提出了算法的算法描述1为了国家框架更清楚。
|
||||||||||||||||||||||||||||||
在拟议的框架中,编码器和译码器应用两层格勒乌到相应的输入序列。输入序列中的每个元素,每一层计算下列功能: , , , 。在哪里是隐藏的状态在时间吗t,是输入的时间吗t,是隐藏状态的层在时间t - 1或初始隐藏状态0,然后呢 是复位、更新和新门,分别。乙状结肠函数,是阿达玛的产品。
3.2。使用DenseNet空间特征提取
DenseNet,引人注目的优势,如减轻vanishing-gradient问题,加强功能传播,鼓励功能重用,大大减少了参数的数量,有优秀的捕获能力的空间特性。与ResNet相比, - - - - - -th层接收所有前层的特征图谱 ,作为输入来进一步改善之间的信息流动层: 在哪里 指的是生产的特征图的连接层0,…,−1。这鼓励功能重用整个网络和导致更紧凑的模型和一贯最参数有效的变体。在这项研究中,DenseNet提取空间特征用于每一帧。我们DenseNet在图2包含一个卷积层(conv1)从图像捕捉低级特征,三个DenseBlocks (DenseBlock包括一个瓶颈(0)和一个瓶颈(1)),和两个过渡层相邻密集的街区。表1列出了DenseNet网络的更多细节。
更好地解读DenseNet了解帧的特征映射(图3不同层的DenseNet可视化。第二卷积和激活功能映射层为每个DenseBlock第一瓶颈。从可视化,可以看出浅层可以保留轮廓和纹理等的详细信息。而挖的更深的层次,他们将提取更抽象的特性,这样我们可以了解他们的特性映射用肉眼。方便,卷积层从第一,第二,第三DenseBlock命名DB1Conv,DB2Conv,和DB3Conv。的过滤器DB1Conv从心脏帧捕捉低级视觉特征,如低频心室的心室的外观和质地。低级的特性DB1Conv作为输入,随后块(DB2Conv)提取更复杂的心脏信息结合低级特性。渐渐地,高频噪声和纹理被丢弃在这个过程。最后,详细的空间信息的特征图谱DB3Conv变得越来越模糊。相反,他们提取更抽象和更高层次的功能在每个当地从前面的特征图谱在训练过程。
(一)
(b)
(c)
3.3。时间信息编码和解码使用天鹤座和关注
心跳是一个连续循环的过程从收缩舒张。前一帧序列有利于当前帧的参数的评价。序列的造型,与LSTM相比,格勒乌更容易修改和不需要内存单元,从而导致更少的培训时间与LSTM相同的性能。在这篇文章中,天鹤座用于建模的输入序列几个连续的帧。然后,模拟序列将解码来预测当前帧的参数。人类可以快速理解参数的趋势和输入序列和输出之间的关系用肉眼。然而,神经网络并不是那么直接自动检测这些关系。因此,关注机制集成到解码器通过梯度下降法和反向传播学习这些关系。图4介绍了解码过程和机制的重视。
4所示。实验和配置
4.1。数据集
我们的方法是评估在DIG-Cardiac数据库(4]。它由145年心脏MR图像收集从3医院隶属于两个医疗中心(伦敦医疗中心和圣约瑟的卫生保健)。受试者的年龄从16岁到97岁,平均58.9岁。MR图像的像素间距范围从0.6836毫米/ 2.0833毫米/像素,1.5625毫米的模式/像素。不同病理存在包括地区壁运动异常,心肌肥大,轻度扩大左心室、心房间隔缺损,左心室功能障碍。每个主题都包含 框架在一个心动周期。在每一帧中,左心室分为相等的三分之二(基底、midcavity和顶端)的长轴垂直于心之后,标准啊哈处方和代表midcavity切片选择数据库。所有的心脏图像进行一些预处理步骤,包括里程碑式的标签,旋转,ROI裁剪和调整。导致图像大约与80年一个维度80年。然后,这些心脏图像的轮廓线,手动获取心外膜及心内膜边界,由两名有经验的双重检查心脏放射学家(a .伊斯兰教和m .报告)。左心室的地面真值指数和心脏阶段可以很容易地获得两个边界。RWT的值和空腔尺寸归一化图像的维度,而规范化的区域像素数量(6400)。在评估期间,结果需要转化成物理厚度(毫米(mm)和区域2)通过逆转调整过程和乘以每个主题的像素间距。
4.2。实现和配置
我们的模型建立、训练和测试Pytorch [34]。神经网络训练通过最小化L1_Loss作为目标函数。随机梯度下降法用于优化目标函数。初始化模型Pytorch使用默认方法。也就是说,卷积层和线性层使用Xavier方法和随机采样的值初始化从均匀分布,分别。最初的学习速率 这是逐渐减少 在培训。动量是0.9和重量衰变 。在我们的实验中,5倍交叉验证用于性能评价和比较。数据集分为5组根据主题是从1到145的数字,每个都包含29科目。在每个实验中,四组是用来训练预测模型,和其余组用于测试。这个过程重复五次,直到所有对象的指标。模型训练在一个服务器上使用以下设置:CPU-Intel (R) (TM)核心i7 - 9700 k的CPU @ 3.60 GHz CPU(8),内存16384 MB的RAM, GPU-NVIDIA GeForce RTX 2080 Ti 11048 MB专用内存。的批量大小8和3输入帧的数量,需要20多个小时完成200时代的训练。
4.3。评估标准和数据转换
4.3.1。评估标准
拟议的框架是评估的平均绝对误差(MAE)和地面实况和预测之间的系数。即对所有帧在心动周期中,美和为每个左心室指数系数计算。美和系数计算根据方程(2)和(3)。最后美和系数是由所有帧的平均测试科目: 在哪里 和 。
4.3.2。数据转换
所提供的值Rwts,会变暗,和区域在DIG-Cardiac数据库规范化值根据实际测量。这个初始值(OV)是利用训练和测试模型。之后,输出值转换为物理测量(PM)来评估该方法根据数据库规范。为区域公式如下:
为会变暗和Rwts公式如下: pix_spacing哪里的原始像素间距(mm)图像和ratio_resize_inverse先生比反向DIG-Cardiac数据库提供的调整过程。6400年和800年正参数中使用的数据库。
5。结果和分析
5.1。绩效评估的方法
后5倍交叉验证实验中,多个指标的预测结果如表所示2。在实验中,参数SeqLen是设置为3小的计算效率。学模型可以预测指标对每一帧。的平均美区域,昏暗的,和Rwt是209.74毫米2、2.48毫米和1.57毫米。值得注意的是,这些指数的最大值区域,昏暗的,和Rwt在DIG-Cardiac数据库达到4936毫米2分别、81.0毫米和24.4毫米。良好的性能是由于格勒乌,有能力提取特性和保持更多的时间特性或变化趋势。帧序列的时间特性和空间特性有利于预测当前帧的改进。
5.2。比较与SOTA和其他基线
我们的框架提供了竞争的结果相比,SOTA(见细节表3)。的美昏暗的略低于SOTA。此外,我们的方法比SOTA显示更大的灵活性,因为前者可以预测指标逐帧和支持任意数量的输入帧,而后者只能预测指标的所有帧输入整个帧序列,从而导致框架的调整当MRI片有不同的帧数。验证时序建模的有效性和注意力机制,一个基线工作是开发并与拟议的框架。在基线,时序建模是完全丢弃,只使用DenstNet为每一帧提取空间特征。提取的功能是用来预测左心室指数每一帧。为了便于描述后,基线是SpaNet表示,这意味着只有空间特征提取每一帧。表3给出了详细的实验结果为基准模型,SOTA,而且提出了框架。从表中可以看出,该方法大大优于基准模型。其原因可能是颞造型提供了更多信息,补充空间特性和注意力机制使得模型专注于最歧视的部分输入。
6。结论
在我们的研究中,定量左心室指数的开发框架。和框架不仅保留了空间信息对于每一帧使用DenseNet还保留提取时间信息的编码特性的连续帧数使用格勒乌。更重要的是,要有效地映射的输入输出,基于格勒乌的译码器设计与关注。最后的表现是通过输入编码时间连续帧,每一帧的特征。进一步,竞争的结果可以获得使用5倍交叉验证DIG-Cardiac数据库SOTA一样。但是我们的方法预测左心室指数帧而SOTA预测指标毕竟框架进行了分析。因此,我们的方法更灵活,因为它支持任意数量的帧输入。我们坚持再帧序列更有利于左心室量化。更多的实验将在未来完成工作作证的影响不同的帧序列长度的性能指数预测左心室。
数据可用性
DIG-Cardiac数据库用于支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作由重庆市自然科学基金支持,中国(批准nos. cstc2019jcyj-msxmX0487和cstc2019jcyj-msxmX0544)和美国国家科学基金会(批准号61702063)。作者也承认中国奖学金委员会的支持(批准号201808505123)。