软组织和骨分解使用非参数图像先验的常规胸片

文摘

背景和目的。放射科医生在胸片诊断肺部疾病时,他们会错过一些肺结节重叠肋骨和锁骨。双能减(DES)成像表现良好,因为它可以产生软组织图像,在胸部x线摄影几乎抑制骨组件的可见性结节和肺血管仍保持。然而,大多数常规x光机不具备DES函数可用。因此,我们提出了一个数据驱动的分解模型进行虚拟DES函数将一个常规胸片分解为软组织和骨骼图像。方法。对于一个给定的胸片,类似胸片与相应的DES软组织和骨骼图像从训练中选择数据库作为分解的范本。观察之间的对应字段胸片和原型解决分层次稠密匹配算法。然后,非参数先验的软组织和骨骼组件是由采样图像补丁从选中的软组织和骨骼图像根据相应的字段。最后,这些非参数先验集成到我们的分解模型,有效能量函数的迭代优化的再加权最小二乘方案(irl)。结果。一个数据集的分解方法评估经历DES摄影(503例),以及JSRT数据集。该方法可以产生软组织和骨骼图像实际产生的类似系统。结论。该方法可以显著减少骨结构的可见性在胸片和提高诊断显示潜力。

1。介绍

胸部x线摄影是一种广泛使用的诊断成像技术对肺部疾病,如肺结核、肺炎、肺癌,因为这种方法是便宜,通常可用,且相对安全。然而,上覆解剖结构,如肋骨和锁骨,胸片的阅读和解释困难放射科医生。这种不准确的分析可能导致严重的决策失误。研究表明,大约有30%的肺结节在胸片可以由放射科医生错过,而这些错过结节82%到95%的部分被肋骨和锁骨1]。因此,抑制胸片的肋骨和锁骨可能会有助于提高放射科医生的检测精度。

一个方法来减少视觉上的混乱的胸片上覆解剖学是DES成像(2]。DES摄影捕捉两片使用涉及两个x射线暴露在两个不同的能量水平。这些射线照片组合起来形成一个减法形象,突出了软组织或骨组件,如图1。软组织图像可以达到更好的可视化肺结节因为肋骨和锁骨隐身在这种方法。DES胸部x线摄影展览的许多方面优于常规胸片促进图像判读。然而,只有少数医院使用DES系统,因为所需的专用设备。

另一种方法消除或抑制骨组件在胸片图像处理技术,不需要专门的设备,DES。商业软件ClearRead骨抑制(原名SoftView)住在河边的技术是这样一个骨抑制胸片的工具。一个早期版本的MTANN(大规模训练人工神经网络)模型对肋骨铃木等人提出的抑制。3)是评估60胸片。Oda et al。4]发现rib-suppressed和原始胸片可以显著提高放射科医生的诊断性能的使用胸片仅检测肺小结节。抑制骨结构的胸片通过使用图像处理技术可以提高放射科医师性能的结节检测(5),以及计算机辅助结节的性能检测(CAD) (6]。前骨抑制方法通常可以分为两类:监督和非监督方法。监督方法治疗骨镇压在胸片回归预测问题,和解释变量是由DES的训练数据集训练或优化评估软组织或骨骼图像(3,7,8]。然后软组织图像重建使用回归量的输出与当地的图像特性的直接输入或输出减去胸片的回归量基于回归量的预测目标。然而,在监督方法,只有地方特色和信息输入的胸片可以用来预测软组织或骨骼图像。骨的无监督方法抑制不需要的训练集,但这些方法需要分割和边界位置的骨结构作为中间结果9,10]。bone-free图像重建的梯度图像的盲源分离方法或修改根据中间结果。无监督的有效性方法高度依赖分割的准确性和骨结构的边界位置。

不同于以前的方法抑制骨的胸片,我们提出了一个监督方法治疗软组织分离组件从骨组件作为一个图像分解问题。我们试图用整个胸片和先验知识的信息包含在数据集的DES射线照片来推断软组织和骨骼图像。单个图像的分解是高度不合适,和之前的有效或正则化是一个关键因素,获取合理的分解组件。一般的图像先验,如平滑(11和稀疏12,13),太一般实施有效约束的解决方案软组织和骨骼图像。考虑软组织和骨骼的视觉特征图像,这些图像是明显不同于其他解剖位置的图像或模式。软组织图像也明显不同于骨骼图像,以及从自然纹理图像。因此,我们需要构建特定的先知先觉的软组织和骨骼图像分解。灵感来自她的工作和刘14),我们构造的非参数先验的软组织和骨骼图像核密度估计的框架。这些非参数先验贝叶斯最大后验(MAP)集成到一个模型来估计软组织和骨骼图像对于一个给定的胸部x光照片。

非参数估计的概率密度的关键问题是样本选择。假设如果本地特性的补丁结束时胸片是相似的解剖位置,相应的补丁在软组织和骨骼图像也应该是相似的。我们可以搜索最近的邻居不明的补丁在软组织和骨骼图像块之间的相似性在胸片。取样的一个简单的方法是建立一个大数据集的补丁三胞胎(补丁在同一空间位置的胸部x光和软组织图像,和骨骼图像),然后搜索最近的邻居每个补丁在给定胸片选择相应的补丁的软组织和骨骼密度估计的样本。数据集的大小的补丁三胞胎应该大到足以准确的密度估计。然而,一个非常大的数据集将会导致一个巨大的计算成本的最近邻搜索每个补丁,对胸片和空间布局的信息会被完全忽略。更有效的方式来找到最近的邻居两幅图像之间的补丁是稠密匹配算法,如筛选流(15],PatchMatch [13),和可变形的空间金字塔(DSP)匹配(16]。类似补丁两图像之间的对应关系可以表示为密集的相应的字段或加权字段。稠密匹配算法可以使用空间平滑之前相应的字段来加速搜索最近的邻居的图像补丁。相应的字段的平滑可以确保隐式或显式地,这是重要的补丁,获得更为合理的匹配。在当前的研究中,分层次稠密匹配算法来解决相应的字段通过集成DSP和PatchMatch算法。

给定一个大数据集的DES射线照片,可能出现另一个问题关于图像的有效子集的选择估计先验的范本。匹配一个给定的胸部x光胸片的所有训练集将耗时。为了缓解这个问题,我们选择了几个最相似的图像给定胸片的范本。之间的相似性定义的图像是基于他们bag-of-words(弓)直方图的快速搜索和选择。其他问题的分解方法,如胸片正常化和优化分解能量函数,也解决了。我们的方法可以产生分解的结果产生的类似真实的系统。

2。方法

2.1。图像数据

在这项研究中使用的图像数据收集从两个数据集。第一个数据集包括503经历DES胸部摄影获得DES系统(革命XR / d, GE)在南方医院,广州,中国。两个风险敞口的x射线管电压120和60千伏。胸片的大小不等 像素 像素,像素尺寸范围从0.191毫米到0.195毫米。DICOM格式图像存储与一个16位的深度。第二个是放射技术的日本社会公开(JSRT)数据集。JSRT数据集包括247标准经历胸部影像学图像,其中154包含一个肺肺结节图像,而剩下的93张图片没有肺结节。结节直径范围从5到60毫米,和非常聪明的强度随几乎看不见。所有的照片都扫描从胸部平片(大小: 像素,像素大小:0.175毫米)。

我们收集了503例DES胸片从第一个数据集。403例随机选择构造训练集,剩下的100例被认为是验证集。每个DES图像三胞胎在我们收集的数据集包括一个标准CXR(用 ),DES软组织图像(用 ),和DES骨骼图像(用 )。考虑到复杂的非线性原始图像数据的后处理,关系 不是最终满意。建立我们的分解模型,我们需要处理DES图像为严格的骨头组件和软组织组件为了满足 。梯度在骨的组件得到转换后的梯度场的使用交叉投影张量(17从 。骨组件在最终重建从通过2 d集成。相应的软组织组件可以获得的 。最后,我们构建了一个包含标准DES CXRs训练集,处理过的DES软组织和骨图像。图像的空间分辨率是0.25和0.3的新因素和裁剪矩形集中在图像的大小 像素。处理过的训练集的一个例子是图所示1。在图1,您可以看到,对比增强在DES软组织图像比原始处理。骨组件可以看到更清晰的处理DES骨头比原来的形象。为了方便起见,DES处理软组织和骨骼图像被认为是以下的DES图像。

2.2。该方法的概述

图2概述了分解标准的胸片使用该方法。数据库图像的三胞胎(胸片和相应的软组织和骨骼图像)的DES射线照片提前已经建立。给定一个标准胸片作为输入,软组织和骨骼组件然后产生以下基本步骤:(1)从数据库中搜索和找到原型的DES射线照片根据相似性表示输入的胸部x光胸片在数据库中(2)解决密度之间的对应字段的输入图像和胸片范本使用稠密匹配算法(3)构建exemplar-based非参数为未知的软组织和骨骼图像先验(4)优化一个能量函数和推断软组织和骨骼组件下贝叶斯映射框架

分解一个胸部x光的框架类似于她和刘提出的方法14)用来解决面对幻觉问题。幻觉或超限分辨图像可以被视为一个图像恢复丢失的高频分量的问题需要恢复原始图像。然而,一个图像分解问题是病态的和更加困难比脸超限分辨幻觉和图像。她和刘的方法不能直接应用到任务分解的胸片。我们需要建立分解模型,开发原型的有效选择策略和密集的大型图像匹配算法,并设计有效的优化算法分解模型的能量函数。

2.3。贝叶斯框架分解的胸片

我们表示分解胸片的贝叶斯推理框架地图。给定一个胸部x光 ,目标是找到一个软组织图像和骨骼图像最大化后:

假设骨图像和软组织的形象是独立的,那么 在哪里和概率密度函数(图像先验)软组织和骨骼的组件,分别。的似然函数 表达了观察到的胸片和分解之间的兼容性软组织和骨骼组件。考虑到我们预期的胸部x光照片被分解为 表示为 在哪里是一个调整系数和是归一化常数 一个有效的分布。

2.4。Exemplar-Based非参数图像先验

成功分解胸片的关键是有效的图像先验和 。正如前面讨论的,一般的图像先验不能适用于分离软组织组件从骨组件。我们形成了非参数先验从数据库的实际射线照片。数据库中的图像三胞胎被表示为一组 。软组织图像的概率密度核密度估计的形式可以写成 在哪里 是一个内核函数测量之间的相似性和 , 是归一化因子,是一个相应的字段代表之间的对应pixel-to-pixel吗和 。使用相应的字段 ,图像补丁的关系建立了对齐和 。例如,一个图像块为中心在(表示为 )对应于图像补丁为中心 在(表示为 )。

如果采用高斯核密度估计的核函数,之前可以制定 在哪里是一个hyperparameter。同样,前可以写成

当有许多样品(例如,大)在图像数据库中,它将是非常昂贵的构造先验(和不必要的)和使用所有样本。为了缓解这个问题,一小部分样品应该选择在图像数据库中作为范本。上面的先验估计使用选定的样本被视为exemplar-based先知先觉。搜索和选择方法的原型并解决相应的字段将在以下部分描述。

2.5。预处理和地方特征描述符的胸片

由于收购条件的差异和病人,密度和对比度变化在不同的胸片,获得的x光数字放射显影术(博士)或计算射线照相和DES系统。这些差异可能会影响图像特征的相似性。对比正常化的预处理步骤实现胸片的一致性是必要的。我们采用引导图像滤波器(18)提高结构细节和规范化胸片的对比。

引导图像滤波器是一个edge-preserving平滑滤波器,这是有效的和有效的在许多计算机视觉和图形应用程序。引导图像滤波器的原理是输入图像过滤通过利用结构指导指导图像形象。维护结果,输出图像的整体特征和梯度输入图像时,图像输入图像作为指导。对于一个给定的胸部x光照片 ,平滑图像的引导图像过滤器与一个大半径(例如,40像素)作为基本层 。细节层是 。胸部x光照片是归一化 在哪里和强度的平均值和标准偏差 ,分别。是归一化 。考虑到骨骼图像,而在大规模均匀,骨的基础层图像非常均匀。实际上,基本层几乎是相同的,相应的软组织形象吗除了全球强度抵消。因此,软组织图像规范化一直是方程(7没有结构细节的损失 在哪里强度指的是和是归一化 。和骨骼图像是归一化 在哪里强度指的是和是归一化 。通过这种方式,胸片表现出一致的与增强的细节,和的关系 也是维护之间的归一化图像。规范化软组织/骨图片的使用提出了归一化过程可以很容易地恢复到原来的形式,和相应的胸片的细节增强。

在我们建议的系统中,图像表示和相应的图像补丁高度依赖当地的特征描述符。理想情况下,描述符应该高辨别力和图像变换不变性。然而,没有一个密度的局部描述符可以很好地实现这两个目标。我们结合三种密度描述符来描述当地的特性和胸片的上下文信息。第一种描述符小原始图像补丁(例如, 补丁)。原始图像补丁包含重要的(规范化)强度信息。第二种描述符展品的反应修改Leung-Malik (LM)滤波器组19]。修改后的LM滤波器组由六个方向的高斯函数的一阶和二阶导数和四个尺度导致共有48个过滤器,一个拉普拉斯算子的高斯滤波器和一个高斯滤波器。滤波器尺度范围从1到32像素。50维过滤器银行反应正常化韦伯定律,可以获得小的信息结构和大型结构。第三种描述符密集的筛选(尺度不变特征变换)描述符20.),提取描述图像局部结构和编码上下文信息。对于每一个像素的图像,其附近(例如, 块)是分裂的 单元阵列。每个单元中的梯度取向是量子化的八进垃圾箱中。获得致密筛选描述符 维。合并后的描述符是277 ( )维。最后,我们组三种描述符的不同体重因素来平衡他们的贡献和降低综合的维度描述符通过主成分分析(PCA)减轻计算负担。

2.6。搜索和选择从图像数据库原型

快速搜索类似的图片为一个输入图像从一个数据库可以通过比较执行的全球表示图像。我们使用弓(图像表示21]随着全球胸片的表示。弓的图像表示类似于文本文档的鞠躬表示,这使得文本检索技术容易适用于图像检索的问题。弓模型首先需要构建一个包含视觉单词的电报密码本(集群中心)聚类不变量描述符在给定的训练数据集,然后需要一个输入图像的局部描述符将矢量量化对这些视觉单词。给定一个电报密码本,一个图像表示为直方图由每个视觉词出现的次数采样图像的局部描述符。在这项研究中,所产生的局部描述符的电报密码本 - - - - - -意味着集群。自从胸片的区别是微妙的,需要一个相对较大的电报密码本。为了进一步提高弓直方图描述能力,采用空间金字塔模型将图像的空间信息(22]。具体来说,空间金字塔包括两个层次:整个图像(0级)和四个矩形网格细胞(1级)。整个图像区域的弓直方图和四个亚区集中在全球的胸部x光照片。

让表示元素集中的直方图 。两幅图像的图像相似性度量和在图片搜索阶段可以被定义为直方图相交: 的最大是5000。这种相似性测量指的是一种近似的匹配的局部描述符之间的两个空间层次的两个图像。其他直方图相似性或距离如挖土机的距离也可以使用(23]。顶部最相似的胸片与相应的软组织和骨骼图像数据库中的一个给定的胸片的相似性度量(方程(10)被选为先验估计的范本。

2.7。分层次胸片的稠密匹配

在方程构造先验(5)和(6密度),我们确定了相应的字段和匹配的像素之间的输入和选择原型的胸片。与传统的稠密匹配问题,如立体声或非刚性的interpatient登记,两张图片包含相同的场景或对象,我们试图密集匹配intrapatient胸片包含不同场合和不同对象的形状。胸片变化可以匹配的低级图像补丁模棱两可。

为了解决密集匹配问题,提出了几种稠密匹配方法通常执行外观协议都匹配的像素和相邻像素之间的几何光滑,如筛选流(15和变形空间金字塔(DSP)16]。筛选流依赖进行像素级的马尔可夫随机场(MRF)模型与层次优化技术。DSP匹配使用金字塔图模型,同时优化匹配一致性从整个图像粗网格细胞,每一个像素。通常,DSP速度比筛选因为DSP只优化磁流变液能量流动在粗糙的水平直接本地搜索进行像素级层。然而,DSP使用downsampled粗网格细胞的局部描述符可能导致错误的匹配,不能纠正在以下本地搜索。PatchMatch算法计算密度快速通讯用另一种方式(24]。为了提高效率,该算法放弃执行显式的全局优化平滑在邻近的像素。相反,它逐步搜索对应随机搜索技术;可靠的匹配在随后一个像素指南的匹配位置附近的像素,从而隐式地执行几何光滑。自PatchMatch算法只能确定一个局部最优,因为随机搜索和该领域的传播策略,最后对应字段估计PatchMatch高度依赖于初始估计。PatchMatch算法也丢弃了先验知识在图像的空间布局,这是从一个完全随机初始化。

匹配两个图像应该确定最相似的地方特性(匹配)从一个图像每个像素的其他图像的几何约束。然而,有效的几何约束尚不清楚。直观地,胸片之间的显著的匹配应该密切的外观和应该同时位于同一个解剖网站。我们进行密集匹配的胸片分层的方式类似于DSP匹配但不需要的能量优化类似于PatchMatch算法。

输入胸片分为不重叠的矩形网格细胞,和数据库中的胸片分为重叠细胞与固定步长类似于DSP匹配算法。网格细胞之间的相似性定义为弓直方图的交集。网格细胞应该足够大(例如, 像素)估计的可靠分布视觉单词和识别他们的解剖网站。鉴于所有胸片表现出类似的空间布局的锁骨位于肺野的顶部和心脏位于左、右肺之间,寻找类似的网状细胞被限制在当地区域的1/4区域形象。通过匹配网格细胞,我们获得一个非常粗糙的对应字段 。使用与随机排列的初始估计相应的字段,我们应用领域传播和局部随机搜索PatchMatch算法改进相应的字段。更多的细节描述密度等级匹配的算法1。相应的字段的两个胸片发现提出了分层次稠密匹配和PatchMatch算法呈现在图3。显然,我们的算法可以实现顺畅的对应字段。相比之下,相应的领域解决了由于overrandomization PatchMatch算法缺乏一致性。

图3演示了一个可视化的对应字段由我们提出分层次密集匹配和PatchMatch算法。数据3(一个)和3 (b)显示两个规范化胸片稠密匹配的源图像和目标图像,分别。数据3 (c)和3 (d)说明相应的可视化领域由我们解决层级结构密集匹配和PatchMatch算法,分别。对应字段的数据3 (c)和3 (d)显示相同的颜色映射。

2.8。优化分解能量函数与Exemplar-Based先知先觉

地图软组织图像估计和骨骼图像可以写成 在哪里 在哪里和分别前的数据和条件。忽略了常数,我们获得的

之前在方程(14)可以被认为是诱导对映像级别的密度估计抽样。至于缀块取样、前一项可以新配方

与方程(14),方程的形式(15)是更加灵活,因此我们最终采用分解模型。类似地,我们可以修改之前 。

的梯度 关于和可以很容易和能量函数 可以最小化由梯度下降算法。然而,的梯度下降算法通常需要许多迭代收敛。我们提出了一个迭代再加权最小二乘(irl) [25]方案有效地最小化能量函数 通过生成一个序列 通过 重量在哪里

解决方案 可以通过求解以下线性方程:

自操作重新加权补丁到一个图像和只是一个对角矩阵,线性方程可以很容易地解决了element-wise。最初的解决方案和可以得到前两个条件的二次利用詹森不等式上界。

2.9。算法总结

建立数据库中的DES图像三胞胎表示为一组 ,预处理和标准化的节中描述的使用方法吗2.5。一个PCA投影矩阵为本地和描述符弓速率是学习样本的局部描述符从数据库。对于每个(规范化)胸部x光照片在数据库中,密集的局部描述符 ,空间金字塔表示 ,和条件的弓直方图计算使用和提前。

拟议中的分解过程的新胸部x光照片可以概括如下:

步骤1。预处理和标准化输入胸部x光照片根据方程(7)。让表示的基本层 。 和强度的平均值和标准偏差 ,分别。规范化是计算 。

步骤2。计算密集的局部描述符的通过使用主成分分析的投影矩阵 。

步骤3。计算空间金字塔表示和条件的弓直方图通过使用电报密码本 。

步骤4。选择顶部数据库中最相似的胸片的相似性度量(方程(10))的范本 。

第5步。解决密集的对应字段之间的和使用算法1对于每一个范例 。

步骤6。构造未知的非参数先验软组织图像和骨骼图像根据方程(5)和(6)。

步骤7。优化能量函数方程(12)使用irl方案,解决了软组织图像和骨骼图像 。

步骤8。重新调节软组织图像和骨骼图像 ,和补偿的基本层软组织图像年代作为 。

最后分解的结果输入胸部x光照片是和步中获得8。

2.10。实验设置

实验在PC与双核英特尔至强处理器(3.2 GHz)和16 GB的RAM。的实现进行了使用Matlab 2016 VLFeat工具箱(26]。

三种局部描述符的重量系数将达到相同的方差为每个维度的描述符。加快图片搜索和匹配过程,结合的维度描述符是利用主成分分析法(PCA)减少到60岁,而大约98%的变异的描述符是维护。鞠躬表示生成的电报密码本 - - - - - -意味着聚类样本的局部描述符从训练数据集。每个弓速率的大小设置为5000。码被用来计算弓直方图图像搜索和密度分层匹配。进行分层次稠密匹配算法、大小次区域的设置 像素,和对应字段的迭代次数,传播和局部随机搜索设置为5。抽样补丁的大小实际构建先验的软组织和骨骼图像设置为 像素。

我们使用case-wise过程构建exemplar-based先验和评估性能的分解结果。顶部最相似的情况下测试胸片中训练集被选为范本。的最大价值在实验设置为7。

图像分解,能量函数的四个参数,即 , , ,和原型的数目 ,被认为是。的范围(10⁻¹到10⁶),而的范围(10⁻⁶0.5]。被设置为 。一个大的价值会导致数值问题。不同参数的影响研究在以下部分。分解过程的平均计算时间使用实现实现135.8秒当范例图片选择的数量是5。大部分的计算时间是花在分层次稠密匹配的阶段,这是依赖于图像的大小和数量的选择的范本。

软组织和骨的分解性能定量评估使用以下措施:根均方误差(rmse)是用来评估软组织的重建误差估计/骨图像相对于实际(规范化)软组织或骨骼图像,定义为 在哪里软组织和骨重建的图像,相应的“地面实况”的形象,表示像素位置 ,和是图像中像素的数量吗 。较小的rmse值表示一个更好的估计地面真理。骨质量的抑制也评估使用骨抑制率(bsr)被定义为(10] 在哪里是一个估计的实际软组织形象吗和是测试胸部x光照片。 表明完美的表现。

如果骨组件被视为一种结构性噪声,然后骨抑制过程的胸部被认为是去噪或过滤。一个众所周知的去噪性能测量称为结构相似图像(ssim) [27)也可以用来评估的质量分解软组织和骨骼图像。图像的强度范围新到的范围(0到255),和默认设置参数的实现(https://ece.uwaterloo.ca/ z70wang /研究/ ssim /)的ssim用于计算ssim的值。

3所示。实验结果

3.1。Hyperparameters效果

我们不同的四个参数的值 , , ,和调查的影响,以确定正确的设置。图4显示了平均分解性能的措施不同与固定( )和固定( )。描述的范例图像被选为分段2.5。时的值大,能量函数的优化往往做出实质性贡献的数据项的分解图像。我们观察到,大导致更好的分解的三个性能的措施。然而,当参数变得非常大,分解结果可以非常随意的和毫无意义的,因为之前忽略的使用条款。一个合适的值根据实验结果是100。

图5显示了平均分解性能的措施不同与固定( )和固定( )。从图5,我们观察到的低价值和导致更好的分解。事实上,log-sum-exp函数的优化往往平均每个职位的匹配的补丁和有一个较低的值。的价值和增加,log-sum-exp函数的优化更紧密地接近最小操作和分解的图像看起来更清晰。然而,log-sum-exp功能的大值或还将介绍构件在分解图像和结果差分解的性能。基于这些结果,参数和被设置为100,10⁻⁵在随后的实验中,分别。

原型的数目是另一个关键参数分解性能。图6表明,分解性能明显改善通过增加数量的范本。然而,图像匹配和能量优化的计算成本将成倍增加,许多原型之前被用来构造条件。如图6性能的改善是相对较小的,原型的数量/ 5。原型的数目将5在后续实验中如果没有指定。

分解结果说明在人物的一些示例7- - - - - -10。数据7和8可以放大并在屏幕上看到一个更好的比较。我们观察到肋骨和锁骨大幅抑制和软组织的可见性是维护在重建软组织图像。视觉上,重建软组织图像和实际图像是相似的。比较重建骨骨图像与实际图像,一些骨骨更模糊的边缘,边缘是软弱的观察胸部x光照片。在图8,典型的运动构件在实际DES骨图像观察。我们的分解方法可以减少运动工件在某种程度上,如图8 (d),因为采样加权平均的平滑效果的补丁。实际的使用DES软组织和骨骼图像运动工件的地面真理可能会导致高估了重建误差。数据9和10展示分解结果的示例使用不同数量的范本( ,3和5)。视觉改进估计的软组织和骨骼图像观察到当使用更多的范本。一些块工件可观测到的重建软组织和骨骼图像使用更少的范本。这些块工件生成,因为不同的补丁的范例胸片输入胸片或一些补丁的补丁之间的不匹配。选择类似的图像作为范本或使用更多的范例图像可以确保每个补丁在输入胸片有一些范例图片和类似的补丁可能减少块工件和重建误差。如图9 (c),重建软组织图像非常类似于相应的DES软组织图像如图9 (d)相应的胸片和骨头组件图所示9 (e)是大幅抑制。事实上,数据之间的ssim指标9 (c)和9 (d)是0.915。高ssim指数表明,大部分的结构和地面实况图像的细节都包含在重建图像。比较图9 (c)与图9(一个),骨组件图9 (c)抑制比这更完全图吗9(一个)。分解骨骼图像如图10 (c)看起来更清晰的相比,在图10 ()用更少的范本,这看起来有点凌乱。范本,重建骨骼图像显示清晰的肋骨边缘和更类似于DES骨图像如图10 (d)。

我们使用我们的分解方法来处理胸片JSRT数据库中最常用的数据库胸片的计算机辅助检测和处理技术(28]。自对应的地面实况JSRT的软组织和骨骼图像数据库是未知的,提供的公开可用骨抑制结果Horvath) (28)使用梯度修正方法被用来定性相比之下,我们的方法的结果。图11显示了两个胸片的分解结果JSRT数据库。视觉上,重建软组织图像的方法更自然。当它接近胸部边缘,软组织图像梯度重建的修改方法产生明显阴影。这两种方法的优点和缺点。梯度的结果修改方法依赖于分割的肋骨和锁骨,这可能会对胸片的购置设备的类型。然而,骨骼的阴影,不分段,不能被删除。我们的方法的结果取决于胸片的外观。即使JSRT数据库中的图像扫描电影和DES范例的数量是有限的,我们的方法在大多数情况下也可以很好地工作。

3.2。地图分解与局部加权回归

与分解方法,最小化能量函数的地图使用exemplar-based术语之前,一个更简单和直接的方法评估软组织和骨骼图像加权回归,这是类似于标签转移(29日]。考虑到采样补丁 从范例图像基于相应的领域最近的邻居,一块软组织或骨骼图像可以通过局部加权回归估计 ,的重量定义基于局部描述符的匹配误差。局部加权回归的结果可以被认为是最小均方估计的软组织或骨骼图像补丁。整个软组织和骨重建图像是由重新安排所有的估计补丁。局部加权回归方法类似于资讯提出的回归方法(7]。主要的区别是资讯的搜索方法和局部描述符使用。

绩效指标的平均值和标准偏差映射分解和局部加权回归表中列出1。从表中所示的结果1,我们的方法明显优于局部加权回归。计算rmse规范化软组织和骨骼图像。地图分解方法产量较低的rmse和骨抑制率高于局部加权回归。的值ssim软组织重建图像的两种方法是0.927和0.846,分别。高ssim表明DES软组织图像中的细节结构由两种分解方法保存。由于软组织图像的强度变化明显大于骨图像,重建骨图像的ssim低于ssim软组织的重建图像。

一个胸部x光的分解结果通过使用映射模型和局部加权回归方法如图所示12。软组织图像映射和骨骼图像重建的模型图12视觉上更接近地面真理比局部加权回归方法。和重建错误(rmse)软组织图像映射模型和局部加权回归估计的0.41和0.44,分别。实际上,地图的优化能量函数与数据项往往满足约束条件 和利用更多的信息输入胸片减少重建误差和生成更高的保真度的结果。相比之下,局部加权回归不能确保绝对可以最小化。因此,局部加权回归只能屈服软组织和骨骼图像估计比地图分解。

4所示。讨论

之前在我们的地图分解模型,呈现在log-sum-exp格式条款。对于小的参数值或 ,之前的条款可以被认为是平均的近似函数图像块之间的二次错误。从实验结果中,我们观察到的小值参数或可能会导致更好的分解结果的胸片的三个性能的措施。的最优值和可以依赖的数据集和性能的措施。有趣的是调查前一项的其他形式使用其他内核函数密度估计或健壮的损失函数作为先验条件分解。结合exemplar-based先知先觉,一般的图像先验,如全变差(11和稀疏30.),将有助于进一步提高分解模型。此外,一些改善图像质量的方法可以被认为是进一步提高算法的性能,比如卷积网络处理(31日],模糊相似性方法[32),和稀疏coding-based处理(33- - - - - -35]。

我们的方法的基础是DES射线照片的数据库,用于估计图像先验。从理论上讲,估计精度的图像先验概率取决于样本(补丁)。然而,即使软组织和骨骼组件通过使用DES系统不能完全分开。此外,一些运动构件存在的软组织和骨骼图像two-exposure DES的心脏运动和呼吸。软组织和骨骼组件也没有成功地分离运动工件的地区。在这项工作中,我们获得了足够的DES射线照片从南方医院,广州,中国,这是有用的,类似的补丁,补丁的源胸部图像可以发现在训练集的选择原型更多的可能。从实验结果,大(数据项)的重量会导致更好的分解的三个性能的措施。分解性能数据项有实质性的贡献,和地图分解模型是有效分离的骨头的胸片图像。但这并不表明之前的条款并不有助于分解自分解结果可以非常随意,之前没有意义的术语。实际上,分解软组织图像和骨骼图像只倾向于满足约束条件 当参数变得非常大。

我们的方法的一个瓶颈是大型计算成本之间的稠密匹配主要是因为胸片。虽然局部描述符和弓直方图的图像在数据库离线计算和恢复,我们的方法的运行时间(135.8 s /形象 像素)仍超过MTANN回归(1.63 s /形象 像素)。实际上,随着卷积神经网络(CNN)的普及,我们也提出了一个级联结构的CNN(称为CamsNet) (36改善我们的地图模型的结果和达到一个更好的结果。

分解的最终目标或骨镇压胸片是提高放射科医生在诊断肺部疾病的表现。但这不能直接实现终极目标。考虑到DES的有用性软组织图像已经证明,我们的分解方法旨在生产分解结果类似于DES软组织和骨骼图像。重建一个很小的错误(例如,rmse)和一个非常高的骨抑制率可能表明间接有用的分解结果。然而,保护信息的异常区域,提高结节的对比是很重要的。地图数据(fidelity)项分解模型可以提供一个权衡平衡结构保存和平滑。它将有助于整合一些一般性的图像先验,如全变差、稀疏,或低军衔骨图像与地图模型。分解骨骼图像平滑,和更多细节的输入能够保持胸部的分解软组织图像。结节的检测能力分解软组织图像可以进一步提高设计分解能量函数使用一个特定的异常检测的概率或优化的局部描述符在异常地区减少图像补丁的不匹配。和一个更具体的结节检测算法还应该为分解开发软组织图像。 Furthermore, the usefulness of our decomposition results for improving the performance of radiologists in diagnosing lung diseases will be investigated in the future.

5。结论

我们提出了一种分解方法,胸片使用exemplar-based非参数先验的软组织和骨骼图像。使用真正的DES射线照片作为原型的胸部x光分解、软组织和骨骼图像的非参数先验估计的样本图像补丁,而采样基于稠密匹配的胸片。将非参数先验集成到一个映射模型,软组织和骨骼图像重建通过最小化能量函数和提出有效的优化算法。我们的方法可以生产软组织和骨骼图像像真正的DES系统只需要一个单一的常规胸片作为输入。实验合成DES射线照相和JSRT数据库显示,我们的方法可以用来抑制胸片的骨骼结构,这将是潜在有用的放射科医生在胸片诊断肺部疾病。

数据可用性

在这项研究中使用的图像数据收集从两个数据集。经历的第一数据集包括DES胸片收购DES系统(革命XR / d, GE)在南方医院,广州,中国,所以不能免费提供。第二个是放射技术的日本社会公开(JSRT)数据集。

的利益冲突

作者没有相关利益冲突的披露。

作者的贡献

Yunbi刘和杨魏的贡献同样这项工作。

确认

这项工作得到了国家自然科学基金资助的中国没有。61471187),广东省自然科学基金(没有。2015 a030313280),广东省重点实验室医学图像处理(没有。2014 b030301042),广东省Industry-University-Research合作项目(没有。2013 b090600139)。这项工作也是部分由国家支持的重点项目的研究和发展计划(2017年2017 yfa0104302 2017 yfc0107900, yfc0109202)。

引用

1. p . k .沙j·h·m·奥斯汀c . s .白色et al .,“错过了非小细胞肺癌:影像学发现的潜在可切除的病变明显只回想起来,”放射学,卷226,不。1,第241 - 235页,2003。视图:出版商的网站|谷歌学术搜索
2. p . Vock和z . Szucs-Farkas双能量减:原理和临床应用”,欧洲放射学杂志,卷72,不。2、231 - 237年,2009页。视图:出版商的网站|谷歌学术搜索
3. 安倍k铃木h, h . mcmahon, k . Doi“图像处理技术抑制肋骨在胸片通过大规模训练人工神经网络(MTANN)”IEEE医学成像,25卷,不。4、406 - 416年,2006页。视图:出版商的网站|谷歌学术搜索
4. 铃木Oda, k . Awai k . et al .,“性能检测肺小结节的放射科医生胸片:肋骨抑制效果massive-training人工神经网络,”美国放射学杂志》,卷193,不。5,W397-W402, 2009页。视图:出版商的网站|谷歌学术搜索
5. f·李,r·恩格尔曼氏l . Pesce s . g . Armato和h . mcmahon”改进检测焦肺炎与骨抑制成像,胸部x线摄影”欧洲放射学,22卷,不。12日,第2735 - 2729页,2012年。视图:出版商的网站|谷歌学术搜索
6. 陈和k铃木“电脑检测肺结节的“虚拟双能“放射显影术,”IEEE生物医学工程,60卷,不。2、369 - 378年,2013页。视图:出版商的网站|谷歌学术搜索
7. m . LOOG b VANGINNEKEN, a . SCHILHAM”学习过滤:应用程序从胸片抑制骨结构,”医学图像分析,10卷,不。6,826 - 840年,2006页。视图:出版商的网站|谷歌学术搜索
8. t·拉希德b·艾哈迈德·m·a·汗·m·Bettayeb s . Lee, t·s·艾。金,“肋骨抑制额胸片:盲源分离的方法,”2007年9日信号处理及其应用国际研讨会,阿拉伯联合酋长国沙迦,页1 - 4,,2007年2月。视图:出版商的网站|谷歌学术搜索
9. g . Simko g·班、p . Maday和g .阅读“消除锁骨阴影帮助自动肺结节检测胸片,”4日欧洲会议的国际医学和生物工程联合会施普林格,页488 - 491年,柏林,海德堡,2009年。视图:出版商的网站|谷歌学术搜索
10. l . Hogeweg c。桑切斯,b . van Ginneken”镇压半透明的细长结构:应用于胸部放射显影术,”IEEE医学成像,32卷,不。11日,第2113 - 2099页,2013年。视图:出版商的网站|谷歌学术搜索
11. s . Osher a .唯一和l . Vese”图像分解和使用总变异最小化和恢复H¹”,多尺度建模和仿真,1卷,不。3、349 - 370年,2003页。视图:出版商的网站|谷歌学术搜索
12. a·莱文和y . Weiss,“用户辅助分离反射从单一使用稀疏先验图像,”IEEE模式分析与机器智能卷,29号9日,第1654 - 1647页,2007年。视图:出版商的网站|谷歌学术搜索
13. j .波宾J.-L。斯塔克,j . m . Fadili y的莫,d . l . Donoho”形态成分分析:一个自适应的阈值策略”,IEEE图像处理,16卷,不。11日,第2681 - 2675页,2007年。视图:出版商的网站|谷歌学术搜索
14. m . f .她和刘”,贝叶斯方法alignment-based图像幻觉,”计算机视觉——2012年大会施普林格,页236 - 249年,柏林,海德堡,2012年。视图:出版商的网站|谷歌学术搜索
15. c . Liu j .袁a . Torralba j . Sivic和w·t·弗里曼”筛选流程:密度对应不同场景,”计算机视觉——2008年大会页28-42 Springer,柏林,海德堡,2008年。视图:出版商的网站|谷歌学术搜索
16. c . j . Kim刘、f·沙和k .好莱坞“变形空间金字塔匹配快速密集的通讯,”《IEEE计算机视觉与模式识别会议波特兰,页2307 - 2314,或者美国,2013年6月。视图:出版商的网站|谷歌学术搜索
17. Raskar a . Agrawal r, r . Chellappa“边缘抑制梯度场转换使用cross-projection张量,”2006年IEEE计算机学会计算机视觉与模式识别会议(CVPR 06年),页2301 - 2308,纽约,纽约,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
18. k他、j .太阳和x,“引导图像过滤,”欧洲计算机视觉施普林格,页1 - 14,柏林,海德堡,2010年。视图:谷歌学术搜索
19. m . Varma和A . Zisserman”统计的方法从单一图像纹理分类,“国际计算机视觉杂志》上,卷62,不。1 - 2、61 - 81年,2005页。视图:出版商的网站|谷歌学术搜索
20. d·g·劳”独特的形象特征尺度不变的要点,国际计算机视觉杂志》上,60卷,不。2、91 - 110年,2004页。视图:出版商的网站|谷歌学术搜索
21. g . Csurka c .舞蹈,l .风扇,j . Willamowski和c·布雷,“视觉与袋的要点、分类”车间在统计学习计算机视觉,大会,1卷,不。22页,页1 - 2日,2004。视图:谷歌学术搜索
22. 美国Lazebnik、c·施密德和j·庞塞”外袋特征:空间金字塔匹配识别自然场景分类,”2006年IEEE计算机学会计算机视觉与模式识别会议(CVPR 06年),页2169 - 2178,纽约,纽约,美国,2006年6月。视图:谷歌学术搜索
23. y Rubner和c .预Texture-based没有分割,图像检索”《第七IEEE计算机视觉国际会议克基拉岛,页1018 - 1024年,希腊,希腊,1999年9月。视图:谷歌学术搜索
24. c·巴恩斯·e·谢赫特曼,d . b .高盛和a·芬克尔斯坦,“广义patchmatch对应算法”计算机视觉——2010年大会页29-43 Springer,柏林,海德堡,2010年。视图:出版商的网站|谷歌学术搜索
25. r·沃克和h . Schwetlick迭代地再加权最小二乘算法,收敛性分析和数值比较,”暹罗在科学杂志和统计计算,9卷,不。5,907 - 921年,1988页。视图:出版商的网站|谷歌学术搜索
26. a . Vedaldi和b . Fulkerson VLFeat:一个开放的和便携式计算机视觉算法,图书馆”18 ACM国际会议多媒体学报》上ACM,页1469 - 1472,纽约,纽约,美国,2010年10月。视图:谷歌学术搜索
27. z, a·c·Bovik h·r·谢赫和e . p . Simoncelli“图像质量评估:从错误的可见性结构相似,“IEEE图像处理,13卷,不。4、600 - 612年,2004页。视图:出版商的网站|谷歌学术搜索
28. 2013年g·霍法,http://www.mit.bme.hu/eng/events/2013/04/18/bone-shadow-eliminated-images-jsrt-database。
29. j . c . Liu袁,a . Torralba”筛选流程:密集的场景和应用程序之间的通信,”IEEE模式分析与机器智能,33卷,不。5,978 - 994年,2011页。视图:出版商的网站|谷歌学术搜索
30. 罗斯和m . j .黑”领域的专家,国际计算机视觉杂志》上,卷82,不。2、205 - 229年,2009页。视图:出版商的网站|谷歌学术搜索
31. w·杨,h·张,杨j . et al .,“改善低剂量CT图像使用剩余卷积网络”,IEEE访问5卷,第24705 - 24698页,2017年。视图:出版商的网站|谷歌学术搜索
32. 陈y, y, h .蜀et al .,“Structure-adaptive模糊估计random-valued脉冲噪声抑制,”IEEE电路和系统视频技术,28卷,不。2、414 - 427年,2018页。视图:出版商的网站|谷歌学术搜索
33. 杨y . j . Liu, j . et al .,“3 d功能限制低剂量CT的重建成像,”IEEE电路和系统视频技术,28卷,不。5,1232 - 1247年,2018页。视图:出版商的网站|谷歌学术搜索
34. j . j . Liu, y . Zhang et al .,“区别的特征表示改善低剂量CT成像,投影数据不一致”IEEE医学成像,36卷,不。12日,第2509 - 2499页,2017年。视图:出版商的网站|谷歌学术搜索
35. l . y . Chen,问:冯et al .,“工件抑制字典学习低剂量CT图像处理,”IEEE医学成像,33卷,不。12日,第2292 - 2271页,2014年。视图:出版商的网站|谷歌学术搜索
36. w·杨,y, y刘et al .,“级联的多尺度卷积神经网络骨抑制胸片的梯度域,“医学图像分析,35卷,第433 - 421页,2017年。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Yunbi刘et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。