文摘

腺的组织学评估是结肠癌分级的主要问题之一。考虑到低分化大肠癌腺无法准确分割,我们提出一个腺体在结肠癌的方法分割图像,基于流明和粗糙的腺边界的特点。首先,我们使用U-net污点分离获得H-stain, E-stain,背景染色强度地图。随后,上皮细胞核组织病理学图像,标识和腔体分割背景强度地图上执行。然后,我们使用最小的轴inertia-based相似三角形腔的空间特征和上皮细胞核和一个三角形会员是用来选择腺从上皮细胞核轮廓的候选人。通过连接腔上皮细胞核,更准确的腺分割执行基于粗糙腺边界。拟议中的污点分离方法是无监督的,染色分离使得类别信息)中包含图像容易识别和处理不均匀染色强度和不显眼的污点的区别。在这个项目中,我们使用深度学习达到染色分离系数预测的污点。深度学习的框架下,我们设计一个污点系数区间模型来提高染色泛化性能。另一个创新是我们建议的内部腔轮廓腺瘤和上皮细胞的外轮廓来获得一个精确的腺轮廓。 We compare the performance of the proposed algorithm against that of several state-of-the-art technologies on publicly available datasets. The results show that the segmentation approach combining the characteristics of lumens and rough gland boundary has better segmentation accuracy.

1。介绍

结肠癌可能是由于上皮(流明的血管、器官和表面组织),也称为腺癌(恶性肿瘤形成的腺上皮组织结构)(1]。它也影响细胞的分布和腺体的结构变化。病理学家能够准确检测小异常活检(2- - - - - -4]。

越来越受欢迎的组织病理学图像、数字病理检测问题提供了一个可行的解决方案。组织病理学图像分析可以帮助我们提取定量形态学特征,可用于计算机辅助癌症分级(5]。组织病理学是潜在疾病的薄片组织的固定在载玻片和染色显示特定的结构或功能的细节6,7]。用扫描仪扫描整个幻灯片,幻灯片的数字化图像,进行组织病理学适合图像分析(8,9]。

结肠组织病理学图像分析的基础是结肠病变的主要检测(10]。腺结构如图1(一个)。一个典型的结肠腺体组织病理学图像包含四个组织组件:流明,细胞质,上皮细胞和间质(结缔组织、血管、神经组织,等等)。内腔面积包围一个椭圆形结构称为上皮细胞(11,12]。整个结构由粗线为界,称为上皮细胞核。

在临床实践中,病理学家使用腺作为对象的利益,包括它们的结构形态和腺形成(13,14]。特别是,当执行自动化腺)图像分割,病理学家可以提取重要的形态学特征来判断预后和治疗计划个别病人(15]。数字阻碍腺组织病理学图像含有噪声和同质区域检测和分割。例如,Zoltan et al。16)开发两个诊断模块,一个用于腺检测,另一个用于核检测。在腺检测HSV颜色空间用于颜色分割和实验室,和腺体可以确定使用连接组件。由于组织准备协议差别很大,染色程序,和扫描特性,染色组织病理学图像正常化提供一个工具来确保效率和系统的稳定性。丹尼尔et al。17]使用标准化技术将每个通道的平均值和标准偏差的目标组织图像与模板图像通过一组线性变换在实验室中颜色空间。为了大量的彩色图像分割成有意义的结构,Banwari et al。18)提出了一种基于图像强度阈值方法。这些方法都是基于不同的组织结构和颜色差异和不适合分段附着腺体或腺体和基质需要复杂的校正算法来获得准确的结果。科恩提出的活动轮廓分割方法(19依赖于腺结构的特点。组织切片的厚度和污渍的衰落将导致组织图像的颜色分布的变化,和腺体腺模型不适合与不完整的腺的界限。上述传统方法主要用于腺体的外观特征和特性。外观特征是由细胞核,细胞质和上皮细胞。Sirinukunwattana et al。20.),雅各布斯et al。21),和其他人使用低级特征,如颜色、纹理、边缘,确定腺。轮廓特征是基于腺结构被上皮细胞所包围。Sirinukunwattana et al。22和傅et al。23]提出空间随机场模型分段良性腺的轮廓,但它不适合分段恶性和腺体病变。

深度学习的最新发展,它已成为可能的应用深度学习组织病理学图像。罗斯et al。24)提出了一个多层次深卷积神经网络用于自动化胰腺分割。Ronneberger et al。25)和其他人提出使用U-net组织病理学图像分割。深轮廓感Chen等人提出的网络。26)说明在腺分割轮廓发挥重要的作用。双平行分支深王等人提出的神经网络。27)结合轮廓和其他特性准确段腺体。此外,徐et al。28)提出了一个复杂的多通道融合区域和边界模式细分腺实例的监督。这个工作是扩展研究徐et al。29日),其中包括额外的信息来提高性能。Raza et al。30.)提出了一种多输入多输出网络(MIMO-Net)腺分割,取得了最先进的性能。上述方法需要大量的手工注释,但很难标签大量的组织病理学图像。Zhang et al。31日)使用未经深度对抗网络图像,实现持续良好的分割性能。

虽然前面的方法取得了一定的有前景的结果腺分割、自动分割的腺体仍然是一个挑战性的任务由于组织病理学图像的复杂性和腺形态的多样性,特别是腺病变如图1(b),正常腺体上皮细胞可以清楚的区分出周围环境(32]。为恶性腺上皮细胞通常是混合基质,和上皮细胞核不易区别于间质核(33),甚至腺体彼此相连。在这种情况下,我们认为腺腔是一个定义的结构的。这种结构可以帮助决策,因为它的存在和形态学表明癌症的品位34]。它是观察到腺,腺腔的边界形状有一定的相似之处,和内腔可以准确地分割与其他结构相比腺体。随后,腺体分割方法基于腔之间的相关性和腺边界提出了。

我们建议的方法首先使用U-net污点分离获得H - E -,和背景染色强度地图。随后,上皮细胞核组织病理学图像识别。考虑到腔体类似于背景,如图2然后使用,组织病理学图像作为输入的框架提出了35)获得边界的腺上皮细胞核,流明是分段的基础上改进的防晒指数的方法报道(36]。最后,根据腺腔之间的相关性和边界,我们选择最好的腺轮廓从候选轮廓从而达到分割的腺体彼此相连。创新在我们的方法,我们首先使用深度学习来实现分离。深入学习是用来预测污渍系数。深度学习框架,我们设计一个污点系数使用高斯分布区间模型。我们可以得到一个间隔系数代替某些染色系数改善染色泛化性能。另一个创新是我们使用多个形态约束来找到最佳的肿瘤轮廓的基础上,内部(腔)和外部(上皮)轮廓。该方法评估在2015年MICCAI格拉斯挑战数据集和结肠腺癌数据集,得到了满意的分割结果。

2。材料和方法

2.1。组织病理学图像污点Separation-Based深度学习框架

拟议中的污点分离框架如图3。高斯U-net污点分离(连)中包含的信息)图像容易识别,从而克服染色不均匀的影响强度或圆)图像之间存在较大的差异。传统的染色剂分离方法需要手动设置一个标准的染色矩阵,不能同时分离多个污渍。我们在这里使用深度学习来实现这个功能。首先,组织病理学图像作为模型的输入,和染色的u型encoder-decoder模型分离。网络是由三部分组成:承包、桥梁、和扩张路径完成染色分离H(苏木精),E(伊红)和B(背景)通道。缔约路径是用来减少的空间维度特征映射,同时增加的数量特征图一层一层地(37- - - - - -40),提取输入图像作为一个紧凑的特点。这座桥连接着收缩和扩展路径。这种u型encoder-decoder模型改进是多个任务模型;除了U-net的输出,我们也用最简洁的特性来预测染色颜色矩阵,结合均值和方差的苏木精染色颜色值,伊红,和背景路径。扩展路径用于逐渐恢复目标和相应的空间维度的细节,和输出用于pixelwise强度的预测地图。网络分为十余分支。扩张路径的每个剩余分支之前,有一个级联的upsampling低层特征图和相应的特征图谱承包路径。剩余单位的存在有效地避免问题的梯度消失在反向传播(41]。此外,每个剩余分支包括卷积,马克斯池、BN(批量标准化),和ReLU(修正线性单元),这有效地加快收敛速度(42]。

模型训练通过最小化重建损失之间的输入图像和重建结果;原始图像进入一个叫F1-F10 10-branch网络污点分离。承包的路径是由第一个1-4-branch网络,和第五分公司是连接的桥梁收缩和扩展路径,实现染色颜色矩阵预测函数。扩展路径包括6日分支网络,和第十分支输出用于染色强度矩阵预测。染色的颜色矩阵预测,F5特性首先被扁成一个向量,和部署两个完全连接层,中间节点500和9的输出节点,代表R, G, B分布的三个污点频道。在培训期间,提出了预测每个像素的染色浓度以及参数(均值和方差)的一系列的高斯分布采样形成染色矩阵的估计。

图4显示了这个过程的示例。

中包含的每个污渍的图像,该方法预测3分布,每个RGB颜色通道的一个。的概率分布 可能代表红的苏木精染色值。我们使用一个值形成一个估计的苏木精的价值。重复这个过程对于每个组合起来以形成的分布估计染色矩阵 。每个分布的均值代表我们的模型的价值分配最概率,而标准差描述了某些模型,从将导致较低的采样值重建误差。

在上面的示例中,我们假设 是代表红色值分布的苏木精;如果 和标准偏差低,然后我们样本的值有很高的几率被接近0.5。如果真正的苏木精的红色值是接近0.5,那么采样值重建结果在减少损失;因此,如果真正的红色值是0.5,那么采样值将导致一个非常高的重建的损失。如果模型预测标准偏差大,采样值差异很大,产生大量重建损失即使平均值是正确的。找到的最优值 ,每一个平均值接近真实值和标准差很低。

染色的分离任务,为了测试分离效果,以下损失函数的定义:

的公式,代表了nth像素的米th形象,代表了预测图像像素。

从组织病理学图像提取的特征是通过上述网络,然后传递给很多支行预测每个像素的染色强度和参数(均值和方差)的一系列的高斯分布。图像中每个像素的R, G, B三个频道(苏木精伊红,和背景)预测。

2.2。从背景中分割的流明频道基于SPF-Level设置方法

考虑到流明是一个关键的组件来区分腺体,染色后我们从背景中流明通道分离。SPF(符号压力函数)是由使用图像的统计信息,所以,防晒指数的功能维持甚至提高突出前景目标。类似于经典C-V模型(43),轮廓让我们把形象我分别分成两部分,内部和外部,并使用全球强度分布图像的构造防晒指数函数。地区的染色强度分布函数和由P₁和P₂: 在哪里和是高斯分布的平均值和标准偏差的染色强度,分别。在水平集方法中,水平集函数嵌入,假设 和 ,和相应的轮廓可以用零水平集吗 。我们可以用上面的染色强度分布函数来构造新的防晒指数函数如下:

水平集方程

算法实现如下:(我)步骤1。初始化水平集函数 ,并设置参数(2)步骤2。计算 (3)步骤3。估计进化曲线通过(4)(iv)步骤4。 ,应用高斯滤波平滑曲线(v)第5步。检查是否水平集函数曲线收敛;否则返回步骤2

腔体细分过程如图5。内腔轮廓从背景获得通道上面的算法。

我们使用空间受限的CNN (SC-CNN)核探测和将softmax CNN核排序(35]。我们使用H-stain强度地图从染色分离获得的输入SC-CNN来定位核。自从发现原子核包括上皮和间质核,核排序。在分类、形态(形状、大小、颜色和纹理)的核工作。因此,选择原始RGB组织病理学图像作为输入,将softmax CNN,和像素集代表了上皮细胞核。我们选择最近的上皮细胞核基质核作为粗略的腺边界像素,以获得粗糙腺边界 。

2.3。腔和粗糙的腺边界特性表示基于阿里(最小惯性轴)

最小的轴惯性是一条直线,集成后的最小值的平方距离图像边界上所有的点。其物理意义是图形绕这个轴的转动惯量是最小的。这是唯一参考线代表目标的形状。它可以知道,从物理定义轴的惯性,它必须通过质心的图。数学表达式如下:让线 ;然后,惯性是最小的轴 在哪里是边缘点的集合。然后,我们使用最小的轴惯性的条件通过质心 : ;然后,B和C。为了描述形状的轮廓,基于结构的形状描述符中常用的边界描述方法主要是连锁:这是一个广泛使用的描述符,它的作用是使用的轮廓形状与方向。链的链表示图:表示目标序列的直线在一个给定的方向。如果链用于匹配,这取决于选择的第一个边界像素序列。从一开始的一个选择,一个链序列是通过使用生成的x方向( ,基于我们的经验)。

如图6(一),最小的轴惯性轴,用作参考和坐标系统建立了它的垂线。内腔重心是原点的坐标系统,然后根据链方向,四个区域的坐标系统也同样分为三个区域与三个方向来生成一个链序列12的方向。最小的方向是垂直于轴惯性和最接近的方向指向0-direction腔,逆时针旋转为30°,分别在0 - 11-direction。然后,12的直线点为顶点将与腔轮廓来 , ,…, 。12点构成了腔轮廓链码表示,类似的这些直线的交点和上皮细胞核心集代表候选人轮廓链码。在图6 (b),和的十字路口是0 -和1-direction轮廓 ,分别形成的三角形的三分 , ,和的特征三角形腔(腔轮廓的点在每个方向都是独一无二的。和的十字路口是0 - 1-direction和上皮细胞核准备好了吗 ,分别和这些点形成的三角形代表腺的候选区域。在每个方向有多种上皮细胞核。使用三角隶属函数执行的相似性度量方法。对于每个特征三角形,让 , ,和分别是三角形的内部角度,他们有以下关系:

然后,三角形隶属函数如下: 在哪里之间的欧几里得距离特征三角形的顶点。看会员的价值特征三角形腔和会员的价值特征三角形腺的候选区域,它们之间的相似性

所有特征值的相似性

如果总 ,这说明,这两个轮廓相似,代表的数量特征三角形。

建议的方法是找到一个精确的腺大纲基于两个约束条件。

目标轮廓基于上皮细胞核类似于腔轮廓和粗糙的腺边界 ,因此构建一个特性相似性约束:

目标轮廓接近的腺边界 ;因此,我们有一个距离约束: 在哪里 代表序列的方向, 代表的上皮细胞核的数量我方向,代表的十字路口我方向和粗糙的腺边界 ,和代表的上皮细胞核我方向。开始以0-direction为方向,每个方向特征三角形的相似性检索逆时针。把图6 (b)作为一个例子,首先,特性 和腔体特性相比之下,外轮廓吗l。候选轮廓点方向1是由约束条件方程(11)和(14)。同样,候选轮廓点方向1用作参考起点方向2中确定候选轮廓点。后按顺序确定候选轮廓点在12个方向,这形成了一个候选轮廓链。假设有J候选点的参考方向0开始,J根据上述方法形成候选轮廓。在图6 (c)腔轮廓,棕色黄,橙色是三角形腔轮廓特性,和红色的候选人获得的轮廓。确定最优腺轮廓从候选轮廓根据约束方程(15),最后,腺轮廓由三次样条插值平滑。

2.4。实验结果和讨论

2.4.1。数据

图像数据集是数据集的腺分割(格拉斯)挑战组织2015年MICCAI除了我们自己的数据集。我们自己的数据集包括100校准结肠良性和恶性腺癌病理图像。他们从34)染色病理部分结肠腺癌与癌症阶段T3和T4。片属于不同的病人,他们在不同的实验室环境中进行处理。数据集有一个非常不同的染色分布的多样性和组织结构。病理切片扫描整个切片获取数字图像像素精度为0.465微米。的帧图像调整到一个像素精度0.620微米(相当于20 x放大)。然后,我们作物其随机大小为128×128,增加22000件的培训和验证模型。原子核由一位经验丰富的病理学家手工注释。本研究需要确定上皮细胞核,所以核注释分为上皮细胞核和其他人。

2.4.2。染色剂分离

22000年的数据集是由组织病理学补丁大小为128×128。这项工作雇佣了亚当优化器,和最初的学习速率1-e3逐渐减少在每一个时代的结束。进一步强调这个,图7显示了他走时图像污点分离的结果。结果表明,组织病理学图像的背景和H -和E-stain可以成功分离,而组织的结构被保留。

病理图像包含完整的腺体结构剪裁没有任何间隔大小为128×128,和不足区域充满了零操作。图8显示H的分离结果,E-staining病理图像的两个不同的数据集。病理图像的结果表明,不同来源和大型染色的差异,深入学习染色分离方法可以成功分离的H - E-stains,分离和染色结果是一致的,同时保持组织结构。

染色后分离,H - E-stains可以区分。我们没有地面实况定性评估分离效果,但是我们可以想象到紫罗兰特征。H-staining地图分离得到的两种传统染色方法中提到(44,45],深上优于染色分离方法是进一步调查,和染色的基础上分离,细胞核是用来评估染色分离的影响。图9显示了细分的过程核H-stained图像。首先,H-stained图像转换为灰度图像,然后转换成二进制图像作为核分割掩模,最后,分割掩模是覆盖在原来的病态形象为我们分析核分割的效果。

奇异值分解方法基于光密度和独立分量分析方法在小波域中,两种传统方法(44),这里的深度学习方法用于分离相同病理组织形象,和H-stain图像用于细胞核分割处理。数据9(a - c)是H-stained三种染色方法,分离获得的图像数据9(d-f)相应的灰度图像,数字9(胃肠道)相应的二进制图像和数据9(j-l)结果后覆盖原始图像上的二元分割掩模。比较的结果数据9(j-l),它可以发现数据9(a - b)有污点分离效果差,导致oversegmentation或undersegmentation细胞核。

图10显示了不同方法的比较结果。Mikto方法用于细胞分裂,所以它只能用于隔离H-staining。颜色反褶积(CD)是一个经典的染色方法分离,但需要人工干预来计算最优染色矩阵。使用CD方法可以保护结构但不能单独的背景颜色。SDSA是最新的方法单独染色使用多分辨率染色的统计分析数据。可以看出SDSA段H-staining成功,但是当图像中有两个以上的污渍,分离的结果很差。

2.4.3。腔分割

腺体的分割取决于粗糙腺边界之间的交互和内腔,因此有必要准确段内腔。在实验中,防晒系数方法的分割结果和改进的SPF流明比较方法。在水平集方法中,对于二元选择和高斯滤波器正规化,防晒系数可以在令人满意的分割结果。

由于改进的防晒系数的方法是基于统计信息,后台通道分离过程获得的污点,腔体和背景概率趋于一致,导致一些小背景块的图像分割。小目标从分割的图像,和最后的分割结果如图11 (d)。

多个细分技术(如DRLSE,磅力,LGDF,仍用于段腺腔。如图12,DRLSE模型产生不完全细分;LGDF模型可以从其他领域段空腔。生活和磅力模型不适合细分的腺腔。这些模型遇到的挑战,如延长响应时间和更多的迭代。通过使用新的SPF-level集分割方法,克服这些缺点。比较结果表明,该模型很容易实现,及其计算时间与其他活动轮廓模型相比只有21岁。

2.4.4。腺分割

这项工作是评估公共数据集格拉斯和与其他方法相比在格拉斯竞争。我们使用100张图片为系统测试系统培训和65,45测试图像属于测试集,其余20属于测试集进行定量分析,我们使用F1得分,对象骰子和对象分离。关于豪斯多夫距离,降低值更好;和其他措施,值越高越好。表1显示了量化的结果,而该方法产生竞争的结果,而这些算法的竞争。proposed-N方法只是基于粗糙腺上皮细胞核边界获得,和proposed-N + L方法是基于粗糙边界N和腺腔轮廓l。该算法首先使用深度学习方法来执行染色分离。等不同的目标分割,流明,上皮细胞,核,可以准确地细分目标染色的基础上分离。在测试设置中,该算法表现不佳在F1和对象骰子但对测试集b执行更好的测量形状相似性通过对象分离,较低的分数表明,恶性的情况下,该方法考虑了影响流明的形态学特征,所以结果具有更高的形状相似,地面真理。

我们比较该方法与先进的算法(17,22,27,46,47独立的数据集)。相关测量指标如表所示2。从表可以看出2该方法生产的最佳分割结果。图13显示了ROC曲线不同的算法。

从表可以看出2,该分割方法基于粗糙腺腔和边界,从而提高平均像素精度至少3%,而骰子相似系数0.033的改进。同时,标准差的像素精度和骰子是在低水平,表明该分割方法是相对稳定的,可以有效地处理异常腺分割的问题。图14显示了多个实例的分割效果在我们的独立的数据集,其中绿色是手工注释的轮廓和黄色是分割轮廓的不同的方法。

从图可以看出14腺分割方法只基于上皮细胞核,如提出(17)和proposed-N,过度依赖于核识别的准确性。不准确的核直接导致不准确的腺分割识别。然而,多边形近似的方法,比如提出(12),不能检测的外部轮廓腺。双平行结构的方法(27)结合的腺和轮廓可以段腺轮廓更准确地说,但有时不能坚持腺体。总之,对于恶性肿瘤和复杂的图像,我们提出的方法产生更好的分割结果。

3所示。结论

腺的组织学评估在结肠癌分级的一个挑战。组织学分析幻灯片与苏木精和伊红染色被认为是组织学诊断的“金标准”。然而,依靠人工视觉分析是费时又费力,病理学家需要彻底检查每一次,以确保准确的诊断。为了提高诊断能力的自动化方法,这里我们提出一个方法来准确地分割在结肠腺体组织病理学图像基于流明和腺边界的特点。首先,这项工作建立一个U-net)分离图像获得H - E -,和背景染色强度地图。随后,上皮细胞核组织病理学图像,标识和腔体的分割背景强度地图上执行。然后,轴的惯性和链用于表示腔和腺边界特征。基于检测的流明和上皮细胞核,更准确地腺分割基于粗糙腺边界已经完成。

这种方法的主要贡献包括三个点。首先,提出了一种新的无监督污点分离方法,使圆)的图像中包含的信息容易识别和处理不均匀染色强度和不显眼的污点的区别。提出了染色的优越性分离方法被证明。第二,这项工作发展和结合的新功能细分的腺体。它的形态特征的内部腔腺结构。在致癌作用的过程中,通常腺腔的经历明显的失真,使周围的上皮细胞排列不规则,但大多数还是分布在腔体。因此,相结合的方法提出了最小惯性轴代表流明和腺边界的特点。因为流明是更独立,更容易比上皮细胞部分,分割方法基于流明可以用来实现腺体的分割连接到对方。结果表明,该方法提高了分割精度。最后,这项工作显示流明和腺边界的特征表示,我们将继续研究这种方法的应用为良性和恶性肿瘤的特征提取。

数据可用性

数据用于支持本研究的发现是由南通大学许可制,所以不能免费提供。请求访问这些数据应该库恩张(电子邮件保护)。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是财务支持的倪投资,中国国家自然科学基金(没有。61671255),中国江苏省自然科学基金(批准号BK20170443),自然科学基金的江苏省的高等教育机构,中国(批准号。17 kjb520030、18 kjb510038和19 kja350002)和部分“清局域网工程”项目的学院和大学在江苏省(批准号xny - 039)。