文摘

的任务细分细胞质细胞学图像中最具挑战性的任务之一是在子宫颈细胞学分析由于模糊的存在和高度重叠的细胞。基于深度学习诊断技术已被证明是有效的医学图像分割复杂。我们提出一个两阶段的框架基于面具RCNN自动部分重叠的细胞。在第一阶段,候选人细胞质边界框。在第二阶段,pixel-to-pixel对齐是用来提炼边界和类别分类。该方法的性能评估2014年和2015年从位ISBI公开的数据集。实验结果表明,我们的方法优于其他先进的方法与DSC 0.92和0.0008 FPRp DSC阈值为0.8。这些结果表明,我们的面具RCNN-based分割方法可以有效的细胞学分析。

1。介绍

宫颈癌是女性最常见的癌症之一,每年导致成千上万人死亡。近年来,细胞学检测,如子宫颈抹片检查,被广泛用于诊断早期宫颈癌的癌前阶段。成功检测癌前病变是必不可少的有效治疗癌症的1]。传统,幻灯片包含子宫颈细胞染色,在显微镜下检查细胞学者或病理学家,来检测细胞核和细胞质异型性。然而,测试的灵敏度主要是受许多因素影响,如细胞之间的重叠和模糊(如粘液的存在,血,和炎症细胞)(2]。虽然影响可能减少新制备技术(如ThinPrep),这些因素会导致一个大假阴性率的变化(3]。另一方面,诊断过程需要大量的时间和乏味。这些问题有动机自动诊断技术的发展。这些技术主要是基于细胞图像通过数码相机连接到一个显微镜。细胞图像自动分割宫颈细胞重叠块是根本,仍然是一个非常具有挑战性的任务。

在先前的研究中,许多方法已经提出了完整的分割重叠宫颈细胞(4- - - - - -6]。增加可能是出于第一和第二重叠宫颈细胞分割挑战举行的国际研讨会上生物医学成像(位ISBI) 2014年和2015年。在会议期间,两个高质量的数据集包含原始细胞图像及其注释都是公开的。这两个数据集的评估和比较不同的分割方法。陆et al。4)联合优化分段重叠细胞的多个函数,每个函数都晶格内部和注液电池约束。Phoulady et al。6)提出了一个框架在宫颈细胞学检测细胞核和细胞质扩展景深(EDF)图像。第一次近似边界的定义相似度度量和精制两个步骤减少凹度。该框架还在上面提到的两个公共数据集评估。Tareef et al。7]介绍了多通道快速watershed-based方法部分细胞核和细胞质从大细胞重叠细胞的质量。他们位于细胞核barrier-based分水岭分割孤立的,部分重叠的细胞一个分水岭变换。最后,他们提出了相互迭代流域应用于核估计细胞形状。刘等人。8)提出了一种拓扑形态scaling-based过滤器。和他们结合拓扑过滤新推导数学工具箱为多功能滤波算法2 d余维数两个对象水平集方法,将重叠的细胞。性能是评价定量和定性位ISBI 2014数据集。

最近,深度学习已经被证明是非常成功的在图像分类、目标检测和分割。在深度学习,卷积神经网络(CNN)是最常用的结构图像分析任务。CNN模型自动提取图像的底层特征,不需要任何先验知识。例如,Moeskops et al。9)提出了一个用CNN先生的大脑图像的自动分割。此外,技术转移学习利用克服缺乏足够的训练数据。张等人进行跨学科癫痫检测脑电图使用转移学习(10]。

提出了许多CNN-based细胞分割方法和出版。歌等。11)提出了一种多尺度CNN对每个像素进行分类属于细胞质或背景,原子核的准确检测是至关重要的。标记结果送入边界优化的动态multitemplate变形模型。他们还包含高级形状信息来指导分割。Tareef et al。12)提出了一种分割框架superpixelwise卷积神经网络和利用之前学习形状描述每个细胞质的轮廓。之前的形状是训练过程中动态地决定。Wan et al。13)采用TernausNet对图像像素进行分类成核,细胞质或背景。然后,修改DeepLab (V2)模型被用来执行细胞质分割。这是值得注意的一种合成方法用于生成细胞质量包含重叠的细胞。虽然在真正的或合成数据集实验结果展示了有前景的结果,这些基于深度学习的方法在某种程度上复杂或者需要先验知识对细胞的形状。这激励我们努力开发的全自动细胞分割模型高度重叠的细胞。

在本文中,我们提出了一种新的分割方法分割细胞团使用面具地区卷积神经网络(面具RCNN)。图中描述的工作流方法1。真正的和合成从2014位ISBI和2015位ISBI细胞学图像作为原始数据集。类似于先前的许多作品使用深度学习执行细胞质分割,原始图像的翻转和旋转。然后,原始图像和增强的分为训练、验证和测试数据集的后续RCNN面具。面具RCNN基本上是一个扩展的速度RCNN [14),通过添加一个分支预测对象的面具。换句话说,面具RCNN有三个输出(即分支。,mask branch, bounding box branch, and category branch). Mask RCNN is a typical two-stage method. In stage I, feature maps from images are extracted by the backbone network. These feature maps are passed through a regional proposal network to return the candidate bounding boxes of instance objects. In stage II, RoI (Region of Interest) pooling layer brings these candidate bounding boxes to the same size. And then, the proposals are passed to fully connected layers to output the bounding boxes, masks of objects, and category.

总之,这项工作的主要贡献包括以下:(我)提出了一种新方法使用面具RCNN重叠的宫颈细胞的分割,需要少量的带注释的图像和不需要任何先验知识细胞(2)我们建议的方法达到更好的结果比其他先进的方法在某些方面的措施

本文的其余部分组织如下。部分2描述了该方法。部分3给卷积网络的结构和数据集的详细信息。部分4描述了实验结果和比较先进的结果。提出了讨论部分5。

2。方法

每个细胞图像包含许多细胞,细胞有时重叠在一个较高的比例。因为相对体积小和高对比度与背景的原子核,分段核通常比分段细胞质。在以前的工作,提出了许多方法来段核。Phoulady et al。6]使用核是由小的几何特性均匀强度黑暗和凸区域。Wan et al。13TernausNet)用于将每个像素分配给三个标签(细胞核、细胞质和背景)。基于检测到核的位置,对应的区域被用于以下细胞质细分任务。另一方面,核检测不准确直接影响最终的细胞质分割的结果。

在本文中,新方法提出了基于面具RCNN细胞质直接分割,没有细胞核的检测。面具RCNN描绘在图的架构2。在细节,ResNet50作为骨干网络,与重量pretrained ImageNet著名的数据集。面具RCNN有两个阶段。在舞台上我,更快RCNN提出候选对象边界框。然后,这些候选边界框分为两类(背景和前景)。回归是用来提炼前台边界框,对地面真理注释和锚盒子。的维数特征图 在我们的实验。RoI对齐使用双线性插值计算的确切值输入特征在每个RoI本。RoI对齐后,功能是传递给三个分支。在第二阶段中,分支机构的类别和边界框相同的RCNN更快。的 特点是upsampled 然后输入掩码的分支。对于每一个RoI,面具分支输出大小的面具 。的损失函数更快RCNN是定义如下15]: 在哪里的概率吗 - - - - - -th边界框前景; 当 - - - - - -th边界框是积极的,否则为0; 是 - - - - - -th边界框和相应的地面实况框的参数化坐标,分别;批处理大小;是锚的数量。是光滑的函数定义为

是两类日志损失函数定义为

面具的损失函数,用 ,被定义为平均二叉叉的损失。与地面真理类相关联的RoI , 只是上定义 - - - - - -面具。总损失函数三个分支的总和,定义为 。关于面具RCNN的更详细的信息,请参阅他提出的原始论文等。15]。作为一个例子,图3提出了一种从2014位ISBI宫颈细胞学图像与地面真理细胞质注释和我们提出的分割方法。

3所示。数据和实验设计

在2014年和2015年,第一次和第二次重叠宫颈细胞学图像分割的挑战(2014位ISBI和2015位ISBI [4])举行。在会议期间,两个数据集高质量的宫颈细胞学形象和地面实况细胞分割都是公开的。这两个挑战极大地激励研究重叠细胞的分割。第一数据集(从2014位ISBI)由135合成和8个真正宫颈细胞学EDF图像训练集和810年合成和8个真正宫颈细胞学EDF图像在测试集。合成图像是由小的变换背景和实际EDF亮度不同的孤立的细胞图像。应该注意到,在这个数据集都没有被真正的EDF图像单个细胞质的注释。这些图片不是用于我们的纸。第二个数据集(从2015位ISBI)包含8真正宫颈细胞学EDF图像训练集和9真正的测试集,与地面实况细胞质的注释。至于这两个数据集的主要区别,从2014位ISBI图像的大小 2 - 10细胞在每一个图像,从2015位ISBI和图像的大小 与40多个细胞在每一个图像。

表1描述了训练和测试数据集用于我们的实验。900合成图像的训练数据集包含从2014和8位ISBI真正从2015位ISBI EDF图像。测试数据集包含45位ISBI 2014和9位ISBI图片2015。

为了与其他研究者提出的分割结果在相同的数据集,我们采用四个广泛使用的评价指标。骰子相似系数(DSC)的两个地区和被定义为 。在地面真理被认为是细胞分割如果分割检测的DSC超过一个特定的阈值。在我们的评估中,我们采用DSC阈值以下值:{0.5,0.6,0.7,0.8}。基于对象的假阴性率(FNRo)被定义为细胞在DSC的速率低于阈值。在像素级,真阳性率(TPRp)和假阳性率(FPRp)也报道。它们的定义如下: , 。价值较低的价值更高的TPRp FPRp意味着更好的细胞分割。在评估期间,细胞在地面真理不是计入TPRp的指标和FPRp如果没有地区分割结果,DSC超过特定阈值。

在培训过程中,pretrained权重的ImageNet骨干网ResNet50。从2015位ISBI细胞图像的大小 调整使用作物。和批处理标准化的大小是8每批处理图片。nonmaximum抑制阈值将0.9和0.7在训练和测试,分别。测试平台是一个桌面系统与Nvidia RTX 2080 ti和128 GB内存运行Debian。

4所示。结果和比较

我们第一次报告两个数据集上的定性结果由几个例子。然后,定量评估我们的方法的性能比较与最先进的方法。

最后的一些细胞图像分割结果数据集2014位ISBI和2015位ISBI呈现在图4。相比之下,合成宫颈细胞图像(图4(一)(图),真正的细胞学图像4 (b))包含细胞重叠比率高得多。更高的重叠率使得分割更加困难。

分割性能评估(即四个评价指标。,DSC, FNRo, TPRp, and FNRp), which are the original metrics in the two ISBI competitions. The quantitative results are listed in Table2。如表所示,意味着DSC数据位ISBI 2015是一个垃圾低于在2014年数据集位ISBI意味着FNRo数据集位ISBI 2015位ISBI有点高于数据集2014。这些结果可能是由于这样的事实:宫颈细胞图像位ISBI 2015有更多的细胞重叠率高于从2014位ISBI细胞图像。

数据集从2014位ISBI不仅提供地面真理细胞分割还宫颈细胞的数量和平均每一对细胞间重叠率合成图像。基于这些信息,我们进行更多的实验来评估与不同数量的细胞在细胞图像分割性能和重叠比率。重叠比率表明之间的一致程度,两个细胞在细胞图像。DSC的度量,TPR, FNRo用于评估。图5显示了一个分割结果的图形可视化的三个指标。从这些数据可以看到,我们的模型可以成功部分细胞与少量的细胞团,重叠率高。它还可以有效地部分细胞团与大量的细胞(大约10细胞)和低重叠比率。在图4(一),提出了三种典型的人造细胞图像分割与自动检测。图4 (b)显示了三个真正的EDF宫颈细胞学图像自动分割。

因为手工注释的细胞分割是乏味且非常耗时,真正的细胞学与地面实况图像分割的数量很小。合成图像相对容易产生孤立的细胞在现实EDF图像。另一方面,深层神经网络需要大量的训练样本与地面真理的注释。因此,在我们的实验中,训练数据集包含更多的合成比真正的细胞学图像。

相比之下,我们采用相同的DSC阈值为0.7。实验结果在表中列出3和4。

根据表3,我们建议的方法达到最佳性能FPRp和FNRo其他方法。特别是,基于对象的假阴性率远低于其他的方法。我们的方法获得一个类似的DSC(0.92),约有2.2%的改善平均值(0.9)。

通过检查结果表4,我们的方法比其他方法达到更好的结果在某些指标和其他指标稍差的结果。详细,我们的模型达到最好第二和第三最好的结果在DSC和TPRp,分别。FPRp而言,我们的方法达到最好的结果。然而,当DSC阈值设置为0.8,我们建议的方法显示了一个有前途的细胞质分割的性能。这项研究的结果发表在表5。我们建议的面具RCNN模型实现最好的结果在DSC和FPRp比其他两种方法。具体来说,我们获得了DSC 0.92和FPRp是0.0008。

相比之下,结果通过Wan et al。13),我们的实现TPRp是0.94,提高了4%,但FNRo有点更高的指标。我们获得FNRo远低于通过Tareef et al。7]。这些实验结果表明,我们提出的方法可以用来有效段单个胞浆细胞集群的细胞学图像。

python代码是运行在PC与一个强大的GPU Nvidia GTX2080Ti。需要大约1.5 s算法的部分重叠的细胞在一个真正的法国电力公司(EDF)的形象。但应该注意到的时间分段在很大程度上取决于硬件和代码优化。

5。讨论

分段细胞质细胞学图像中最具挑战性的任务之一是子宫颈细胞学分析。这种情况是由很多原因引起的。例如,细胞图像重叠在一个相对较高的比例。和粘液和血液的存在使图像模糊。这是一个非常具有挑战性的任务正是注释的边界图像的每一个细胞。因此,基于计算机技术的自动分割是急需的。

在这部作品中,该方法基于面具RCNN产生健壮结果分段的问题从细胞细胞质图像重叠率高。定性结果如图4让我们得出结论,我们的方法产生强大的合成和真实的细胞学图像边界。然而,一些细胞质嵌入块不够分割好,特别是在真正的法国电力公司(EDF)图像。定量,我们建议的方法达到最好的结果在DSC和FPRp其他先进的方法在DSC阈值为0.8。然而,与其他方法相比,我们的方法达到更好的结果在某些条款和更糟糕的结果以其他的术语来说,在同一DSC阈值为0.7(重叠所显示宫颈细胞学图像分割的挑战在2015年)。正确的比例分割细胞有点低分段细胞嵌入与大量的细胞团。从实验结果可以得出结论(表2),平均FNRo 0.04和0.24在数据集2014位ISBI和2015位ISBI,分别。我们所知,没有发表的方法取得了优越的性能在所有四个指标项相同的测试数据集。

总的来说,定性和定量评价演示了我们的效率提出了细胞在细胞学图像分割方法。与其他方法相比,我们的方法不需要任何先验知识的细胞的形状,可能部分细胞质细胞核的没有任何信息。例如,基于集合的水平分割方法需要大量的任意参数经验设置的每一个数据集,如在12,17,18]。一些方法是基于形状变形和检测,如在12]。尽管shape-based细胞分割方法是一种可靠的技术,它可能缺乏强大的泛化能力不足的细胞形状的训练数据集。

然而,我们的方法需要大量的带注释的细胞图像进行训练。另一方面,我们的模型倾向于小型孤立块注释作为细胞质,那些团小面积可能黏液或血液。一个可能的改进是利用细胞的形状和区域的信息。在未来的工作中,我们将修改模型过滤候选人相对较小区域的边界框。此外,我们将尝试建立一个框架来进一步提高精度和效率。据我们所知,新的BlendMask CNN模型可以有效地预测致密逐位敏实例特征很少有渠道和学习注意力地图为每个实例仅仅一个卷积层(19]。它有一些公开数据集上表现出非凡的表现。新模型基于BlendMask可能的候选方法分割重叠宫颈细胞。

6。结论

在本文中,我们提出一个面具RCNN-based方法,解决了具有挑战性的任务细分细胞的细胞学图像。该方法既不需要先验知识的形状细胞和细胞核的检测。因此,我们的方法具有相对较强的泛化能力。公开的数据集上实验结果表明,我们的方法达到最好的DSC 0.92和0.0008的FPRp DSC阈值为0.8。

数据可用性

本文中使用的数据集进行了公开的第一和第二重叠宫颈细胞学图像分割的挑战在2014年和2015年。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作的部分支持由福建青年教师教育研究基金(批准号JAT201044)。