健壮的血液细胞图像分割方法基于神经常微分方程

文摘

对于医学图像的分析,最基本的方法之一是通过检查血液涂片诊断疾病通过显微镜检查形态、数量,比红细胞和白细胞。因此,准确的血液细胞图像的分割是至关重要的细胞计数和鉴定。本文的目的是执行血涂片图像分割结合神经常微分方程(节点)与U-Net网络来提高图像分割的准确性。为了研究ODE-solve的影响在网络的速度和准确度,ODE-block模块添加到九U-Net卷积层网络。首先,血液细胞图像预处理提高对比区域分割;其次,使用相同的数据集的训练集和测试集测试分割结果。根据实验结果,我们选择的位置常微分方程的块(ODE-block)添加模块,选择适当的错误宽容,和平衡计算时间和分割精度,以发挥最佳的性能;最后,错误容忍ODE-block调整增加网络的深度,和培训NODEs-UNet网络模型用于细胞图像分割。使用我们提出的网络模型部分血细胞图像的测试集,这意味着交叉像素精度可以达到95.3%,90.61%。通过对比U-Net和ResNet网络,网络模型的像素精度提高0.88%和0.46%,分别和均值交叉联盟是增加了2.18%和1.13%,分别。 Our proposed network model improves the accuracy of blood cell image segmentation and reduces the computational cost of the network.

1。介绍

诊断疾病的一种最基本的方法是通过检查血液涂片显微镜检查形状、数量和比例的红细胞和白细胞。然而,手动检查血液显微镜图像是一个耗时和费力的任务。近年来,计算机视觉,医学图像处理技术的发展,医学显微细胞图像的识别也取得了相当大的进步在医学图像处理领域。对医学图像处理方法的研究已经成为图像处理和分析的一个重要研究方向。

图像分割是一种重要的图像分析和处理的过程中。传统的医学图像分割方法主要包括活动轮廓,强度阈值,数学形态学,地区增长,和分水岭算法(1- - - - - -5]。自从完全卷积神经网络(FCN) [6)首次提出了长et al .,它取得了自然图像的语义分割,还表示图像分割中最进步的能力。他们认为FCN基础和创新巨大数量的优秀的语义分割网络(7)从不同的角度在各种刺激下的语义分割具有挑战性的比赛。Ronneberger et al。8)集中在大尺寸和小数量的医学图像,提供一个U-Net网络模型,该模型采用了coding-decoding结构。4次后池将采样期间,维拼接和融合进行相应规模upsampling信息添加功能。构建像素的权重矩阵,是细胞的边界越近,像素的权重会越大,所以这是专门训练。Kowal et al。9)结合卷积神经网络(CNN)和播种分水岭算法(4)部分细胞核在乳腺癌细胞图像,利用准确的核面具由CNN替代细胞核面具由正常阈值定义。这一过程产生流域地形地图和核种子,然后,一个分水岭算法用于分离重叠核。歌等。10)提出了一种多尺度卷积网络(MSCN)和基于图像分割方法分割的宫颈细胞质和细胞核。他们通过MSCN提取特征,然后将每个像素的中部地区。该方法可以部分中的所有核细胞图像,但它不能区分正常细胞和异常细胞。Araujo et al。11]利用CNN段异常高的细胞和块状异常细胞图像重叠数字图像的传统巴氏涂片,过滤输入图像和消除细胞只包括背景或不良信息。他们采用后处理提高异常细胞的分割和分类的图像根据图像中包含异常细胞的概率。Ozturk et al。12)提出了一种新的DCNN结构基于剩余网络(ResNet) [13)和deconvolutional网络(14)结构。语义分割将推出根据组织病理学的细胞类型,和所有核会被识别。他们被归类为癌或正常根据每个单元类型。涩谷和Hotta15]提出了反馈U-Net [8网络基于卷积long-short-term内存(LSTM)。U-Net报告的输出输入,然后,这是美联储进入第二轮。他们提取基于第一轮第二轮的功能特性,利用卷积LSTM [16]。卷积LSTM用于处理命令数据LSTM卷积的版本(17]。陈等人。18)提出了一种新的神经网络,被称为神经常微分方程(节点)。本文指Chen等人的想法。18]。我们使用最新的节点改进经典的医学图像分割方法基于U-Net网络。

我们把一个ODE-block U-Net网络模型血液细胞图像分割(名为NODEs-UNet)。拟议中的NODEs-UNet网络模型可以有效地减少参数的使用,提高分割效果。节点可以适应接受字段(RFs)。不需要优化RFs各种细分任务,我们只需要调整错误ODE-block公差。NODEs-UNet模型架构的泛化能力是强大的。

2。图像预处理

本文的实验数据集提供的医学图像与信号处理中心(MISP)和病理学系伊斯法罕医科大学(19]。MISP。rar包含148个清楚血细胞涂片图像的大小 像素。自从血细胞图像是相当大的,我们拿起适合方便的地区网络培训。我们裁剪100血细胞图像的大小 通过选择合适的区域像素。确保培训模式的准确性,我们保留20图像作为测试集和我们使用剩下的80张图片增加数据增加到800年的数据。此外,我们使用的比例3:1作为训练集和验证集。图像标签是通过手工LabelMe标签使用标记工具。有三种类型的细胞,需要标签:背景、白细胞和红细胞。他们有标签的0、1和2,分别。图1显示了原始血细胞图像及其postvisualization标签。

本文采用血涂片图像,含有少量的白细胞和大量的红细胞。最初的血液细胞图像颜色和我们使用的彩色图像分割。我们进行了预处理细胞之间的细胞图像,提高了对比度图像分割的目标更好。血液细胞图像从RGB颜色空间转换到YUV空间。伪代码如下:

Img =阅读(路径)

Y、U, V = BGR2YUV (Img)

Y´= clahe_equalized (Y)

Img = YUV2BGR (Y´, U, V)

“Y”是指亮度。“U”代表蓝色通道和亮度之间的区别。“V”是指红色通道和亮度之间的区别。图2显示了原始细胞图像预处理和图像。

3所示。方法

我们提出一个新颖的分割方法基于神经常微分方程(节点)和U-Net血液细胞图像分割。首先,介绍了节点。然后,基于经典U-Net网络,我们导入一个ODE-block U-Net网络体系结构,确定了ODE-block网络中的位置。最后,提出NODEs-UNet构建网络体系结构。分割的图像构造基于NODEs-UNet网络框架。

3.1。神经常微分方程

神经常微分方程是微分方程用一个独立的变量。我们应该找到未知的通解通常一个普通的微分方程。例如,方程的通解 是 ,在哪里意味着一个任意常数。但更常见的方法来解决这个问题在实践中是通过使用一个ODE-solver。也就是说,给定一个初始值 ,这个没有找到的通解当寻求未知的价值除了逐渐接近它的价值。的神经网络,它们类似于一个极端复杂的复合函数是否完全连接网络,复发性网络或卷积网络。作品的数量等于层的深度。例如,一个两级完全连接网络 在哪里是隐藏的输入值的单位 - - - - - -th层和参数化的神经网络 。因此,每个神经网络层类似于一个通用函数估计值。

剩余网络(ResNet) [13)是一种特殊类型的卷积网络。它解决了梯度降级问题剩余连接,这意味着梯度仍然可以有效地传播回输入端时,神经网络层非常深。图3ResNet-block的结构。ResNet-block结合的输出输入信息和输出信息的内部卷积操作。这个剩余连接确保深度模型的准确性至少不低于浅网络的准确性。

我们可以说明上述ResNet-block正式如下方程: ,这代表整个ResNet-block以上。如果我们重写它的形式残留网络中,也就是说,

我们可以发现,传统的神经网络直接参数化隐藏层和残余神经网络参数化隐藏层之间的残余。但神经常微分方程在本文以另一种方式用于参数化神经网络隐状态的导数。通过假设离散层连续层和参数,这种不断的变换形式可以表示为一个神经常微分方程(节点): 在哪里被定义为一个神经网络,但是现在这个及其参数是一个单位,也送入神经网络作为一个独立参数。从导数定义的角度来看,当改变的往往成为无限小,隐藏的变化状态可以通过神经网络建模。当慢慢从最初到最后,变化的变化最终代表向前传播的结果。通过这种方式,使用神经网络隐层参数化的导数,神经网络层实际上是连续的。

如果常微分方程的数值解,那么它相当于向前传播。现在,我们将方程(3)

从方程(5),我们可以看到,颂歌的数值解神经网络需要的积分从来 。这是一个关于赋初始值的问题。我们可以获得结果ODE-solver直接。这样一个ODE-solver也可以控制数值错误,这样我们才能做一个对比计算能力和模型精度。图4ODE-block的结构。

3.2。ODE-Block的位置

本文的网络体系结构是基于经典U-Net完全卷积神经网络模型在医学图像分割。考虑到减少计算成本,我们减少卷积核的卷积原始U-Net网络层的一半。为了研究单个ODE-block的影响在网络在不同的位置,我们进口的ODE-block U-Net网络体系结构如图所示5。训练集,验证集和测试集的整个网络是一致的,和错误容忍ODE-block解算器 。当我们训练网络,输入训练集和验证集,和培训时间(时代)50倍。我们使用一个回调函数保存网络模型的最小val_loss验证集。

九ODE-blocks获得在上面的实验测试在测试集。细胞图像分割结果评价像素精度(PA),类像素精度(CPA),意思是交叉在联盟(MIoU)和计算时间,比较结果如表所示1。

从表1与U-Net相比,我们可以看到,网络和九ODE-block-based网络,可以看出ODE-block后补充说,巴勒斯坦权力机构和MIoU已经大大改善。计算时间明显增长,这是时间的网络段二十血液细胞图像。与九ODE-block-based网络相比,ODE-block添加的位置对PA和MIoU没有明显的影响,但它有一个更大的对计算时间的影响,我们可以得出这样的结论:ODE-block添加的位置下降随着U-Net“U”字型结构。和时间要短得多,当“U”形结构不断下降。“U”形结构越上升,时间越长。

3.3。NODEs-UNet神经网络

在本文中,我们提出一个新颖的基于节点和血液细胞图像分割方法U-Net(名为NODEs-UNet)神经网络框架。它是基于U-Net网络模型,将采样通过最大池层执行。编码部分,每次经过汇聚层,构造一个新的规模,有五个尺度包括原始图像。最后,在五个尺度融合卷积结果。卷积层提取特征,使用“相同”卷积卷积之前和之后保持图像大小不变。通过双线性插值Upsampling执行,规模相应的特征提取部分与每个Upsampling融合。

从部分3.2,可以得出结论,ODE-block位置U-Net添加下降的“U”形结构,和更短的时间。因此,我们添加一个ODE-block错误宽容和两个ODE-blocks错误宽容底部的“U”形状,如图6。

这个网络使用的最终预测结果softmax激活函数,也就是说, 在哪里的输出值是 - - - - - -th节点和是输出节点的数量分类类别的数量。多级的输出转换为概率分布的范围 通过将softmax函数,这意味着节点的概率属于背景,白细胞、红细胞。我们使用分类交叉熵作为网络的损失函数,通常适用于多类问题和可以避免的问题,减少了学习速率的均方误差损失函数。方程如下: 在哪里预期的产出和分布的概率是多少是网络的实际输出的概率分布。当交叉熵的值比较小,这两个概率分布更接近。

4所示。实验结果和讨论

拟议中的NODEs-UNet网络框架应用于多级血液细胞图像分割的问题,它是用来评估的作用利用ODE-block分割。真正的图像数据集从公开数据集选择MISP和病理学系,伊斯法罕大学医学科学,包含血涂片红细胞和白细胞显微图像,即MISP01数据集(19]。这个实验的结果进行了比较与U-Net网络(8)和ResNet网络(13]。我们选择这两个网络的原因是U-Net网络擅长语义分割的基础,这是我们建议的NODEs-UNet网络。ResNet网络也是基于U-Net网络的简化版,和剩余模块添加到U-Net网络。添加ResNet-block位置被称为D-LinkNet [20.体系结构;然后,我们建造了ResNet网络模型。在下面几节中,我们给实验设置。然后,我们比较我们的方法和这两个方法和统计结果。

4.1。实验设置

在这项研究中,所有的实验都是在Ubuntu 16.04 LTS实现64位操作系统和英特尔至强64 E5核心CPU和NVIDIA GeForce GTX 1080 Ti 11 G4 GPU,基于Keras深度学习框架配备NODEs-UNet网络模型。ODE-block使用TensorFlow。我们完成培训和检测血液细胞图像分割8.0 CUDA GPU计算平台和cuDNN 7.5深度学习GPU加速图书馆。

为了提高训练速度,我们调用这个函数multi_gpu_model四gpu()复制模型。每个GPU调用自己的模型,运行在它自己的数据集,然后将所有运行结果连接在一起。为了避免内存溢出,模型是建立在CPU。我们输入训练集和验证集训练网络,保存模型与最小的损失(val_loss)验证设置在一个模型在HDF5文件并保存网络框架。

4.2。验证对血液细胞图像分割

MISP01数据集,四个随机选择的血细胞图像被用于基于NODEs-UNet血液细胞图像分割框架,和图7显示了结果。图7(一)是最初的血液细胞图像。图7 (b)使用一种自适应预处理血细胞图像直方图均衡化方法(参见吗2)。图7 (c)血细胞图像的相应的标签。图7 (d)使用我们的算法的分割结果。从图7,我们可以看到,我们的方法可以准确地细分背景,红细胞和白细胞。它有明确的边界和完整的细节,分割结果非常接近地面的真相。

为了进一步验证我们提出的基于NODEs-UNet网络分割方法在本文中,我们比较和分析的分割结果的质量我们的方法与相关工作的基础上开发U-Net网络(8)和ResNet网络(13),而分割的比较结果如图8。图8显示了四个随机选择使用三个网络的血液细胞图像分割的结果。如图8(一个),原血细胞图像随机选择从MISP01数据集19)模糊和噪声。图8 (b)是使用一种自适应增强的细胞图像直方图均衡化方法(部分2)。图8 (c)相应的地面真理。图8 (d)显示了应用U-Net后图像分割结果。图8 (e)的分割结果应用ResNet后图像。如图8 (f)的结果我们提出了基于NODEs-UNet网络分割方法,我们可以看到,我们的工作可以提供更准确的分割和更多的细节。

定量衡量和比较该方法与其他方法的准确性,我们应用分段上的每个方法的数据集,并与地面真理。然后,我们算真正和错误检测分割结果。有效性度量基于PA、会计师和MIoU计算。表2显示了每个方法的评价结果对血液细胞图像分割测试设置,参数的地方指的是内存占用的空间参数网络模型的重量。数据9和10显示的具体PA和MIoU指标每个网络的分割结果在20血细胞图像。

观察表2,通过比较客观评价数据(PA、会计师和MIoU) U-Net网络与ResNet和NODEs-UNet网络,我们的结论是,U-Net网络体系结构的基础上,通过添加ResNet-block还是ODE-block,分割结果都显著提高。ResNet网络,PA和MIoU增加了0.42%和1.05%,分别和PA MIoU NODEs-UNet网络增加了0.88%和2.18%,分别。这主要是因为ResNet-block和ODE-block结合的输出输入信息和输出信息的内部模块的操作,和此连接方法确保在网络模型中添加后,模块的精度至少不低于初始网络模型的准确性。和由于计算能力的限制,实验设备、卷积核的数量在卷积层U-Net网络摘要两倍小的传统U-Net网络,和复杂性更低。在添加ODE-block之后,网络的深度增加,所以网络的精度显著提高。

然后,通过比较的指标数据(PA和MIoU) NODEs-UNet网络和ResNet网络,它可以看出ODE-block比ResNet-block性能更有优势,和PA MIoU NODEs-UNet网络增加了0.46%和1.13%,分别比那些ResNet网络。这是由于残余网络常微分方程的一种特殊情况,即欧拉方法的离散化。欧拉方法非常直观求解常微分方程,也就是说, 。每当隐藏层迈出的一小步沿着 ,新的隐藏层的状态 应该在现有的方向迈出了一小步。如果我们从来在这样的一小步,颂歌的数值解。如果每次都等于1,然后离散化的欧拉方法等于剩余模块的表达 。但欧拉方法是解常微分方程的基本方法采用。每一步都会让一个小错误,错误将会积累。

的ODE-solver NODEs-UNet网络移动固定步长不像欧拉方法。它将选择一个合适的步长近似真实的解决方案根据给定的误差公差。减少误差公差将增加的数量评估函数的,类似于增加模型的深度。因此,我们可以改变的行为神经网络通过改变错误的宽容。在训练过程中,可以减少误差,可以提高准确率,神经网络可以学习的更好。在测试过程中,误差可以根据实际的计算环境,增加功能评估可以减少的数量,我们可以更快得到分割结果。通过比较占用的内存空间NODEs-UNet网络与ResNet网络参数,占用的内存空间NODEs-UNet网络ResNet网络的仅为46%。这是由于参数化的导数ODE-block隐藏状态的,这同样结构层连续性和参数。没有中间结果存储在向前传播的过程,所以它只需要大约持续内存成本。

5。结论

本文结合了神经常微分方程与U-Net网络段血涂片图像。与更常见的语义分割使用完全卷积网络,本文不改进特征提取和多尺度融合,但它是直接基于U-Net网络模型。添加了ODE-block改善网络,提高网络对细胞图像分割精度。利用ODE-block的特点中,我们使用的ODE-solver ODE-block参数化的导数隐藏状态,而不是像往常一样直接参数化隐藏状态。此连接方法可以达到同样的效果随着剩余网络,可以有效地避免网络退化的问题在网络。当然,本文的网络层不是很深,和本文的优势没有充分的利用。ODE-block可以选择合适的步长近似真实的解决方案根据给定的误差公差。基于这些特点,减少错误容忍将增加的数量评估函数的,这类似于增加模型的深度不增加模型的参数。我们减少错误宽容的ODE-block条件有限的计算资源,和深网络模型也可以。

下一个研究计划是执行卷积 卷积内核为每个采样NODEs-UNet网络规模。我们将执行所有输出的多尺度融合,将它们连接到完全连接层,做线性回归。所以我们可以直接输出的血液中的白细胞和红细胞的形象。

数据可用性

源代码支持这项研究可从相应的作者在合理的请求。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究由美国国家科学基金会支持的中国(批准号61806024),教育部科学技术研究项目的吉林省(没有。JJKH20210637KJ),科研项目部门的吉林省生态环境(202107号),中国。我们感谢作者为MISP数据集。

引用

1. a . Gertych z, j . Tajbakhsh, a . Velasquez-Vacca和b·s·克努森”的快速三维描述细胞核为高含量筛选平台,“计算机在生物学和医学卷,69年,第338 - 328页,2016年。视图:出版商的网站|谷歌学术搜索
2. h . Irshad a . Veillard l .面粉糊,d . Racoceanu“核方法检测、分割和分类在数字组织病理学:审查当前状态和未来的潜力,”在生物医学工程IEEE评论7卷,第114 - 97页,2014年。视图:出版商的网站|谷歌学术搜索
3. m . Kowal m . Skobel, n . Nowicki“计算机辅助细胞学特征选择问题,”国际应用数学和计算机科学杂志》上,28卷,不。4、759 - 770年,2018页。视图:出版商的网站|谷歌学术搜索
4. c . Koyuncu e . Akhan t . Ersahin r . Cetin-Atalay和c . Gunduz-Demir”迭代h-minima-based marker-controlled细胞核分割的转折点,”血细胞计数部分,卷89,不。4、338 - 349年,2016页。视图:出版商的网站|谷歌学术搜索
5. a .来自k . Nurzynska j . Gronkowska-Serafin b·塞利格c . Boldak和d . Reska”应用角膜内皮的影响图像分割技术在临床参数,“计算机医学影像和图形卷,55 13-27,2017页。视图:出版商的网站|谷歌学术搜索
6. j .长,大肠Shelhamer, t·达雷尔“完全卷积网络语义分割”《IEEE计算机视觉与模式识别会议(CVPR),页3431 - 3440,波士顿,马萨诸塞州,2015年。视图:谷歌学术搜索
7. g . Litjens t . Kooi b . e . Bejnordi et al .,”一个调查深度学习在医学图像分析中,“医学图像分析,42卷,60 - 88、2017页。视图:出版商的网站|谷歌学术搜索
8. o . Ronneberger、p·费舍尔和t . Brox”U-Net:卷积网络生物医学图像分割”医学影像计算和计算机辅助干预(MICCAI 2015)卷,19351在计算机科学的课堂讲稿施普林格,页234 - 241年,2015年。视图:出版商的网站|谷歌学术搜索
9. m . Kowal m .Żejmo m . Skobel j . Korbicz和r . Monczak“细胞核分割在细胞学图像使用卷积神经网络和播种分水岭算法,”数码影像杂志,33卷,不。1,第242 - 231页,2020。视图:出版商的网站|谷歌学术搜索
10. y y的歌,l . Zhang陈,d .倪Lei, t·王,“准确分割颈细胞质和核基于多尺度卷积网络图分区,”IEEE生物医学工程,卷62,不。10日,2421 - 2433年,2015页。视图:出版商的网站|谷歌学术搜索
11. f·h·d·Araujo r·r·席尔瓦·d·m·Ushizima et al .,“深度学习细胞图像分割和排名。”计算机医学影像和图形卷。72年,13-21,2019页。视图:出版商的网站|谷歌学术搜索
12. 美国Ozturk和b . Akdemir细胞类型为基础的语义分割等组织病理学图像,采用深卷积神经网络”国际期刊的成像系统和技术卷,29号3、234 - 246年,2019页。视图:出版商的网站|谷歌学术搜索
13. k . x张,他任美国,j .太阳,“深残余学习图像识别,”2016年IEEE计算机视觉与模式识别会议(CVPR)拉斯维加斯,页770 - 778年,NV,美国,2016年。视图:出版商的网站|谷歌学术搜索
14. h .能剧,美国在香港,汉族,“学习反褶积网络语义分割”2015年IEEE计算机视觉国际会议(ICCV),页1520 - 1528,圣地亚哥,智利,2015。视图:出版商的网站|谷歌学术搜索
15. 涩谷和k . Hotta“反馈U-net细胞图像分割,”2020年IEEE CVF计算机视觉与模式识别会议/研讨会(CVPRW),第4203 - 4195页,西雅图,佤邦,美国,2020。视图:出版商的网站|谷歌学术搜索
16. s h, z . Chen h . Wang d . y . Yeung w . k . Wong和w·c·哇,“卷积LSTM网络:机器学习的方法对降水重点学科,“1 - 12页,2015年,http://arxiv.org/abs/1506.04214。视图:谷歌学术搜索
17. l . p . Malhotra中收取,g .鉴定和p•阿加瓦尔”长期短期记忆网络异常检测的时间序列,”在程序按de鲁汶大学医疗卷,89年,第94 - 89页,2015年。视图:谷歌学术搜索
18. r·t·陈y Rubanova, j·贝当古,和d . Duvenaud“神经常微分方程,页6571 - 6583,2018,http://arxiv.org/abs/1806.07366。视图:谷歌学术搜索
19. o . Sarrafzadeh h·拉巴尼,a . Talebi和h . Banaem,“选择最好的特性对白细胞分类血涂片显微镜图像,”有医学成像,p . 90410 p,圣地亚哥,加利福尼亚州,美国,2014年。视图:出版商的网站|谷歌学术搜索
20. l, c,和m . Wu”D-LinkNet: LinkNet pretrained卷积编码器和扩张的高分辨率卫星图像道路提取,”2018年IEEE CVF计算机视觉与模式识别会议/研讨会(CVPRW),页182 - 186,盐湖城,UT,美国,2018年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021李东明et al。这是一个开放访问分布在条知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。