文摘
相衬显微镜是一种使用最普遍的仪器观察长期细胞运动在不同的解决方案。最经典的分割方法考虑齐次补丁为对象,同时记录细胞图像细节丰富,很多不均匀的小块,以及一些工件,从而妨碍应用程序。应对这些挑战,本文提出了一种分层融合方法(协会)提取均匀补丁和启发式的相加。最初,最感兴趣的区域(ROI),只有细胞事件存在,是利用梯度信息作为一个面具。然后,基于内核或不同程度的模糊灰度形态学操作是应用于整个图像产生参考图像。面具下,每个独立地区应用大津方法独立地根据不同的参考图像。因此,生成的分割结果的组合在所有可用的补丁信息层。该方法并不是一个简单的融合的基本分割方法,但是这些基本方法相结合的策略。实验表明,该方法优于以往的方法在我们的数据集。
1。介绍
1.1。介绍
在生物研究领域,生命的细胞检测和识别阶段很重要。他们两人中扮演关键的角色访问抗癌药物的有效性,优化文化的公式解细胞增殖和细胞病理分析,等等。
相差显微镜(1,2)是最常见的一种成像设备,用于医学图像的采集,尤其是细胞图像,没有额外的荧光指标。为无色、透明细胞标本,相衬显微镜系统可以产生大幅图像。虽然这些图像可以手动分析,不同类型的细胞转换和形态,包括增殖、分裂,细胞凋亡,可能会增加检测错误率,使过程非常耗时。大跨度的判断标准可能不同手动检测,这是不利的结果。因此,有必要开发一个计算机辅助方法具有一致标准自动检测单个细胞和分析细胞形态。所有这些使分割最具挑战性的任务之一显微细胞图像分析。分割结果也为进一步的分析打下基础,如细胞跟踪和细胞识别阶段。
由于相衬成像原理(3),相衬显微图像(1,4,5)包含工件,bright-halo shade-off。这两个效应使细胞图像更不均匀。一个例子是显示在图1(一),大多数细胞内的地区都处于同一灰度区间为背景。大多数视图中的细胞都粘在一起,对象和背景之间的界限并不总是显而易见的。不同的细胞形态,细胞粘附的不同方式,困扰整个情况。相衬显微镜的确提高了胞内结构的对比,但是黑白斑点很难得到同质斑块。此外,沿着细胞边界产生的物质,这是在同一灰度级的胞内区域,也可以增加细胞分割的困难。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
1.2。相关工作
多年来,许多广泛使用的图像分割方法。阈值(6,7)基于灰度直方图有很长的历史在图像分割领域的应用。然而,直方图只包含灰度统计信息,这不能代表当地的有效结构。全球多级大津法与不同数量的阈值应用到图像划分为类。如数据所示1 (b)和1 (c),结果并不令人满意。边缘检测方法(8- - - - - -10)都用在某些情况下,目标与背景的灰度不同或RGB域。当背景类似于目标,很难找到真正的边界。分水岭方法(11,12)和marker-controlled分水岭方法(13)利用当地的拓扑结构。形态学操作(14在这些方法)作为辅助手段。结果是显示在图1 (d)的补丁不能被认为是细胞区域。意味着转移(15,16)是一种自适应核密度估计方法。它利用本地数据分布来估计当地的模式。活动轮廓模型(ACM) (17- - - - - -20.]进化曲线主要是基于局部灰度强度和梯度信息。初始化轮廓位置和搜索方向在很大程度上可以影响结果。当放置图像边界上的曲线与由外向内的搜索方向,结果后可以生成迭代曲线进化,如图1 (e)。一些互动的方法(21,22)主要是基于图切割方法(23,24)和superpixel方法(25)更适合自然彩色图像分割。指的是数据1 (f)和1 (g)交互式图形切割方法需要大量的手工标注工作和结果图像包含了许多有关地区,不能代表单个细胞。图1 (h)显示的结果superpixel方法应用于灰色强度域。大约有2500 superpixels在这个形象。他们中的一些人可以绑定单元区域,而大多数不能。尽管它可以合并小补丁更大的地区,大部分superpixels背景和细胞的复合部位,甚至边。最近,阴et al。1,26)提出了一个新颖的方法部分细胞图像,把相差一个特例的形象。他们模型相衬显微镜系统,制定全球二次优化问题。他们还应用superpixel方法(25)在阶段功能域(27)获得phase-homogeneous原子。
自不同的方法展示他们的优点和缺点在不同的数据集或不同的应用程序上下文,我们给一个小讨论一些常用的医学图像分割方法。他们有一些共同点,应给予足够的重视,并能帮助解决的挑战。
首先,基于阈值的方法(6,7),目标是找到一个或多个合适的阈值。特定的阈值将定义分区和补丁的形象,和gray-intensity每个分区将被限制在一个小的偏差从每个灰度中心。
其次,ACM (17- - - - - -20.,28)已修改,为特定的应用程序有许多版本。ACM旨在发展曲线,直到达到停止条件。它不仅利用强度也局部图像梯度信息。在最初的版本中,每个像素一视同仁,没有偏见。的一个版本允许一个小偏差由高斯内核。然后所有有界区域内的小偏差将被视为对象。
第三,该方法基于成像模型(1,26,27),制定优化函数的基础上真正的成像系统。方法的目标是尽量减少二次优化目标函数相结合的空间,时间,惩罚项,基本术语,是真正的图像和目标图像之间的距离。该方法的关键是波的相位,可以操纵和统计功能。每个阶段将由一个内核,可以解读为点扩散函数(PSF)。每个内核给偏见一样高斯内核。达到收敛后,每个区域将被视为对象。
总之,这里给出所有方法之间的共性是给定的偏见。在小偏差的方法对待每个区域作为对象,后来采取机器学习来获得所需的补丁。内核和应用也是很重要的原因。内核可以解释为像素是如何影响其周围像素或周围的像素是如何影响中央像素。
1.3。我们的建议
一些经典方法的分析的基础上,提出了一个简单但有效的方法部分细胞相衬显微镜,它适用于粘附情况。大多数的步骤是基于经典的方法,但是我们应用它们以不同的方式。在提取步骤中,分层策略应用于构建原始分割结果。我们的方法可以检测各种细胞不同阶段;然后它使用机器学习的方法来消除noncell blob。在过程中,形态操作应用普遍。然而,我们的方法是半自动的。一些步骤需要进行手动预设定,但大多数参数用于处理流程是相对固定的。
本文的贡献是三倍。第一个是一个新颖的分割框架的设计。分层融合方法(协会)利用分层信息层得到令人满意的分割结果。
第二个是,我们评估不同的融合策略协会框架下得到不同的组合,可以选为最好的结果。
第三个是最先进的方法的广泛的评价在我们的数据集,这是比文献中的实验数据集更有挑战性,我们的方法达到显著改善。
本文的其余部分组织如下。部分2介绍了协会。部分3提供广泛的实验结果和协会之间的对比和以前的方法在我们的数据集。部分4总结了纸和讨论未来的工作。
2。方法
该协会方法可以解释框架如图2。在这个框架中,最感兴趣的区域(ROI)块给最大面具覆盖所有细胞区域,而模糊水平块给基于模糊层次不同参考图像和灰度形态学操作。分层提取和合并块在这个框架最重要的部分。最后,错误的补丁将过滤后的分类器。
2.1。最大的投资回报
这一步只需要考虑的梯度信息来获取最大的利益。根据我们的数据集,胞内gray-intensity是安静的类似于解决方案的背景,这意味着细胞区域不能区分灰度范围。
然而,细胞内的地区充满了小结构和不一致的小补丁,这有很多的边缘信息,和背景比细胞相对平滑的区域。因此,梯度信息足以区分细胞区域和背景区域。
有很多边缘检测方法,包括精明的(9)和罗伯茨。例如,在[8),罗伯特算子应用于医学图像边缘提取区域以及形态学膨胀。在实践中,大多数边缘探测器可以利用,到目前为止,获得最大的投资回报率在二进制形态学操作(14]。
在本文中,精明的算子应用于原始图像和两个downsampled图像,和。
精明的经营者可以制定 在哪里是边缘强度矩阵,边缘方向矩阵,像素坐标的值在图像空间域,然后呢
精明的算子应用到不同尺度图像后,所有原始图像梯度地图合并。合并后的地图可以被定义为 上标数字的,,表明downsampled规模和下标意味着输出二进制映射。
有许多形态学处理流能产生最大的投资回报率二进制面具。在我们的模型中,形态、侵蚀和区域开放操作,以及一些逻辑操作。输出最大ROI二进制掩码,如图3 (c),可以覆盖所有细胞活动如图3 (d)。虽然仍有许多地区背景的面具,这不会影响应用程序的进一步措施。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
2.2。模糊
指的是以前的方法的分析,模糊是必要的。模糊的应用程序(29日)、小结构和不一致的补丁可以融合在一起,和当地的模式可以更加明显。
两种方法被广泛用于模糊图像。第一个是最常用的方法,它是基于预定义的内核,如高斯模糊,模糊,拉普拉斯算子的模糊,等等。第二类是衍射模式的内核(DPK) [26,27),这是源自于相衬成像系统。
在这项研究中,高斯模糊选择是由于它的简单性和有效性。我们应用它的半径为5像素和方差为1.0。它可以削弱边缘和建立一致的补丁。
高斯模糊可以新配方 在哪里的上标表明卷积的时代。
模糊操作使可见胞内结构模糊,混合细胞内prone-dark零件,也有助于混合prone-bright单元边界。基于模糊之外,还有另一种方式来构建区域一致,即灰度形态学操作(14]。该方法应用于marker-controlled分水岭。它充分利用形态学操作现场。图像,图3 (e)数时,模糊的结果是20,而图像,图吗3 (f)基于图3 (e)与灰度形态学操作。大部分的补丁可以清楚的看到在图一致3 (f)。参考图片可以生成的流图4。
2.3。当地大津
我们不能采用大津法(6,7)对整个图像范围,因为不同的图像在整个序列含有不同比例的gray-intensity水平。否则,会有不同的不同的图像分割结果,不能从这些片段识别和目标。
最大的ROI掩码的第一步,有许多8-connected个人补丁,它可以表示为和个别地区的总数。每个补丁只是用大津方法应用在这一步。
基于前两个步骤,所有补丁被认为是只有细胞活动。对于每个补丁,强度水平的比率不同规模小,和大津法有三个阈值可以很容易地分离,在那里为四类,即dark-section, prone-dark-section bright-section, prone-bright-section。因此,也可以表示,这四个部分。如图3 (g)dark-section标志是蓝色,prone-dark-section由绿色标志,bright-section是橙色,prone-bright-section是深红色,而dark-blue-section代表了背景。
2.4。分水岭
分水岭方法通常是用于分离细胞附着在我们的研究中。在[8),细胞粘在一个方向上的实验图像;为每个细胞周围的细胞,没有粘连的情况。因此,分水岭方法可以应用于数据集直接分离粘连补丁为个体在全球地区。
图片在我们的数据集,细胞后还坚持在一个方向上采用大津法。因此,分水岭方法也适用于区域有关。有时,分水岭方法可能产生oversegmentation和undersegmentation正确情况下,但在大多数情况下可以单独的贴壁细胞基于当地的形态结构。在我们的模型中,分水岭方法的普遍应用于整个处理流程。
图3 (h)是分水岭dark-section的结果(或blue-section)在图吗3 (g),几乎可以代表和细胞原始图像。然而,一些细胞是忽略了在图3 (h)包裹在其他彩色层图3 (g)。更小和同质补丁将在下一步中提取。
2.5。补丁提取和合并
在这一步中,提出了一种分层的方法来提取更多的补丁并将它们合并到一个原始分割的结果。有许多中间结果如图5。图5(一个)通过应用分水岭方法结合图像的绿色和蓝色区域在图吗3 (g)。不同的补丁在中间图像有不同的表示。一些补丁在图3 (h)可以代表细胞的主要部分,而一些补丁在图吗5(一个)可以覆盖更多领域的单个细胞。在图3 (g)补丁,橙色和红色部分单独的细胞。一些空白区域可以表示细胞区域如图5 (b)。两个数字5 (c)和5 (d)在本地是彩色图像在应用大津法。生产彩色图像在图的目的5是让小区域。这些区域可以代表单个细胞可能被忽视的在前面的程序。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
建筑的原始结果之前,让我们更详细的解释,指的是数据3和5。协会提出的框架,。后在本地实现多级大津法的三个阈值,也可以分为四个部分,这可以表示。因此,表示在图蓝色部分5 (c)。其他方式的组合也非常有用,例如,这两个部分合并为一个ROI,,这表明孔区域。
这种方法后,结合战略图可以显示在图6。不同的组合策略试图确保细胞的目标可以掩盖一个合理的补丁。然而,组合策略三个部分很少在我们的模型中实现。
在图6,结合战略图中的所有节点可以取代ROI节点来获得更多的信息层,和参考图像可以改变小补丁。的数字,1到4,代表了后四类应用本地大津法和这些类的组合是由一个数字序列。每次应用大津法时,阈值可以操作的数量,经验3。可以添加更多的参考图像和使用过程中,但主要基于数据3 (e)和3 (f)。
在不同步骤的过程,应用程序域多级大津方法的改变,所以小补丁可以分割。原始的结合产生的结果是所有的信息和有用的层,但策略不同的图像可能会有所不同。
生的结果,图5 (e),是主要由相结合,,,,和。然而,图5 (g)挖掘更深层次的视图中的和补丁更小。结合步骤期间,一些逻辑操作和生物操作应用于解决重叠的问题或空心区域扩张。
根据我们的实验测试,就没有可用的补丁后挖三倍或更多。然而,这取决于图像完整的细胞,应用模糊的步骤后,在地区大范围更容易混在一起。为了获得大面积的细节,一个应用程序是必要的。
因为不同的图片有不同的细胞分布和不同比例的细胞在不同的阶段,不同的融合策略应用于不同的图像。从图5 (e)图5 (g),三个二进制图像由协会框架下演示了不同的策略。三张图片中,有许多不同的补丁,可以互补得到更好的覆盖区域。在得到原始分割结果,图5 (e)选为首选。之前发送到支持向量机分类器(30.],分水岭方法应用于分裂地区。SVM滤波后的输出图像如图5 (h)。然而,仍然有许多冗余的补丁和错误的形象。节将讨论自动分类问题3。
3所示。实验和讨论
五个样本图像T24_xy6和T24_xy1图像序列数据集都纳入实验。在图7从左到右,图像是贴上xy1_1, xy1_871, xy6_1和xy6_871分别。第五形象图9(一个)在我们的数据集,贴上xy1_266。序列T24_xy1记录细胞增殖的过程,而序列T24_xy6记录过程的细胞转换添加药物之后,我们有凋亡事件。几乎所有细胞形态学的观点是不同的特性或生活阶段。
(一)
(b)
(c)
(d)
在本部分中,首先比较经典的方法应用于样品图片,然后我们的实验结果证明了基于该协会。接下来,应用支持向量机分类器。最后,给出了一些讨论。
3.1。实验基于一些以前的方法
指图8在第一行,在全球范围内应用大津方法可以独立的单个细胞为分散部分独立但不能产生补丁代表细胞。大津法利用相对价值选择阈值,像素的数量之间的比率是在一个特定水平和图像中像素的总数。大津方法可能会产生意想不到的分割的结果如果阈值的数量是错误的。
(一)
(b)
(c)
(一)
(b)
(c)
(d)
在第二行,应用基于成像模型的修复方法(1,26),绿色部分几乎可以代表正常细胞,但有丝分裂和细胞凋亡细胞无法掩盖的特定的补丁。自大津方法同样对所有像素,包含DPK恢复方法,使一个小公差。所以,在某种程度上,绿色部分可以在第一行与深蓝色的部分。
行3中的二进制图像应用形态学膨胀运算后的结果是基于绿色补丁在第二行。算作是原始的图像分割的结果(1]。
在图9实验结果的SLIC superpixel框架(25在不同的功能领域。本文构建阶段的标准齐次原子是不同于27]。的总数superpixels原始图像中大约有2500。
强度域,每个块都有自己的灰度一致性,但它仍然是难以合并附近补丁包含整个地区代表单个细胞。一些补丁覆盖边缘和细胞内的部分,虽然有些是很难区分的。
在功能域的阶段,补丁变得更大。然而,也没有明显的线索合并补丁和他们无法轻易分为预定义的类。相关补丁,实际上属于不同的细胞也可以有相同的一致性。虽然superpixel方法可以得到小补丁改变预设定数量时,可以将局部结构破坏。
3.2。实验的基础上,提出协会
本文用不同的组合策略进行实验协会框架下和其他处理流。处理流使用不同的信息层和补丁。对于每一个图像,不同的处理流可以产生不同的结果。最优分割结果可以手动选择。
比较图像行3图8、图像图10更丰富的结合层和补丁低于基于成像模型的恢复方法(1]。恢复基于成像模型方法只能获取信息从输出RGB三层图像,这将使它很难让小补丁代表小对象。细胞相衬图片包含许多细胞对象。应用交互式方法时,有许多标记签署,这可能会增加更多的标签工作形象。
(一)
(b)
在实验结果基于协会,多余的补丁,noncell补丁。本文为了删除它们,诉诸形态学特征,局部二值模式(LBP) (31日)功能,还相特性(27屏幕单元目标补丁)。相比之下,分类后的结果和原始结果,大多数noncell区域删除,但他们仍有错误。T24_xy1序列的平均细胞水平分割精度为76.3%。T24_xy6序列的平均细胞水平分割精度为73.2%。
3.3。讨论
摘要判断所有数据,输出分割结果不能严格覆盖单个细胞;只能由细胞的主要部分面具。根据协会提出方法的结果,所有的补丁都小于地面真理。有许多因素导致这样的结果;模糊的边界在原始图像和选择的内核是最重要的。和不精确的分段补丁会导致分类的失败。这些都有助于分割精度较低。
考虑到数据集的特征,很难提高边界;一个更好的方法得到均匀的补丁是选择更具描述性的内核。内核可以合并单元部分的共同一致的灰度。在这篇文章中,我们简单地选择高斯内核合并不同部分。
恢复基于成像模型为我们提供了一个新的视角,但当涉及到细胞图像与细胞内不均匀区域,小价值DPK不能帮助所有补丁。与之相比,(数据集1,27)和数据集,数据集的图像被更多的矛盾和挑战,而在前面的旧报纸同质化倾向或细胞区域分开。一般情况下,该方法可以得到相对较好的分割结果在我们的数据集。
4所示。结论
因为并不是所有的情况都满意所有方法的先决条件,我们筛选出适用的组织在一个巧妙的方法。我们所做的不同步骤的协会是适合每个经典方法的前提条件,利用所有方法。因此,本文的重点是应用在满足所有先决条件严格的方法。后来画的目标合并步骤是让小细胞区域和更具描述性的地区,但是他们不能超过细胞最大的边界。
提出了分层融合方法可以执行在相对固定提取流获得最终结果。在进一步的研究中,较强的推理策略和自动方法将被纳入到框架。该方法已经应用到我们的十原始图像序列。实验结果可以在某种程度上符合要求,但多余的补丁可能会影响后来的跟踪过程。我们组将加强分层融合框架。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是支持部分由中国国家自然科学基金(61325019,61325019,61325019,11302195)和浙江省自然科学基金(R1110679)。