文摘
在最近的人工智能的时代,分割大大先进的边界和对象实例检测尤其是在不同领域(例如,生物和环境研究)。尽管其进步,边缘检测在相邻的对象(例如,生物细胞)仍然是棘手的。这是因为同构和异构对象是容易被混杂在一个单一的形象。应对这一挑战,我们提出加权面具R-CNN旨在有效地分离重叠对象由于额外的重量相邻边界。在数值研究中,一系列的实验与应用程序执行模拟数据和真实数据(例如,微胞藻属最常见的一种藻类属和细胞膜的图像)。值得注意的是,加权面具R-CNN优于标准的面具R-CNN,鉴于分析实验显示平均92.5%的精度和召回的96.4%海藻数据和94.5%的精度和召回在细胞膜数据的98.6%。因此,我们发现,大多数样品边界在真实和模拟数据中精确分割对象的混合物。
1。介绍
属的鉴定水样的重要性在评估水质的愿景。多年来,这个过程主要依靠手工计数(1),这不可避免地受限制在消耗时间,人力,和精力。因此,迫切需要发展愿景sensing-based自动化工具能够加快检测和量化的过程。通常,先前的藻属的研究集中在发展中准确的分类模型。识别标签,模型设计来预测相应的分类单元,学习感兴趣的图像包含属。大规模数据通过增加技术利用,调整模型的基础上AlexNet架构(2]。引人注目,他们取得了性能的总体精度99.51%的80属,其中每个包含超过2000个样本。基于不同深度学习方法,各种预测模型基于手工特性也报道了不错的效果。重要的是,舒尔茨等人,布埃诺等。3,4分别获得95%和98%的准确率。考虑到精度的研究近100%,表面上看来属的分类是征服。除此之外,公园等。5)提出了贝叶斯文中针对神经结构(BO-NAS)寻找一个更好的分类与卷积神经网络(CNN)蓝藻。使用流式细胞分析仪和显微镜(FlowCAM;(6),他们收集了蓝藻的图像数据,包括微胞藻属表现为干扰影响由于拥挤的细胞和硅藻。这是非凡的CNN模型有效地分类藻属F1的分数,这是精度和召回的调和平均数,0.95的8个属。有趣的是,利用所有的CNN,灰度表面方向角模型(GSDAM;(7])和精明的边缘检测8,9已经确定了海藻在一种无监督的方式。玛丽和Prabakaran [10分割和分类70属1531年用精明的边缘检测和图像初始V4 (11]。先前的研究已经取得了一些重要的分类结果属图像,但他们在空间有限的分类(12]。为了检测和量化属此外,几个仍然棘手的问题。如前所述(1),应定位属自分类学者提出了图像处理图像包含多个类群。这样做,我们一定会介绍这两个感兴趣的区域(ROI)检测和分割算法实例。
最近,图像分类被应用在各种领域,如地球科学和遥感(RS)。(HS)的高光谱图像包含空间信息专业,几位研究项目已经成功了13]。香港et al。14)地址HS图像聚焦于RS图像与多通道深度学习框架(MDL-RS)。MDL-RS网络提出五个模块即插即用融合可能提交图像信息的有效形式。提取两个子网(Ex-Net)基于pixel-wise或空间谱架构,每个形态提取特性通过CNN-based网络地图。融合网络的嵌入Ex-Net输出与输入(Fu-Net) Fu-Net绑定使用串联,compactness-based方法特征图。外地图卷积网络(外地GCN)分类HS图像与一个新颖的基于semisupervised学习(15]。
此外,最近的研究也注意检测的精确边界处于复杂的图像数据。谢et al。16]利用hyperparameters训练和使用转移学习减少训练时间的GlacierNet CNN修改SegNet [17]。在[18),深完全卷积网络扩张内核(FCN-DK)基于监督pixel-wise图像分类为提高地籍边界检测提出了在城市和semiurban地区。模型的性能与最先进的技术,包括多分辨率分割(夫人;(19])和全球化的可能性边界(加仑桶;(20.])。医学图像分割的特别是在CT图像,完全自适应密度(变频器)神经网络在U-Net添加水平连接结构(21)被执行杰出的边界检测(22]。
实例分割的同步任务检测和描述每个区分对象在一个图像。突破R-CNN越快(23),该模型与并行分支预测分割对象检测使用面具,即面具R-CNN [24),在可可实例上超过了所有前面的最先进的方法分割数据集(25),已被广泛应用于不同的学术领域。尽管其优越的性能是毫无疑问的,它仍然有困难在处理人口拥挤和重叠的实例。
为了解决这些障碍,我们提出一个新颖的方式改善面具R-CNN容纳额外的重量的模型集成之前已知的知识。在实验中,我们运用权重藻类尤其是相邻的边界微胞藻属属相当复杂的分类,因为各种形式的藻类。值得注意的是,这也是值得有效计数细胞(即显示。,vision sensing) through calculating objective areas for the measurement of concentration in algae. Moreover, we leverage heavy weights to adjacent boundaries of objects in multiple cell membrane images for improved accuracy.
本文的其余部分组织如下。节2拟议的方法。接下来,节3,我们描述如何获取图像数据集,进行预处理,并提供实验结果。节4,我们将讨论我们的研究结果与现有的工作和解决未来的工作。
2。方法
2.1。面具R-CNN网络体系结构
网络架构的面具R-CNN主要包括两个部分:(1)特征提取和分割(2)实例。首先,ResNet101模块(24可可]pretrained的数据集。骨干网络和特性金字塔网络红外系统)架构设计中提取特征用于更好的精度和处理速度。接下来,在网络体系结构,模型检测的ROI,派生的ROI检测和分类。这些框架,充分卷积面具预测是最后实现例如分割。
2.2。集成的距离与面具R-CNN重量
这里,站在面具的肩膀R-CNN,我们提出加权面具R-CNN特别设计的适应先天的已知重量的主要目标函数。这种方法主要是针对精确分离多个样品的边界分割的实例。简而言之,任务的面具R-CNN主要实现三个目标:(1)分类类标签,(2)检测边界框,和(3)分段实例。首先,该模型提取特征图谱通过缩放图像通过CNN。地图的基础上的功能,该地区建议网络允许候选人(RPN)阶段目标生成的锚箱之间的边界框。随后,ROI执行收集的精确对齐像素位置数据。ROI对齐作为构建块来检测对象以及部分实例。关注ROI对齐,模型提取特征图感兴趣的领域通过使用精确坐标完全卷积网络(FCN [26])。后来,通过最小化目标函数的过程中,我们优化面具R-CNN模型。模型将目标函数定义为聚合损失函数的分类、定位和分割27]。此外,每一个损失函数是由将softmax优化函数,盒子抵消回归量,分别和面具FCN预测。在这个过程中,面具的新奇R-CNN进场推进前图像识别模型(例如,快速R-CNN [28]和更快的R-CNN)。推导目标函数时,面具R-CNN实现pixel-wise二进制分类和将面具预测类别分类和边界框检测。值得注意的是,二元分类方法优点的减少计算成本。ROI精确对齐面具,针对近似地面实况的地区。
加权R-CNN面具,下面是该目标函数: 在哪里锚的预测概率吗作为一个对象,是地面真理是否锚标签(二进制)是一个对象,预测的四参数化的坐标,真理是地面坐标,是标准化的术语将minibatch大小(0 ~ 256),是标准化术语的数量设置为锚位置(0 ~ 2400),是平衡参数设置(0 ~ 10这样和大致而言,同样加权),地面实况类的数量,是分配给像素的权重矩阵实例,
此外,我们两个图像表示和集成先天的邻接的已知知识模型。受U-Net,这个重量诱发强烈的分离在样品边界靠近。理论上,重量越大越接近边界: 在哪里 是重映射到平衡类频率, 表示距离边境最近的细胞, 表示距离边境最近的细胞,第二次分别指的是体重调整参数。
原则上,受大小的对象,对象之间的距离,和形状的对象在一个图像。规模占可变性,我们每个重量分别映射到范围从0到1。接下来,我们考虑的参数确定权重矩阵的力量。重量参数可用于添加额外的强调对象的边界特别是当对象之间的距离太窄,这样我们很难区分的界限。后续,我们实施这个重量目标函数的矩阵面具的时尚element-wise计算。综上所述,图1显示的端到端体系结构模型。
此外,随机梯度下降法(SGD)算法作为优化器和minibatch大小是固定的1在这项研究中,我们将学习速率的0.001和100年的时代。验证过程与地面比较真实面具来评估预测性能。实施,面具R-CNN采用PyTorch包为简单起见(29日]。
3所示。数值实验
3.1。数据集
接下来,我们描述数据集的数值研究。首先,有必要生成well-preprocessed数据集产生可靠的实验结果。为此,我们应用等预处理技术标准化或扩展原始数据和匹配每个图像预处理与精确的注解。
3.1.1。模拟数据
在模拟我,我们生成圆图片每一个都包括在4和6圈为训练数据集对象,分别所有图像的分辨率 像素。同样的,我们生成圆图像包括指定数量的对象为测试数据集(即。,4和6)。Subsequent to this, we divide each image both in horizontal and vertical direction in the way that each circle is exclusively placed one at a diagonal slot and the radius of each circle is limited to the boundary of slots. Simulation II emulates the nature of real data, for which we generate the shape of ellipses in accommodating randomness and complexity to the simulation data sets. More precisely, we randomly choose the center points of objects and generate ellipses of random sizes for experiment data sets assigned to the diagonal slots. This configuration makes distance between objects arbitrarily determined and promotes adequate complexity.
3.1.2。微藻和细胞膜数据
淡水微藻收集样本用于这项工作在11 weirpools和五个水库位于四大河流(例如,汉族,Nakdong,, Yeongsan)在韩国。水(定量)或净(定性)采集标本的表面,并立即固定在最后1%浓度酸化Lugol的碘溶液30.]。定量样品被允许站在实验室的黑暗的地方超过一个星期,然后,上层清液小心被集中一个适当的细胞密度(超过104细胞/毫升)。使用显微照相机进行图像采集(蔡司AXIO范围。A1和绿色。A1模型,德国)连接相机(Axiocam 506颜色)与计算机软件辅助(2012年禅lite),和捕获的图像的分辨率 像素在200 x 400 x显微镜的放大。手动识别藻类物种是基于其分类特征进行31日]。
在实验中,469年微胞藻属使用图像。由于图像收集不够,细分模式的性能会严重恶化。然而,我们调整通过可可数据集的CNN pretrained为了解决退化性能问题。此外,我们还分析30细胞膜图片在电子显微镜(EM;(32])分割挑战国际研讨会上生物医学成像(位ISBI)。在那之后,分类学家精心评估的一致性标签和注释。LabelMe (https://github.com/wkentaro/labelme)作为注释工具被广泛接受的用于分割任务。重要的是,它是非常有用的注释多边形只需标记点和标签属类群挑战性由于复杂性和各种形状的藻类和细胞膜。因此,我们标注一个接一个准确描述复杂的边界。最后,注释文件自动保存在JSON文件格式。对藻类的数据集,我们将整个数据分为训练集的319张图片和150年的测试集图像。
3.2。结果
3.2.1之上。评价指标
真阳性(TP)像素地面真理目标像素和还预测目标像素。真阴性(TN)像素不是地面目标像素和真理也不是预测目标像素。假阳性(FP)像素不是地面真理目标像素但预测目标像素被称为二型错误。假阴性(FN)像素地面实况目标像素而不是预测称为第一类误差作为目标像素。精度和召回被定义为
precision-recall曲线是一个阴谋的精度( - - - - - -轴和回忆 - - - - - -轴)和不同的阈值。平均精度(美联社)precision-recall曲线下面积和计算的平均精度给出召回措施。地图是均值的平均精度计算由多个对象在一个图像。十字路口在联盟(借据)是一个著名的测量从地面真理的面具并预测面具在评估图像分割方法:
在这项研究中,我们进一步定义多个对象在一个图像的平均借据(mIoU交集在联盟(平均)。在这篇文章中,我们计算地图和回忆在给定的借据阈值0.5(默认)。没有给定的借据阈值,我们计算地图和召回的范围借据阈值(默认0.5到0.95的增量0.05)。
第一个测量边界检测在本文中称为测量我的定义是差的绝对值,即相邻两个对象之间的最小距离地面真理面具和预测面具。图2描述了测量我的例子。
第二测量边界检测称为第二测量仪表面罩预定区域中像素的比例。我们比较测量模型与藻类和细胞膜的第二图像,在面具R-CNN产生重叠推断面具两个对象分离的事实。在这个方案下,降低测量II,模型预测能力越好。图3说明了测量的例子。
3.2.2。实验数据
我们比较了面具R-CNN,加权R-CNN面具,面具为单发射击实例编码细分(MEInst;(33])模型通过衡量我和现在的平均值和标准错误给指定的圆和椭圆(即。,在表4和图6)1和2。结果表明,加权预测面具的面具R-CNN模型优越在仿真场景当我们估计地面真理面具掩盖R-CNN和MEInst相比。我们在ResNet-50-FPN火车模型为骨干PyTorch包中实现MEInst和加权R-CNN面具。面具RCNN运行在67.47女士形象几乎一样的加权面具R-CNN记录,和MEInst运行在77.69 ms /图像使用我们的工作站(英特尔i7 - 7800 x 128 gb RAM, Geforce GTX 1080 Ti gpu)。
3.2.3。真实的数据
在表3,我们比较的性能面具R-CNN和加权面具R-CNN模型在实际的数据。在藻类数据,mAP50和Recall50面具R-CNN 0.862和0.945,0.925和0.964的加权面具R-CNN mAP50和Recall50指的意思是美联社和回忆在借据阈值为0.5。以同样的方式,面具mIoU R-CNN是0.801,在加权R-CNN面具,它是0.845。在细胞膜的数据,mAP50和Recall50面具R-CNN 0.899和0.970,0.945和0.986加权R-CNN面具。作为一个整体,很明显,加权面具R-CNN执行比面具R-CNN微藻和细胞膜的数据。
此外,在表4,两个模型之间的对比检测边界。我们选择14藻类图像和14细胞膜图像。因此,我们可以评估在下列条件下图像的面积。首先,对象在图像中检测出面具R-CNN和加权面具R-CNN模型。第二,面具的面具推断R-CNN重叠。这是合理的,因为大多数的微藻图像都乱七八糟的,很多人把努力分离个体在视觉促进藻类计数。第三,指定的对象分类对不同群体。在表3,我们观察到加权面具R-CNN(即。,the mean of 0.36 and 0.65 for algae and cell membrane) consistently outperforms the Mask R-CNN (i.e., the mean of 0.66 and 0.76 for algae and cell membrane) in separating boundaries of adjacent objects with respect to all target images. See the supplementary material (available在这里额外的结果。
4所示。讨论
在这篇文章中,我们介绍了加权面具R-CNN特别设计的精确段实例。简单地说,这个方法提供理论先天的已知的知识中多个对象的边界信息。在数值实验中,结果表明,加权面具R-CNN模型执行比面具R-CNN和MEInst模型的边界检测所表1和2。然而,它所示实验需要恰当地调整来提高性能。特别是,我们很难执行明确的藻类(如,微胞藻属)和细胞膜的图像,在某种意义上,它们通常混杂在一个图像和形成与异构数据。要克服这一点,加权面具R-CNN值得实现的精确分割任务。最重要的是,它也是值得注意的,该方法可以提前在微藻的研究领域符合改善实例分割。令人惊讶的是,这种方法显然有助于量化每一个细胞在视觉传感方法。在现实中,在淡水有紧急需求分析量化藻类细胞的数量和浓度的海藻。这个实用程序允许监控大海或河流的水质34]。时配置的模型,模型中的重量只有对象之间距离的基础上构建,但是这个重量可以扩展到其他已知的知识在数据集成的精神。也是有趣的利用先进的网络架构和模块在提高精度,加快计算速度。我们离开这个主题为未来的研究。
数据可用性
所有的数据集都可以在作者的网站(http://www.hifiai.pe.kr)。
的利益冲突
作者宣称没有利益冲突。
确认
本文是2019年建国大学的支持。本研究支持的基础科学研究项目通过韩国国家研究基金会(NRF)由科技部,ICT和未来的规划和2020年建国大学研究员基金和韩国国家研究基金会(NRF)由教育部科学技术(NRF 2020 - 2019 r1c1c1011366和r1c1c1a01005229)。
补充材料
图S1:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S2:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S3:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S4:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S5:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S6:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S7:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S8:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S9:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。图S10:实例分割掩模的例子R-CNN(左)和加权面具R-CNN(右)。 Figure S11: the instance segmentation examples of Mask R-CNN (left) and weighted Mask R-CNN (right). Figure S12: the instance segmentation examples of Mask R-CNN (left) and weighted Mask R-CNN (right).(补充材料)