文摘

阴道炎是妇科疾病的健康影响数以百万计的世界各地的妇女。传统的阴道炎的诊断是基于手工显微镜,耗时且乏味。深度学习的方法提供了一种快速和可靠的解决方案自动阴道炎的早期诊断。然而,深层神经网络需要大量的好的注释数据。人工注释的微观图像非常广泛的成本,因为它不仅是一个耗时的过程,也需要训练有素的人(医生、病理学家、或技术人员)。大多数现有的主动学习方法并不适用于显微图像由于复杂背景和形成众多元素的性质。应对高成本的问题标记微观图像,提出了一种data-efficient阴道炎的识别框架基于转移学习和主动学习的策略。提出的信息样本选择策略选择最小的训练子集,然后pretrained卷积神经网络(CNN)是调整所选子集。实验结果表明,该管道注释可以节省37.5%的成本,同时保持竞争力的性能。提出希望小说框架可以显著节省成本注释和有潜力的广泛延伸到其他显微成像的应用程序,如血液显微图像分析。

1。介绍

阴道炎是阴道感染或炎症,这威胁到全世界数以百万计的妇女的健康(1]。有三种常见感染性阴道炎,细菌性阴道炎,candidal阴道炎,滴虫性阴道炎2]。这些疾病可能会导致盆腔炎(PID)的风险增加(3),早产(4),人类免疫缺陷病毒(HIV)感染(5),等等。湿山显微术是一种简单而有效的方法诊断性阴道炎(6]。临床医生使用cotton-tipped器收集患者的阴道分泌物和传播在载玻片有0.9%氯化钠溶液。阴道炎的诊断确认通过手动观察阴道分泌物的数量和形态形成元素。然而,这种诊断技术是非常耗时的,它需要医生有一个高水平的专业知识,和诊断结果很容易受到临床医师的主观和经验的影响。因此,快速和可靠的自动诊断框架阴道炎在早期是迫切需要的。

各种计算机辅助方法的识别性阴道炎都已经被广泛地研究过了。传统的数字图像处理算法的广泛适用性不过是有限的,因为大量的参数在这些方法需要手动设置和优化(7]。例如,郝et al。8)提出了一种自动检测算法基于一种改进的卡尔曼的阴道毛滴虫的背景重建算法,敏感性和特异性达到95%和97%,分别;然而,这种算法很大程度依赖于手工参数调优,如面积、长度、宽度、偏心率和循环。

最近机器学习的进步和深入学习技术,混合方法结合传统的图像处理和人工智能(AI)技术在医学诊断领域已经变得普遍。歌等。9)提出了一个自动细菌性阴道炎的诊断系统,这部分地区的细菌(即使用传统的计算机视觉算法。,saliency cut) and then trains a machine learning Adaptive Boosting model by inputting extracted morphotype features for vaginosis classification. An accuracy of 90.7% was achieved. Nevertheless, the performance of their proposed diagnosis system highly depends on the traditional segmentation results, which need manual parameter tuning. Besides, the average running time for each microscopic image was around 30 s, which did not achieve real-time detection. Zhang et al. [10训练一个卷积神经网络(CNN)从微观白带图像提取特征,然后建立了一个支持向量机(SVM)模型分类candidal阴道炎利用面向梯度直方图(猪)的特性,从先前的特征图谱。然而,他们的方法取得了很高的敏感性和特异性,并分别是99.8%和95.1%。然而,它需要手动设置的阈值分割算法和分割算法的正确性直接关系到后续的识别。王等人。11]介绍了CNN模型对三个类别进行分类自动化诊断细菌性阴道炎的纽金特得分Gram-stained微观阴道分泌物图片,和模型的敏感性和特异性分别为82.4%和96.6%,分别。模型推理速度是25 ms /图像,这是速度比传统的图像处理方法。然而,这种深度学习方法的缺点是,它需要大量的数据训练模型,和他们使用23280个样本作为训练数据。尽管这个端到端框架是,它不需要人工参数调优或以前的图像分割,这种方法有一个极高的标签成本和注释的数据的大小。

对于医学图像诊断援助,深度学习方法可以胜过许多传统图像处理和机器学习方法由于其从原始数据特征提取的效率12,13]。深度学习技术的性能严重依赖于训练数据的大小和质量,通常需要大量的带安全标签的数据时一种高性能模式。尽管如此,它是具有挑战性的大量标签图像由于高成本的时间和专业知识从有经验的临床医生14]。转移学习和主动学习策略进行了调查处理和解决上述挑战。学习技术转移pretrains CNN大标签数据集,然后对pretrained CNN在目标数据集,可有效加快网络收敛的前提下模型性能(15]。转移学习已经成功地应用于医学影像领域,如脑肿瘤分类的任务(16- - - - - -19前列腺癌),识别任务(20.,21,糖尿病性视网膜病变评分任务(22]。主动学习算法是另一个有效的策略来最小化成本标签。通过选择和注释最丰富整个未标记的样本数据集,选择的模型训练子集可以实现竞争的结果相比,在整个标签数据集上训练(23]。周et al。24)测量了每个样本的不确定性的分数计算熵和相对熵的预测概率,由输入获得的原始图像和相应的形态图像转变成pretrained AlexNet [25]。接下来,他们选择和注释最不确定的样本在训练过程中,每次迭代和至少一半的注释成本是保存在三个不同的生物医学成像的应用程序。这种方法不适用在我们的场景中,因为他们的数据集与相对较小的放射学图像大小和简单的背景,而我们的数据集包含微观图像与高分辨率、复杂的背景,和众多的细胞。微观形态变换的图像可能会失去大量的详细信息,和AlexNet结构太浅的特性。戴et al。26)提出了一个gradient-guided暗示注释框架使用变分autoencoder (VAE)脑部肿瘤分割任务。他们获得了类似的结果使用只有19%的磁共振成像(MRI)图像相比,结果通过使用整个标签的数据集。然而,有几个原因,他们提出了框架并不适用于显微图像分类。他们的样本选择方法是为核磁共振图像分割设计,数据集和切片的大小只有240×240像素,这是相对小于我们的图像大小为1920×1200像素。训练一个VAE成本高的计算负载和导致极其缓慢的收敛或nonconvergence由于大尺寸和复杂背景的微观图像。因此,减少一个实用、高效的注释方法显微图像分类是迫切需求。

在这项工作中,我们提出一个data-efficient框架识别的基于深度学习的阴道炎。深度学习技术可以超越传统的图像处理和机器学习方法推理速度、健壮性和准确性;然而,它需要大量的高质量的标签数据。拟议的框架设计微观基础上与大型和复杂的背景图像转移学习和主动学习技术,可显著减少的数量需要带安全标签的数据时,同时保持模型的性能。拟议的框架具有理论和实际意义。降低注释成本不仅可以大大减少医生的负担,还有效地缩短开发周期的医疗诊断设备;因此,计算机辅助诊断系统可以快速应用于实际应用。

剩下的纸是组织如下:部分2描述了数据集的细节提出了方法和评价指标。部分3给出了实验结果。实验结果的讨论、局限性和未来研究中描述的部分4。部分5描述了本研究的结论。

2。材料和方法

2.1。数据集

微观白带的图像数据集在这第六人民医院的工作是收集成都、四川。有229名女性患者。所有患者在这项研究中签署了知情同意,和研究医院医学伦理委员会批准。

微观白带CX31生物显微镜获得的图像(奥林巴斯、东京、日本)和一个EXCCD01400KMA CCD相机(Motic、厦门、中国)。物镜是40 x。像素大小和曝光时间设置为6.45μ分别m×6.45µm和40毫秒。的视野(FOV)在这个光学系统是0.41毫米×0.26毫米。

总共有1302显微图像的分辨率为1920×1200像素。一位经验丰富的病理学家和妇科医生手动标注每个图像。每个正常图像标记为- 0,图像与阴道炎贴上+ 1。在数据集,有569正样本和733年负样本。正常的白带图像和三个常见的感染性阴道炎白带图像如图所示1。我们随机选择20%的图像作为测试数据集(260张照片),其余的训练数据集(1042张照片)。

2.2。转移学习和CNN的架构

转移是CNN data-effective技术培训学习。它可以节省计算资源和培训期间学到的知识转移的巨大的带注释的源数据集到目标数据集。在这项工作中,我们采用微调策略,采用重量和偏见从CNN pretrained ImageNet大规模视觉识别的挑战(ILSVRC)数据集27),然后进行常规训练过程在目标数据集。不同的网络结构层不同深度、特征提取和表示能力,,这可能会导致不同的结果和趋势对阴道炎的分类。在这个研究中,我们选择了四个流行和强大先进的CNN架构加上转移学习。根据阴道炎识别的目的,最后一层的CNN换成了一个输出层有两个神经元。我们采用微调策略在所有层而不是几层,因为我们的目标显微图像数据集从ImageNet数据集有截然不同的特点。在图像预处理阶段,我们采用双线性插值变换方法来调整每个微观图像分类由cnn前224×224像素。调整图片的目的是适应pretrained模型输入而节省计算资源和培训时间。接下来,AlexNet的体系结构的细节,VGG16 ResNet50, se_ResNet50描述。

AlexNet [25)获得了2012年的ILSVRC竞争和计算机视觉领域发生了革命性变化。如图2,AlexNet是一个相对较浅的网络,其中包含五个卷积层,三个max-pooling层,和三个完全连接层。输入图像大小为224×224。激活函数卷积紧随其后层是解决线性单元(ReLU),并将Softmax激活函数输出前使用。

VGG [28)是在2014年提出的,这是第一次深度学习ILSVRC比赛中取得前5名的误差低于10%。VGG有很深的网络设计,和内核大小非常小(3×3),从而减少了参数的数量,同时保持性能。例如,两层的接受域大小的内核3×3 = 5×5内核的一层;然而,参数的数量减少了28%。提出了图3,VGG16由16层的权重(即。,13convolutional layers and 3 fully connected layers) and 5 max-pooling layers.

他等。29日]经验表明,深层神经网络并不意味着更强的性能由于过度拟合和梯度消失的问题。因此,他们提出了剩余块来缓解这个问题。图4表明残块的结构。标识映射的输入x到输出F(x)的多重卷积层块作为最终输出。跳过连接认为x+F(x)输入到下一层。如图5,ResNet50栈剩余块构造深度CNN网络,和跳过层之间的连接在蓝色箭头线表示。剩余块和跳过连接使ResNet变得非常深,经验显示出更好的性能比以前深ImageNet分类的神经网络。

胡锦涛et al。(30.)提出了一项紧缩和激励(SE)块,这提高了CNN的性能,赢得了2017年的ILSVRC竞争。的详细结构SE块如图6。SE块包含两个步骤:紧缩和激励。挤压一步转换每一通道的输入特性映射成一个单一的数值由全球池。激发一步使用两个完全连接层添加必要的非线性,然后使用每个通道的输出作为权重矩阵规模原始特征映射的输入。SE块大大提高网络性能,帮助网络调整每个特性的权重映射。这一块可以方便地添加到任何现有的结构不会造成额外的计算负担。显示在图7,se_ResNet50乐团SE块残块的基础上ResNet50的结构。

2.3。主动学习的样本选择

一些训练的例子使CNN展品与其他训练数据相比性能优越。主动学习是一种常用的技术,探讨了培训组的最小子集,使得神经网络能够保持高性能。在这项工作中,我们使用熵和Kullback-Leibler(吉隆坡)散度指标计算的不确定性的分数标记图像,然后选择最有益的样本的基础上,获得分数的不确定性。

如图8,对于每一个标记图像X在训练数据集,四个调整cnn(即。,AlexNet, VGG16, ResNet50, and se_ResNet50) were employed to obtain the predicted probabilities. Note that the fine-tuned models only perform the inference process instead of the training process. Assuming that和得到不同调整概率cnn,图像的熵公式X是由

的KL散度公式

标记图像的不确定性得分的总和熵和KL分歧,我们计算每个图像的不确定性分数标记的训练数据获取的不确定性得分列表。得分公式给出的不确定性

最好的实验结果,系数和被设置为1。因为有4种不同的概率,得到在拟议的框架中,每个标记图像熵有4个分数和12 KL散度分数。不确定性的分数越高,越信息样本。我们分类的不确定性得分列表并选择最有益的样本。

2.4。拟议的框架的工作流程

在这项工作中,我们提出一种新颖的data-efficient阴道炎的识别框架基于深度学习。微观数据的高质量的注释是非常耗时的,需要大量的预算。为解决这一问题,提出了框架集成了学习和主动学习技术转移来实现竞争CNN性能代价最小的注释。如图9工作流分为5个步骤:(1)我们随机选择和标记完成25%的样本训练队列。标记训练子集用于调整pretrained AlexNet, VGG16 ResNet50, se_ResNet。(2)标记(即75%。,1- - - - - -25%) training data was input to the four fine-tuned CNNs to obtain the predicted probabilities. Note that the fine-tuned models only perform the inference process to calculate outputs without backpropagation.(3)我们使用了概率计算分数的不确定性(即列表。,entropy and KL divergence), which measures the informativeness of each unlabeled training sample. Then, we selected k% of the unlabeled training data as the most informative samples according to the sorted uncertainty score list.(4)我们标注样本选择的信息并将它们添加到先前标记的训练数据。也就是说,新标签的训练数据集占25% + 75%k%整个原始的训练数据集。例如,如果k的值%设置为50%,我们保存(即37.5%。1−(25% + 75%50%)注释成本。(5)pretrained CNN(即。,AlexNet, VGG16, ResNet50, or se_ResNet50) was fine-tuned on the new labeled training dataset and consequently evaluated on the test dataset.

2.5。评价指标

自识别阴道炎在微观白带图像是一个二元分类问题,我们评估拟议的框架下面的常用评价指标分类。

的比例是正确的预测精度预测的总数。精度是由方程 TP, FP、TN和FN表明真阳性,假阳性,真阴性和假阴性。

精确的比例是正确预测的数量正样本总数的预测正样本。的精确方程

召回的数量的比例是正确预测正样本总数实际正样本。召回是由方程

F1分数是调和平均数的精度和召回,以假阴性和假阳性样品样本。F1是由分数方程

接受者操作特征(ROC)曲线显示了敏感性和特异性之间的权衡,衡量分类器性能在不同阈值设置。ROC曲线下面积(AUC)是一个强大的指标来评估一个二进制分类模型的性能。

3所示。结果

实验的硬件是一个NVIDIA GeForce RTX 2070和16 GB的内部存储平台。软件环境是Python 3.8和PyTorch 1.9.1。我们每一个实验进行5次去除的影响可能出现的机会。给出的结果平均5分,95%可信区间(CI)。批处理大小被设置为8。随机梯度下降法(SGD)优化器使用动力为0.9。学习速率将0.01和0.975每一时代的腐朽的学习速度。时代的数字设置为10缩短训练过程。平均运行时间是3.78毫秒/图像在使用该方法时。

3.1。比较建议的信息样本选择方法和随机抽样的方法

提出的信息样本选择方法选择和标记k%的信息标记训练样本数据,然后添加prelabeled训练数据集。新创建的子集来微调pretrained CNN。为了选择最好的比例k%的选择样本,我们不同k%的范围10% - -90%的10%的步骤。我们也比较的结果的随机抽样方法,随机选择标记训练队列。基线时获得我们没有执行任何选择方法;也就是说,我们带注释的所有标记的训练数据集(例如,k% = 100%)和执行传统的CNN微调的过程。我们使用了AlexNet pretrained CNN获得测试结果。

图中可以看到10,橙色线表示该信息的准确性和AUC结果样本选择方法,蓝线描述了随机抽样方法的结果,和灰色的点线基线显示标记所有训练样本的结果。拟议中的抽样法优于随机抽样法在几乎所有k比例%的范围,这表明该方法的高性能不是随机的偏见或噪音的影响。当k%设置为50%,该方法的精度结果被关闭基线精度,和超过基线AUC AUC的结果。因此,我们设置的值k%到50%在接下来的实验。

3.2。比较建议的信息样本选择方法和所有训练样本的选择方法

主动学习是一种方法,选择一个最小子集从整个训练队列,预计将实现一样好或更好的结果比使用完整的训练数据。执行信息样本选择算法提出后,我们调整不同pretrained CNN架构选择的子集。表1列出了精度,还记得,F1得分,准确性,AUC的结果提出信息样本选择方法并比较他们的结果(即所有训练样本的选择方法。使用所有培训组而不是选择一个子集)AlexNet, VGG16 ResNet50, Se_ResNet50架构。

图11说明表的内容1。蓝色栏描述结果调整pretrained CNN时选定的信息子集,和橙色栏显示了标签的结果整个训练队列来调整pretrained神经网络。如表1和图11表示,总的来说,提出信息样本选择方法达到类似或更好的性能比注释所有训练样本的方法为每一个CNN的架构。该方法执行最佳ResNet50 pretrained CNN时。的pretrained se_ResNet50成果稍差加上该方法,只获得一个更好的结果的精度指标。

图12介绍了混合矩阵和ROC曲线生成的ResNet50 pretrained模型,显示使用提出的最佳性能的样本选择方法。

3.3。比较使用不同的CNN和CNN的单一类型提出信息样本选择方法

因为不同的网络结构有不同的内核大小,混合层深度,和构建块,其特征提取能力和分类能力也可能不同。因此,四个CNN与大型建筑的变化是从事这项工作,我们认为这个CNN可变性帮助选择子集有更好的训练价值。证明使用不同的CNN的有效性,我们比较实验结果使用ResNet50作为单一类型CNN计算不确定性得分列表标记训练的例子。我们选择ResNet50因为它是最佳的性能根据部分CNN3所示。2。而不是使用四个cnn,只有pretrained ResNet50调整在prelabeled训练数据。我们改变了学习速率为0.005,0.008,0.01,0.015和重复微调的过程。四个调整ResNet50模型获得,我们用它们来完成后续的样本选择过程中描述的部分2。3。的pretrained ResNet50采用上调整所选子集,然后进行分类。相比,我们还存在结果不使用任何信息样本选择方法;我们标记整个训练数据和调整pretrained ResNet50阴道炎模型分类。

图中可以看到13,蓝色栏显示的结果信息样本选择方法只使用单一类型CNN,橙色条描述了该方法的结果在这项研究中,和灰色栏显示注释所有训练数据的结果没有丰富的选择。该方法优于其他两种方法几乎在所有测试指标除了精度指标;然而,精确的结果没有显著差异。当比较的蓝色条灰色酒吧,只使用一种类型的信息样本选择方法的CNN表现略差,但它仍然是有效的考虑成本节省大量的注释。

4所示。讨论

阴道炎是一种常见的妇科疾病,不仅影响女性的健康和生活质量,还增加其他严重疾病的潜在风险。阴道炎的快速和可靠的早期诊断,我们提出一个data-efficient阴道炎的识别框架基于深度学习在这工作。而深度学习优于传统的图像处理和机器学习方法在速度和准确性,它有一个缺点,它需要大量的好的注释样本训练一个高性能的模型。拟议的框架结合的优势转移学习和主动学习技术来有效地节省大量的注释。探索的最佳比例为方法选择的子集,我们不同的比例从10%降至90%,实验结果表明,50%是最合适的比例值在这个阴道炎分类任务。我们还将该方法的结果与随机抽样的方法,这表明高性能并非由于随机偏差或噪音。接下来,我们执行该方法在不同类型的CNN的架构,他们都取得了竞争性能而节省37.5%的标签成本。如表1和图11表明,ResNet50表现最好的模型,实现了94.09%的±3.34%的精度,95.09%±2.24%召回,94.52%±0.87% F1分数,95.15%±0.87%的准确率,AUC 98.93%±0.31%。

相比以前的工作(19],它提出了一个基于迁移学习主动学习脑肿瘤分类框架,我们使用不同类型的CNN架构在信息选择方法,和19)只使用浅网络AlexNet样本不确定性抽样方法。我们假设变化层深度、卷积过滤器大小和cnn的构建块结构帮助信息样本选择过程。如图13在这项研究中,实验结果证实了我们的假设。除此之外,我们的评价方法可以被视为更客观,科学的,合理的,因为该方法使用不同的指标(即。、精密,记得,F1得分,准确性,AUC)而不是单个AUC度量。王等人。11]给出了一个自动的框架形态学分类和诊断细菌性阴道炎,从头开始训练他们定制的网络而不是使用转移学习方法,这需要大量的训练数据注释(23280个样本)。我们的方法的另一个优势是事实也确定了三种类型的阴道炎(即。,bacterial vaginosis, candidal vaginitis, and trichomonas vaginitis) instead of only bacterial vaginosis recognition in [11]。

目前的实验表明,该框架是一个有效的和有用的方法识别的阴道炎,同时节省大量的注释成本。当前研究的不足之处是,目前尚不清楚美国有线电视新闻网的结构如何影响拟议的框架的性能。作为未来的研究的一部分,我们打算通过实验调查的确切效果不同的CNN架构提出了管道。此外,我们还计划框架提出的优化探索其他注释减少显微成像方法,例如,数据增强技术,metalearning策略,few-shot学习方法。

5。结论

阴道炎是一种常见的妇科疾病影响数以百万计的世界各地的妇女。我们已经建立了一个data-efficient阴道炎的识别框架基于深度学习,可以帮助快速和可靠的阴道炎早期诊断。提出了一种新颖的信息样本选择方法提出管道显微图像通过整合转移学习和主动学习,节省了37.5%的注释成本,同时保持竞争力的性能。此外,该管道可以扩展到其他显微成像的应用程序来解决这个问题的注释成本和有限的医疗数据。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究部分是由美国国家科学基金会支持中国。61905036),中央大学的基础研究基金(中国)电子科技大学(ZYGX2019J053号和ZYGX2021YGCX020)、中国博士后科学基金会(2019 m663465),成都科技局(2019 - yf09 - 00097 sn)。