染色体核型分析通常包括检测、分割、重叠和类别分类。旨在区分染色体和染色体检测背景。基于二值化,研究人员使用全局阈值与大津法( 13)或rethresholding方案( 14)进行检测。然而,检测过程可能失败由于染色染色不均,这是高度受设置阈值的影响。其他方法( 15)提取特征检测的基础上,空间和频域信息。然而,这些方法是费时由于学习结构。吴et al。 16]探索极值区域(ER)来执行检测任务文本的候选人。灵感来自于他们的工作,检测方法用于检测染色体的候选人相比复杂细胞背景。

虽然许多方法提出了自动分割( 17),它仍然是难以完成染色体细分任务,由于不可预知的形状和外观由染色体的非刚性的性质造成的。早些时候,Lerner et al。 18)成功实现分类细分驱动,结合集群解决的正确选择分类阶段。然后,特许学校和格雷厄姆( 19)提出一个方案来收集subchromosomal带状光谱模板,表现良好的训练模型和成功完成任务,即。首先识别提供了染色体片段,然后组装小音段以自下而上的方式。Minaee et al。 15)提出一个迭代版本的分割方法利用染色体边界的几何特性,直到所有个体的染色体分离。

由于准确分割近似可以乏味的广泛使用,和研究人员开始解决这个问题获得严格的边界框。例如,一个非专家众包方法用于段染色体检测细胞样本在 11]。大多数系统目前采用执行染色体自动分割需要交互式操作,主要是不适合大量的工作。如何在最大程度上自动段染色体集群并将其转换为适当的版本在云计算 20., 21)或边缘计算( 22- - - - - - 24)仍然是一个热门话题。

在类别分类,前方法通常由矫直预处理染色体( 8),由于弯曲和弯曲方向被认为是影响性能的关键因素。矫直后,研究人员将提取功能手册设计( 9),如染色体的相对长度( 25)、着丝粒指数( 26),带概要文件( 27),等等。之后,这些方法采用分类器( 28)来实现分类结果。然而,方法建立在手工设计特性可能会丢失有用的信息,导致分类精度较低。

深层神经网络取得了显著的性能在执行大量的任务,鼓励研究人员应用深度模型在染色体核型分析的任务 7]。Sharma et al。 11]首先提出CNN-based方法分类的直和规范化的染色体,这已超过显著高于传统方法的性能。后来,Varifocal-Net [ 29日)提出了突出的能力zoomomg自动地地方。全球范围内的网络(GNet)设计同时完成两个任务,即。,获得全球特性和识别特定的地方。与此同时,当地范围内网络(L-Net)负责定位地方,进一步应用于提取局部特征。然而,这些方法标记训练样本的数量有严格的要求。因此,他们的表现不能保持一致稀缺带安全标签的数据时,即使有时基于云的隐私保护系统可以帮助在某种程度上 30.- - - - - - 32]。染色体分类仍然是一个艰巨的任务条件下的小数据和多个类别。

最大的一个问题域使用深度学习模型的医学图像分析是缺乏与数量的标签样本数据集。从本质上说,研究人员已经尝试其他类型的技术从大数据来解决这个问题 33, 34]。此外,医学图像注释任务不仅需要金钱和耗时的完成量,但也有很高的要求的可用性专业医生。深度学习的性能模型是高度相关的训练数据集的大小。

GAN提供了一种新方法为有效学习提供深度特征表示。由于GAN-based增强方法,大量未标记的图像可以涉及到学习过程,自甘仅需要很少的先验知识,很容易实现。甘由于其分布式建模能力强,非常适合在训练样本数量的增加使深学习算法更有效 35]。

氮化镓的基本理念的基础是建立在双方博弈的发电机和鉴别器之间。在图 4甘,我们将演示一个典型的基本结构来生成一个手写的数字图像。我们可以注意到生成器生成图像应鉴别器判断作为自然图像而不是pseudoimage,同时鉴别器确定输入图像发生器是自然生成的。培训过程后,GAN模型将达到纳什均衡和可以理解的内在表示真实图像,不断创造大量的图像。

由于氮化镓结构的不断优化和发展,更多GAN-based已经开发的应用程序。例如,郑et al。 35]提出平滑正规化的标签分配标签标记图像由氮化镓生成,从而规范监督模型,提高基线。朱et al。 36)提出一个数据扩增方法来提高情感的分类图像使用氮化镓,成功地改进数据分布,发现适当的利润率不同类别之一。类似于拟议的工作,鲍尔斯et al。 37]介绍渐进增长甘斯(PGGAN)两个脑网络细分任务,证明由生成器生成的数据可以发挥重要作用在训练数据集。他们的网络报道,骰子相似系数(DSC)可以提高1 - 5百分比。Frid-Adar et al。 38)采用氮化镓生成合成医学图像的基础上限制182肝脏病变的CT图像数据集。之后,他们在培训CNN应用GAN-generated样本分类的任务,取得了显著的改善。这些变体上成功应用程序域,特别是在医学图像,鼓励我们发展domain-adaptive GAN作为数据增加染色体分类的新方法。

从本质上讲,建模特定GAN医疗领域是困难的,因为GAN模型经常遇到模型崩溃,即。生成器生成样本集中在几个模式而不是整个数据空间( 39]。为了解决这个问题,Salimans et al。 39)利用minibatch歧视技巧让鉴别器检测异常样本生成类似于其他样本。考虑数据增加一个方法来改变任务相关的数据,同时保持分类标签,拉特纳et al。 40)设计生成序列模型执行特定于域的数据转换。他们的模型可以由用户任意设计,不确定性转换函数,从而拟合在各种领域的应用。

另一个解决此类问题是修改GAN结构减少梯度损失所有数据的有效使用。CycleGAN模型( 41)使用CNN模型作为分类器和一种新的游戏机制,即。,a consistent loop structure between generator and discriminator, which shows large improvement of performance in data augmentation and classification accuracy during experiments. Hoang et al. [ 42)设计一个目标函数近似数据流形诱导分布在训练,同时鼓励他们从事不同的数据模式。然而,他们的方法是在计算数量的发电机,与多个分布的一代。

与原始GAN相比,MD-GAN提高了性能,利用多个分布的数据,这是非常相似的核心理念黄平君et al。 42]。理由应用多个分布构建生成器在于甘简单的输入顺序可能会导致类似的输出。换句话说,原始GAN可以做伤害最终分类通过生成染色体与表象。因此,直觉构造多个发电机模式多样性高,这让缺点的复杂性和高计算。性能和复杂度之间保持平衡,我们建议使用多个分布多个发电机染色体以外的一代,这是MD-GAN和氮化镓的区别的关键。

后的数据进行扩展,以提高分类精度,我们试图解决不平衡的问题和小数据集训练过程与多个分布生成广告网络(MD-GAN)。从本质上讲,在染色体核型分析是由不平衡问题严重不平衡的现实的染色体数据的分布。当原始GAN应用,它可以很容易困,即。,generating similar samples without enough differential modes. This phenomenon makes unbalanced problem of chromosome dataset much worse with similar outputs. By adopting MD-GAN, the proposed method can guarantee to produce samples with a variety of modes, thus improving diversity of dataset to a certain extent. Afterwards, sufficient samples generated by MD-GAN are applied to fine-tune pretrained convolutional neural network (CNN) for accurate classification of chromosomes. These steps are presented in Algorithm 1,我们应用多个MD-GAN完成多级增强。

数据:一个小训练集preclassified染色体图像<我nline-formula> 我 1 , … , 我 米 与相应的标签。

考虑到鉴频器<我nline-formula> 年代 确定真或假的样本和发电机<我nline-formula> G 学习原始数据的分布,训练过程<我nline-formula> G 可以视为一个过程来最大化的比例错误的分类预测的<我nline-formula> 年代 。与此同时,培训过程<我nline-formula> 年代 可以认为自己的错误分类率降到最低。根据这两个程序,培训GAN因此可以理解极大极小目标函数: (7) 最小值 G 马克斯 年代 E X ∼ P d X 日志 年代 X + E Z ∼ P Z 日志 1 − 年代 G Z , 在哪里<我nline-formula> x 意味着真正的样本采样<我nline-formula> P d ,<我nline-formula> Z 从正态分布吗<我nline-formula> P Z ,<我nline-formula> G Z 增加引起发电机分布数据。

当应用原始GAN特定或特定领域的使用,甘容易陷阱到模式崩溃的情况,也就是说,氮化镓生成类似的样本甚至不同的输入模式。事实上,基于氮化镓采用随机梯度学习来优化<我nline-formula> 年代 和<我nline-formula> G 轮流。一旦实现歧视产生的数据,GAN需要逆优化顺序,从而改变极大极小公式方程( 7一个极大极小。在逆向优化过程中,<我nline-formula> G 从每个GAN被迫实现映射<我nline-formula> Z 来<我nline-formula> X 大部分是可以被视为真实数据,导致模式崩溃现象。特别是这种问题更加严重或特定领域的应用,由于严重不平衡的分布从现实生活中获得的真实数据。

当使用单一发电机甘导致原始模式崩溃;黄平君et al。 42甘]提出改善原始设计多个发电机。然而,使用多个发电机带来复杂的优化问题和巨大的计算成本的增加。为了解决这个问题,我们提出利用多个发行版而不是发电机。由于高斯混合模型<我nline-formula> 米 理论上适用于任何复杂的分布,我们利用它来构建提出分布发电机<我nline-formula> D : (8) D j Z j = P Z Z j + 米 j Z j , j = 1 , … , K , 在哪里<我nline-formula> K 和<我nline-formula> j 代表对应的数量和指数分布发电机,分别<我nline-formula> P Z 是正态分布,<我nline-formula> Z j 意味着向量的值介于0和1之间的随机样本。的大小<我nline-formula> Z j 染色体数目决定的基础上的照片。我们因此定义高斯混合分布<我nline-formula> 米 j 作为 (9) 米 j Z j = ∑ k = 1 n j 1 n j ⋅ ϕ Z j ; μ j , k , σ j , k , 在哪里<我nline-formula> ϕ 是高斯分布,<我nline-formula> n j 代表的数量分布,<我nline-formula> μ j , k 和<我nline-formula> σ j , k 均值和方差对应吗<我nline-formula> k 分别th高斯分布。生成样本分布导致显著的能力。然而,这样的设置带来大幅增加计算消费。在这种情况下,它是特别重要的一代多样性和计算之间保持平衡。通过实验,<我nline-formula> K 和<我nline-formula> n j 设置为8处理不同类别的染色体。

发电机<我nline-formula> G Z 需要多个分布<我nline-formula> D k Z 作为输入,并计算染色体形象图表示 7。先进的网络是由四个卷积层和一个完全连接层。归一化层和一个ReLU激活函数设计每次卷积后层。第一个完全连接层负责重塑输入特征向量,和卷积层根据训练旨在扩大信息过滤内核的参数。卷积层功能后,归一化层对扩大信息minibatch稳定整个学习过程和防止发电机崩溃。

鉴别器网络设计与典型的CNN架构分类任务,决定是否输入的单染色体图像是一种原始的或生成图像。拟议中的卷积鉴别器由四层,四个池层,和一个完全连接层。批标准化层用于稳定发电机的设计。我们采用漏ReLU激活函数,从而防止消失梯度和速度训练过程。在培训过程中,随机梯度下降法与亚当优化器使用,实现了一个自适应的时刻估计的包括第一和第二的时刻。

由MD-GAN生成的数据结合实际数据来调整VGG-16网络分类的目的,蓝色,如图所示 7。微调pretrained网络的原因除了从头训练在于深层神经网络通常需要大量的训练样本实现分辨率和泛化。然而,我们不能得到训练样本的最小数量,即使数据增强技术。因此,我们涉及few-shot学习调整参数和获得更好的染色体分类结果。

具体来说,我们保留参数的更高层次的早期层和修改参数,由这一事实证明了特征表示在早期层一般特性来防止过度拟合;同时,特征提取,高水平获得更具体的为染色体分类和语义表示通过学习过程。

证明了该方法的有效性,我们120年合作医院为我们提供了细胞和染色体图像包括5474标签样本。染色体图像随机分为两组,4600年和874年的图片,用来执行培训和测试。事实上,我们获得了带安全标签的数据是不够的一个分类的任务24类与深度学习方法。然而,实现带安全标签的数据时从医生在时间和金钱成本高,因为标签是一个恼人的对医生和耗时的任务。这的主要原因是使用MD-GAN生成更多的训练样本数据增大。比较染色体分类结果,我们选择的准确性<我nline-formula> P 24 染色体图像作为测量的总类。清楚地表明分类结果为一个特定的类,我们定义五个<我nline-formula> P 2 ,<我nline-formula> P 10 ,<我nline-formula> P 16 ,<我nline-formula> P 22 代表分类精度为第二,10日,16日和22日一对染色体。

我们在本节进行两个实验,前一个是执行比较MD-GAN甘和典型的能力生成新的数据没有崩溃,而后者的表现之一是指示MD-GAN生成新的染色体分类训练样本。

为了验证MD-GAN拥有能力学习复杂的真实数据的空间分布,我们设计一个比较实验,根据丹佛生成高斯混合分布的样本分组规则。实验后,产生的分布差异的比较典型的氮化镓和MD-GAN图表示 8。具体来说,我们可以注意到甘失败学习数据分布35000次迭代后达到收敛,由于模式崩溃问题的发生。同时,MD-GAN后能学习复杂的高斯混合分布执行70000次迭代的迭代优化。在图 8 (f),我们可以观察到最终结果通过MD-GAN不仅维持关键特性,但也确保生成的数据样本的多样性。然而,MD-GAN通常需要更多的迭代实现收敛比典型的氮化镓,因为多个输入分布主要MD-GAN的复杂性增加,从而在一定程度上提高计算负担。基于上述讨论,我们可以得出结论,MD-GAN能力高于典型GAN在构建复杂的分布和防止崩溃问题。

在第二组实验中,我们首先介绍比较真实和MD-GAN创建的染色体图 9。我们可以观察到创建的样本有一个真正的不仅是视觉上相似,但还拥有多样化的模式。两个染色体图像生成的特点导致改善分类精度与生成的样本。为了探索之间的关系质量和数量的染色体图像生成的,然后我们进行比较实验与不同数量的染色体图像生成。指出,我们定义数量的染色体图像生成<我nline-formula> n 我 = 46 ∗ n p ,在那里<我nline-formula> n p 指人的数量和每个人应该与46个染色体分配图像。每两个染色体图像一个人应由同一类别标签从23类,除了一对性染色体。定义的理由<我nline-formula> n 我 的基础上<我nline-formula> n p 在于我们应该保持类平衡染色体产生更好的分类结果。

我们展示的比较中产生染色体由MD-GAN不同<我nline-formula> n p 在图 10。我们可以观察到的数据 10 (b)和 10 (c)包含所有不同模式的染色体出现在图 10 (),证明了模式可以通过定义生成<我nline-formula> n p 有更大的价值。然而,图 10 (c)包含几个失败例片段和噪声点,这意味着更大<我nline-formula> n p 将生成的染色体图像噪声和工件,从而减少分类的能力。因此,我们需要在生成的数量保持平衡<我nline-formula> n p 产生染色体和更加多样化的模式,减少工件。主要原因在于失败案例研究人员往往缺乏度量函数来证明好生成的情况下是如何在视觉外观。减少失败的情况下,我们的未来的工作是提出一个新颖的感知损失函数与医生,可以定义之间的相似性是如何生成的,一个真正的形象在视觉外观。

在本节中,我们首先显示性能检测ER算法。然后,我们进行两组对比实验显示了该方法的有效性,它比较该方法与不同的分类能力<我nline-formula> n p 分别或其他比较的方法。

在检测实验中,我们比较的准确性产生染色体候选人的测量精度和召回。具体来说,我们比较该方法与大津二值化方法,显示了该方法的有效性。由于不均匀染色的细胞图像的性质和使用全局阈值二值化,大津法染色不均匀染色失败在某些情况下,这似乎与当地品种和强度不清楚形状边界在染色体检测。在这种情况下,大津法检测精度和召回达到86.3%和87.2%,分别;同时,检测精度和召回通过ER算法是95.9%和94.8%,这是保证足够高的进一步分类过程。我们进行实验比较,利用ER与第一或第二过滤器,我们实现精度和召回值89.6%和95.2%,分别为88.2%和95.6%。我们可以看到过滤器大大提高精度,减少召回性能。

第二个实验的想法后数据增加分析,表 1提供的详细统计数据有不同的分类结果<我nline-formula> n p ,cnn调整与染色体组由真实的图片和样品<我nline-formula> 46 ∗ n p 的,表示为CNN +<我nline-formula> n p 毫克。情节在图 11比较准确的性能通过该方法的不同<我nline-formula> n p 用于数据增大。从表 1或图 11,我们可以注意到一个伟大的和更多的类需要分类精度降低,可以证明通过比较中<我nline-formula> P 4 ,<我nline-formula> P 10 ,<我nline-formula> P 16 ,<我nline-formula> P 22 ,<我nline-formula> P T 一个方法。这是由于多个类为解决问题带来复杂性的空间,因此通常需要更加多样化和大量的数据采用培训。利用染色体图像由MD-GAN生成,显著改善<我nline-formula> P T ,即,4。6%, is achieved by models of CNN + 50MG. This is also true for other measurements for comparisons, which we can find improvement 1.2% in<我nline-formula> P 4 12%,<我nline-formula> P 18 ,2.5%的<我nline-formula> P 22 。

样本数的增加并不总是有利于提高分类精度,可以减少认证的<我nline-formula> P T 通过比较CNN + 50毫克和CNN + 150毫克之间从表 1或从图 11。这种现象的减少也可以注意到在一些特定类型的染色体。所有这些事实证明更大的设置<我nline-formula> n p 将噪声分类,由于工件产生的染色体图像更大<我nline-formula> n p 。这个结论也可以证明第二个实验的数据增加分析,产生更少的视觉与大理想的训练样本<我nline-formula> n p 。指出,我们实现精度的性能不一致<我nline-formula> P 4 表示在图 11,这是由几个测试样品只有一个类的染色体图像。

从图 11进一步,我们可以得出这样的结论:设置<我nline-formula> n p 50可以最大限度地提高精度性能实验。因此,我们需要保持一个平衡<我nline-formula> n p 为了增加更多的样本模式和引入低噪音。它是注意到<我nline-formula> n p = 50 是近一半数量的原始的染色体数据集,即。,119,which offers hints for researchers to perform data augmentation to improve classification accuracy.

在第二组的比较研究中,我们显示的详细统计数据和执行比较我们的CNN + 50毫克和几个比较方法在表 2。具体来说,我们采用CNN + 50毫克作为我们的方法比较基于前实验的结果。我们实现CNN和多层感知器(MLP) [ 49)2、5层比较研究。我们实现MLP为比较不同层,因为大多数传统的染色体分类方法采用延时等分类Lerner et al。 50)、明、田( 51),等等。指出,我们包括两个最新的基于深度学习的方法比较,即。Sharma et al。 11和斯瓦特等。 10),前者为染色体分类方法探索深特性,而后者通过深暹罗一个学习染色体相似网络加速基于多层感知器分类与前馈网络分类器。我们实现基于深度学习方法遵循他们的文章。公平的实验中,沙玛et al。 11实现无需预处理,即。、平直和弯曲。我们都遵循等。 10)修改的原始版本深暹罗网络暹罗网络和MLP的组合。

从表 2,我们可以注意到深层神经网络包括CNN, CNN + 50毫克,Sharma et al。 11),和斯瓦特et al。 10达到更高的精度比一些传统的方法,包括mlp变体。这些结果证明重要的区分能力的神经网络,特别是对于多类分类问题。自从Sharma et al。 11没有预处理是类似于原始CNN在神经网络的结构,我们可以观察到类似的性能在染色体分类精度。相比之下,Sharma et al。 11)和CNN,斯瓦特et al。 10)提高分类精度通过嵌入更复杂的网络体系结构。它也达到了最高的分类精度值4日和22日染色体。然而,它仍然遭受的染色体不同模式的不足,提出的小的收集的数据集的大小。该方法可以提高染色体分类精度与适当的生成数量的染色体图像,证明了最佳性能在识别18号染色体和染色体。实现这种进步的主要原因在于这样一个事实,我们特别设计MD-GAN结构来执行数据增强,带来稳定模式多样性的特点和培训来解决问题的小训练数据的大小。