文摘
提出一种改进的抽样过程的损失函数免费提高ill-performed分类样本短缺。可调参数用于扩大范围、损失最小化的重量轻易分类样本,并进一步替代抽样函数,它被添加到叉损失和将SoftMax损失。实验结果表明,改进的分类性能的损失函数所示各种网络架构和在不同的数据集。总而言之,与传统的损失函数相比,我们的改进版本不仅提高分类性能,而且降低了网络训练的难度。
1。介绍
损失函数是用来测量模型的输出数据之间的差异和实际样本数据和它的指导作用是模型走向融合在训练过程中,在此期间尽量减少损失的价值实际上是实现模型拟合训练数据和模型的最小测试误差,最终准确地分类新样品(1]。
SoftMax损失被认为是最根本的损失函数在图像分类,以简单、快速优化合同。SoftMax损失通常与叉损失在组合应用程序保证准确已知类别的分类(2,3]。对于一些简单的分类图像数据集,只是足以确保准确已知的分类类别。但当涉及到图像分类,采用SoftMax单独是远远不够的。为了达到更好的泛化性能,更需要阐述了分类特征,如“内部类抽样变异”和“类抽样变异,”SoftMax损失的直接优化的目标。因此,研究人员开始把他们的见解从欧几里得空间度量空间获得好的特性好的分类(4- - - - - -6]。
度量空间上的损失函数的核心思想如下:缩短类似的图像嵌入到遥远的空间,将不同的图像。DeepID2等简单的度量学习方法,旨在获得特性结合SoftMax损失和损失对比(7),著名Facenet进一步采用三联体的损失。但这是不够的(8]损失函数采用简单的度量空间。鉴于N样品的复杂性SoftMax损失只有在遍历所有样品 ;然而,对比损失或三个一组的复杂性去损失 。否则,不可能简单地遍历。有效地寻找良好的训练样本,或硬例子采矿、复杂的训练过程中是必不可少的,特别是当类别在大量添加困难找到很好的例子。利润损失的基础上图像三胞胎,吴等人提出的。5),采用距离重采样消除训练问题,寻找良好的训练样本。这种抽样策略缓冲数据样本不平衡的影响,但有一个高概率的省略与巨大的相关性和影响训练样本。
我们提出减少的重量的损失函数轻松地从概率的角度分类样本。培训的困难是低我们的损失函数和大量的计算采用度量方法避免。此外,我们的损失函数避免了省略有关样品的问题在传统采样方法。列出了我们研究的创新点如下:(1)提出一种新的损失函数,(2)采用新版本成功降低训练难度,和(3)应用新版本交付更好的分类性能较传统的损失函数。
论文大纲,部分2关注当前图像智能化研究发展的相关工作。部分3是理论知识用于本文的介绍和我们的损失函数。部分4描述了实验方法和结果证明我们的损失函数。部分5是上述所有实验的总结和讨论。部分6总结了所有的内容。
2。相关工作
近年来,图像分类的精度明显改善深度学习的框架下。许多研究者把多强调抛光框架而不是注意损失函数(9- - - - - -12]。图像分类的工作通常可以分为两个部分:二元分类和智能化13,14]。
SoftMax广泛应用于图像分类的简单、快速优化合同。它使所有的类别拥有最大对数似然概率空间,或者,换句话说,保证所有类别的准确分类2,15]。古典SoftMax的出现使得图像智能化发展不可或缺的贡献包括完成一定的分类效果在当前深度学习的优越的网络体系结构。然而,更好的结果将通过采用改进的损失函数在一些简单的网络架构。
的技术路线是减少内部类的距离和扩展类的距离。然后,结合SoftMax这些改进的方法。哈德等人介绍了对比损失函数,同时最小化图像对正样本和预定义了边界扩大图像之间的距离对负样本(16]。同样,Hoffer和Ailon提出了一个三联体损失替换之前的图像与图像对三胞胎(6]。图像的数量对的组合爆炸的主要弱点是上述两种方法。对比地,中心损失(17回避这个缺点而不需要计算图像之间的距离对三胞胎或图像。然而,中心损失最小化的特性和相关分类中心之间的距离,从而导致不一致的在特征空间距离测量。针对这个问题,刘等人添加阶段保证金SoftMax损失函数(2]。尽管这样的深度学习方法显示well-performed特性,三个一组的损失可能会导致训练困难。因此,为了减少培训困难,各种抽样方法应付自如在寻找的过程中训练样本数据集。吴et al。5)提出了一个保证金损失三联体的基础上降低网络训练的难度,采用距离加权抽样促进反向传播损失更谨慎。
上面提到的所有方法在图像分类发挥重要作用;然而,可怜的分类结果和培训困难也存在损失函数的计算基于距离。从另一个角度看,培训困难引起的距离计算也可以减少由距离本身。除了各种抽样方法的分类,考虑到困难的例子矿业和减少容易分类样本的重量可以是一个有效的选择。
3所示。改进的损失函数
度量学习搭配抽样法通常用于减少计算复杂度简单的图像分类。保证金损失基于三重雇佣了距离加权抽样法导致遗漏相关样本的抽样过程。因此,本文探讨了直接还原的重量轻易分类样本没有任何抽样形式处理样品损失的问题。
损失函数提出了本文主要解决的问题忽略小类样本的重量减少容易分类类的样本。另一方面,我们的损失函数减少了计算复杂度和减少训练的困难。
3.1。损失函数设计
我们的损失函数公式如下:
的损失是可视化的几个值 , 在数据1来4。从这个数据,取得最好的实验结果β= 4,γ同时等于5。细节是论文的第四部分所示。的定义在公式(1)是 ,的框架和整个公式来源于叉损失二进制分类(18]:
在公式(2),指定的真实类 。此外, 是估计的概率模型的类标签吗 。类似的定义是 ,和重写 。
我们主要从事图像智能化,大多数研究者把损失函数与SoftMax损失提高分类性能。为了实现图像智能化,我们引入SoftMax函数公式(3)集成。将SoftMax函数公式公式(3)和合并后的版本是公式(4)。在公式(3),将SoftMax的价值元素的索引的比例是所有元素的指数的总和。
我们的损失函数有两个属性。(1)当样本分类不准确,相对较少,方法1和不影响损失发生。当1,趋于0时和有一个损失下降well-classified样本。(2)参数扩大各样本间差异。当 ,的价值是巨大的,是一个巨大的差异通过这个公式和计算损失计算参数。当 ,参数也对结果产生影响。可以清楚地看到,调整控制参数不仅减少了容易分类样本损失也增大低损耗范围;例如,当一个例子是机密的 ,损失价值低于叉损失 。
3.2。衍生品
改进的梯度计算损失给出了方程(5)(8)。由于损失函数主要用于图像智能化,梯度计算的基础上进行最后的方程(4)。为了简洁,我们表示作为在所有这些方程。
考虑两个叉(CE)和我们提出的损失函数,具体地说,我们定义了一个数量如下: 在哪里 真实指定类。我们可以写 ,兼容的定义是什么在方程(1)。一个例子是正确分类的时候 ,在这种情况下 。
熵函数作为参考,更关于是
值得注意的是,是一个被处理后输入吗 。
3.3。评估标准
评估损失函数,我们应用两个标准:F1和敝中断。F1,也称为宏观F1 (19),TP, FP、FN和TN的各种分类和计算精度和召回率,分别获得的平均价值F1分别。宏观F1有一个更出色的评估能力,平等地对待每一个分类和考虑他们的精度和召回率。敝中断可以用来衡量这两个数据集的分布的拟合(20.]。值越大,越分类与实际情况一致。
4所示。实验
我们主要在本节展示四组实验。在第一组,我们的价值观决定的和在上面的公式中,选择最优参数。在第二组,我们比较不同的损失函数在CIFAR-10 [13),包括利润损失,三个一组的损失,和我们的损失函数,并报道了F1和敝中断值。在第三组,我们证实我们的损失函数拥有良好的性能在不同的网络架构。在第四组,我们的损失函数在其他数据也显示性能强度。所有实验在PyTorch框架下实现的,英伟达2080 ti GPU。
图5显示四个主要类别:青蛙、船只、卡车,和狗。因为原始数据集图像只有32岁32英寸大小,抽样得到的样本显示清晰度较低。和这些图像采样保证金损失框架。
4.1。确定的参数
我们有两个变量参数和在我们的损失函数,这两个服务损失函数的平滑度,以加强其反向传播过程中信息传输功能。在我们的实验中,我们设置2、3、4、5、7、10 CIFAR-10。同样的,我们3、5、10。我们第一组3,然后调整上述六个值分别测试了CIFAR-10通过GoogLeNet训练数据集,并选择了价值最大化的价值F1和敝中断。提供指定的价值,我们开始的决心价值也通过选择一个最大化的价值F1和敝中断实验分析。结果如图1- - - - - -4。
来确定价值,我们首先随机选择的第一个和最后一个值的范围内(2,16]。因为实验显示相对应的两个小区别F1值略小F1值,我们不断尝试不同的值由二分法范围内,最终确定最优值为4。几个被重叠图的曲线1由于相对大量的曲线。
除了F1标准,我们也采用了敝中断评估标准的确定过程中价值。从图可以看出2敝中断曲线具有相同的变化趋势F1曲线在不同值,也验证了最优值为4。再一次,几个曲线重叠被由于相对大量的曲线。
同样,我们使用F1和敝中断标准来确定价值。我们选择了值的范围内(2,21并确定最优值为5。同样,我们也省略了一些曲线重叠在以下图由于相对大量的曲线。的F1曲线和敝中断曲线如图3和4,分别。
4.2。比较与其他损失函数
完全CIFAR-10数据集有60000的彩色图像大小3232通道3,分为10类,每个国家都有6000张图片。平均50000图像构成5培训组和其他10000个图像形成一个单一的测试组。测试组中,我们选择了1000年每10个类别的图像,让其余随机排列构成了培训组。图像的数量为每个类别培训组不一定是相同的,但是每个类别5000图像一般13]。
对于CIFAR-10,我们训练GoogLeNet [22与不同的损失函数的深度。网络训练70时代,我们学习速率的0.00001。我们使用0.0004的重量衰变和动量的亚当被设置为0.9。模型训练自己与三联体CIFAR-10数据集自GoogLeNet损失或利润损失没有在以前的工作中使用。拟议的损失函数优于三联体的损失和利润损失GoogLeNet模型。
在图所示的分类标准6。相比与传统的损失函数包括proxyna [23),n对(24),三联体(6),和利润损失(5),其F1最终稳定值从0.5到0.6,我们的损失函数取得更高F1值高于0.6训练后70时代。更具体地说,我们的损失函数最终稳定在0.633和展示了更好的分类结果。
从图可以看出7,敝中断的价值传统损失函数最终稳定的从0.4到0.5。但是我们的损失函数取得更高的敝中断值高于0.6,最终稳定在0.625。
4.3。比较在其他网络架构
上述GoogLeNet下训练和测试实验;此外,我们也做了类似的比较实验下ResNet [3]。CIFAR-10数据集,我们训练有素的ResNet三合损失,利润损失和其他损失的功能。14世纪,网络训练和学习速率被设置为0.00001。70年我们训练网络时代和0.00001是学习速率。我们使用0.0004的重量衰变和动量的亚当被设置为0.9。模型训练自己与三联体CIFAR-10数据集自ResNet损失或利润损失没有在以前的工作中使用。拟议的损失函数优于三联体的损失和利润损失ResNet模型。分类性能的比较如图8。
根据图8,两条曲线代表敝中断和价值F1的值,通过我们的损失函数,分别高于其他损失函数的曲线。表明我们的损失函数具有更好的分类性能。尽管略小敝中断我们的损失比三联体的价值,F1我们的价值是0.06高。因此,查看两个标准全面,我们的损失和利润损失大于三联体的损失。
4.4。成就在其他数据集
我们引入了其他常用数据集实验。然后,我们把我们的损失函数与其他损失函数通过使用renset50或GoogLeNet这些数据集。cifar - 100数据集,一个很好的分类数据集在图像分类我们使用,分为100类别和子类别。培训每个子类包含600张图片:500和100进行测试。每张图片有两个标签,“好”和“粗。“此外,Fashion-MNIST数据集被用来测试算法性能。这个数据集的图像内容是更复杂的比MNIST数据集,但其MNIST数据分布是一样的,这是一个基本的图像数据集(25]。
cifar - 100数据集,我们训练有素的GoogLeNet三合损失,利润损失和其他损失的功能。我们训练有素的70年的网络时代,0.00001是学习速率。我们使用0.0004的重量衰变和动量的亚当被设置为0.9。模型训练自己cifar - 100数据集自GoogLeNet三合损失或利润损失并没有在之前的工作中使用。拟议的损失函数优于三联体的损失和利润损失GoogLeNet模型。分类标准如表所示1。
从表可以看出1的优势提出损失cifar - 100数据集上明显不如CIFAR-10数据集自敝中断和价值F1我们的损失的价值仅略高于其他损失函数。排名前的召回率,最高比例的某个类样本正确分类,是0.632,这是与我们提出的损失函数生成的模型。尽管实验结果表明度量方法用于保证金损失和三重态损失有能力强劲的细分类图像分类,我们的损失函数优于其他损失函数。
Fashion-MNIST数据集,我们改变了ResNet50骨干的培训模型。我们训练该模型为70时代,0.00001是学习速率。我们使用0.0004的重量衰变和动量的亚当被设置为0.9。显然,该损失函数优于三联体的损失和利润损失。图9显示了不同的损失函数的分类性能Fashion-MNIST数据集。根据图9,敝中断和价值F1我们的损失函数的值都高于其他两个的丧失功能。的值和在新的损失将4和10个,分别。这意味着新的损失采用不同的数据集或不同的分类任务通过改变函数参数的值。
此外,我们使用召回率来验证不同的损失函数的分类效果的验证集。以下表中给出了结论2。与利润损失和三重态损失相比,我们的新损失获得更高的前8召回率为所有体系结构在不同的数据集。虽然排名前我们新的损失获得的召回率低于其他损失函数随深度ResNet 50,召回率的总体趋势新产生的损失比其他的要好。
5。讨论
在本文中,我们应用我们的损失CIFAR-10数据集表示简单的图像分类和cifar - 100数据集象征着好的图像分类。实验证明,我们的损失函数拥有相对强劲在图像分类和泛化能力更好的分类性能比其他损失函数在两个好的和简单的图像分类。值得注意的是,我们的损失函数具有更好的分类性能比其他简单的影像分类,证明我们的损失的分类性能不降低,当完成细分类。此外,我们的损失函数减少图像分类的训练困难通过巧妙地避免了复杂的计算图像三联体的距离。目前,我们的研究没有考虑不平衡分类问题;它被认为是调整损失函数或在未来网络架构。
6。结论
我们提出了一个损失函数减少训练的难度。为了解决这个问题,我们提出了一种改进的损失函数的基础上添加了一个调制测量叉损失给少学习权重简单样本。广泛的实验表明,我们提出的损失函数优于保证金损失或三重态的影响损失是用于其他帧小规模和大规模数据集。
数据可用性
可以按照客户要求所有的数据都包含在本研究通过与相应的作者。
的利益冲突
作者声明,关于这项工作他们没有利益冲突。
确认
这项工作是由中国国家自然科学基金支持的61971297。