改善性能的深度学习基于模型的分类分析当地的概率

文摘

一般来说,深的性能上优于分类模型对训练样本的捕获特性高度相关。当样本不清楚或包含一个类似数量的许多对象的特性,我们无法轻易分类是什么。实际上,人类不仅分类对象的特性,还有一些信息,比如这些对象的概率在一个环境。例如,当我们知道更多的信息,如一个对象有更高的概率比其他人在环境中,我们可以很容易的回答什么是样本。我们称这种概率作为当地的概率,因为这是与当地环境有关。在这篇文章中,我们进行了一个新的框架,是叫L-PDL提高深度学习的性能的基础上,分析这种当地的概率。首先,我们的方法训练训练集上的深度学习模型。然后,我们可以在每个对象的概率样本的训练模式。其次,我们得到后本地对象的概率验证集。最后,这个概率有条件地合作对象的概率测试样品。我们选择三种流行的深度学习模型在三个真实数据集的评估。实验结果表明,我们的方法可以明显改善真实数据集上的性能,这是比最先进的方法。

1。介绍

在这些天,深度学习模型已被证明是有效的在许多应用程序中(1- - - - - -8]。一般来说,基于深度学习分类模型的性能取决于捕获的特性(9- - - - - -11]。当使用一个深度学习模式分类,每个对象的概率是输出。然后选择具有最大价值的对象作为最终结果。

在某些情况下,错误的对象可能更高的概率比正确的一个。这是由于类似的特性在这些或培训的低效率模型。捕捉更多的功能精度高,模型的结构变得更大,这是由许多因素如有限计算资源或梯度消失的问题12- - - - - -14]。因此,应该有另一种提高深度学习的性能模型在真实的应用程序中。

不同深度学习模型,不仅人类分类对象基于功能还有其他因素。图1说明了这种例子。人与动物间可能的概率高这两个样本,这很容易导致错误的分类结果。在图1(一),如果我们知道这个地区没有大型动物,对象更有可能是一个人。在图1 (b)如果我们知道在这个领域没有人类活动,对象更可能是一种动物。我们称之为局部概率,给出了概率的对象在一个环境。我们认为,这就是为什么人类可以清楚地分类对象,尽管他们没有见过。

在本文中,我们建立了一个新的框架(概率L-PDL,当地深学习)提高分类的性能在样品的基础上,分析当地的概率。首先,我们的方法训练训练集上的深度学习模型。然后,我们可以在每个对象的概率样本的训练模式。其次,我们得到上对象的局部概率验证集。最后,这个概率有条件地合作对象的概率测试样品。

我们的贡献可以概括如下。(1)我们建立了一个新的框架,使用当地的概率提高分类精度。我们的框架不需要更大的模型或更多的训练样本虽然可以达到更高的精度比现有的方法。(2)我们的框架增加了深度学习模型的鲁棒性分类的任务。当地的概率可能是不同的在不同的环境中。在这种情况下,我们的框架只需要更新本地的成本低于再培训或转移概率模型。

我们执行框架和现有方法的样本CIFAR-10 [15- - - - - -17],cifar - 100 [18- - - - - -20.],Mini-ImageNet [21- - - - - -23]。所有这些评估证明我们的框架的有效性。我们组织摘要如下。部分1介绍了背景和我们的贡献。部分2介绍了现有的方法和他们的问题。节3,我们提出我们的框架和相关的分析。实验组织部分4。部分5给出了结论和未来的工作。

2。相关工作

(我)VoVNet-57是用于目标检测的任务,由一块卷积包括3层和4阶段的阻塞性睡眠呼吸暂停综合症模块输出步32 (24]。卷积的阻塞性睡眠呼吸暂停综合症模块由5层相同的输入/输出通道减少MAC。每当阶段上升,地图的特性是downsampled×3×3马克斯池2步。VoVNet-57有阻塞性睡眠呼吸暂停综合症在第四和第五阶段,将采样模块中完成最后一个模块。(2)VGG16是图像识别的变体VGG模型(25]。图2显示了该模型的结构。图像通过一堆卷积层,在过滤器是使用一个非常小的接受域:3×3。固定为1像素卷积一步。3×3的填充物是1像素卷积层。空间连接池是由五个max-pooling层,它遵循一些回旋的层。马克斯池执行在一个2×2像素的窗口,2步。三个完全连接层跟着一堆卷积层:前两个各有4096个频道,和第三执行1000 - ILSVRC方式分类,因此包含1000个频道(一个为每个类)。最后一层是soft-max层。所有的隐藏层都配备了整流(ReLU)非线性。(3)ResNeSt50是一种先进的深度学习图像分类框架,使用模块化的份块,使注意力集中在特征映射组(26]。通过叠加这些ResNet-style份街区,它获得一个新的叫做ResNeSt ResNet变体。有四个版本的ResNeSt。ResNeSt50 ResNeSt269,变得更大更复杂的结构,可以得到更高的精度有更多、更大的训练样本大小。根据测试样本的大小和计算资源,我们使用ResNeSt50。

这些模型已经被广泛使用,在许多应用程序中非常有用。增加这些模型的准确性,我们需要增加训练样本的数量,这是艰苦的工作在许多应用程序中。此外,这些模型的结构必须深入和训练过程需要一些特殊的技巧。实际上,有很多东西可以用来改善精度在实际的应用程序。当地的概率是一个这样的事情,这将在下一节中介绍。

一些运营商提出了融合提高分类的性能通过使用多个模型(27]。在这篇论文中,作者解决了移动应用程序流量通过提议multiclassification方法,从先进的分类器的智能结合输出提出了移动和加密流量的分类。在这篇文章中,我们也尝试我们的框架在一个融合运营商申请更高的精度。

3所示。我们的框架

给我们的框架的细节之前,我们给出下面的定义。这些定义来解释的实现方法。

3.1。预赛

我们设置作为一个样本标签的一个对象。我们设置随着地面实况在哪里 (28,29日]。标签是效益计算,通常一个数字(30.,31日]。例如,当有10个对象分类,标签从0到9。

3.2。我们的框架

图3介绍我们的框架,它被命名为L-PDL概率(本地深度学习)。首先,我们的框架列车深在训练集学习模型。然后,我们可以得到标签的概率(每个标签提出了一种对象)在每个验证样本集的训练模式。其次,我们得到后本地对象的概率验证集。第三,我们确认的参数条件概率之间的合作和标签的概率。最后,我们使用这个条件后当地合作概率和模型对测试样本的输出概率得到最终结果。

3.3。训练的概率模型

我们定义 标签的概率对样本训练模型 。然后最可能的结果是由以下方程: 使用的深度学习模型预测最终结果如图4说明了。

然后,我们定义 包括标签的集合令人满意的 。这意味着我们只考虑一些有很高的概率与当地合作的概率。

3.4。当地的概率

图5(一个)显示标签的概率,属于训练集的样本。图5 (b)显示了当地概率属于样品标签的验证和测试集。在这个图中,我们可以看到一些标签可能不如其他的样品。

我们定义作为当地的概率和后当地标签的概率在验证集。然后,我们协助模型概率获取正确的结果在测试设置。

3.5。有条件的合作

在本节中,我们进行了两个条件,应遵循当地的合作概率和概率模型如下:

意味着我们只考虑结果(最大概率之间的所有的标签 ),谁的概率小于 。然后,我们考虑标签的概率更大作为潜在的最终结果。然后,我们可以进行两种方法基于我们的框架。

3.5.1。联合合作(L-PDL-Joint)

为 , 从现在起,我们称之为L-PDL-joint。

3.5.2。加权合作(L-PDL-Weight)

为 , 从现在起,我们称之为L-PDL-weight。

使用这些方法时,我们应该计算 , , ,和(只有L-PDL-weight)验证集。我们可以后当地的概率在验证样本。的阈值是决定我们是否考虑结果。例如,如果 ,我们认为训练模型是高度不确定结果的正确性。的参数意味着我们只有选择一些标签作为潜在的最终结果。这是避免的标签 被选择的最终结果,因为当地的概率。换句话说,当地的概率不应该选择最终结果的唯一原因。

3.6。为什么我们的方法更好?

在本节中,我们试图解释为什么我们的方法可以执行比现有的方法。第一个原因是:在深入学习模型的情况下,捕获的特性分类中起着重要的作用。捕获特性的数量取决于结构层(32,33]。深度学习的训练过程是选择特性,可以提供样品。然后,使用概率分布在这些特性。因此,对象是更可能的标签比当有以下关系: 在这里期望值和吗 。因此,标签,高概率的选择是合理的,当重新考虑结果。第二个原因:可能有以下关系: 这意味着训练模型预测错误的结果。在这种情况下,我们相信 。特别是当 ,可能会有 ≉0,这显示正确的结果可能是其他。例如, 和 在图4。在这种情况下,如果我们有当地的概率 我们可以很容易地选择正确的结果这是“马”图4。

表1分类综述工作和我们的框架及其主要独特的特点。ResNeSt50、VGG16 VoVNet-57深度学习模型。融合操作符(27),我们的框架融合方法,基于这些深度学习模型。这些模型需要被训练在训练集上。我们的框架需要训练有素的验证集。一些融合运营商需要训练验证组,其他的不需要(27]。我们的框架可以应用到一个模型或多个的。

4所示。实验

我们评估我们的方法与现有的一些真实数据集在不同局部概率情况下。当我们随机参数,评价1000倍。我们训练有素的深度学习模型在报道一些真实数据集的默认设置。我们时代的数量(34,35]10为所有这些模型训练集。我们不关注的设计结构或调整hyperparameters。相反,我们将集中讨论如何使用当地的概率增加的准确性。

4.1。评估在CIFAR-10

评价CIFAR-10 (15- - - - - -1710000有50000个训练样本和测试样本,属于10标签。每个样本是一个RGB图像,有三个渠道:红、绿、蓝。我们使用50000个训练样本训练模型。然后,我们还剩下10000个样本。我们分配不同的地方概率这些样本如表2所示。

我们使用三种局部概率评估方法。在这个表中,Zero20意味着20%的标签也没有样品。我们定义Zero40(40%的标签没有样品)和Zero80(80%的标签没有样品)相同的方式。标签是零样本是随机选择的。图6显示了这些地方概率的例子。然后,为验证和测试集样本的数量在这些地方概率情况下小于10000。例如,关于8000样品留给这些集合Zero20情况。

我们的框架VoVNet-57训练(24],VGG16 [25],ResNeSt50 [26在训练样本生成训练模型。然后,我们使用1000个样本作为验证集,剩下的作为测试集,我们可以看到在表2,我们的方法可以提高精度约2.56% (Zero20情况),5.83% (Zero40情况),13.06% (Zero80情况),而现有的最好的方法。

4.2。评估cifar - 100

这个数据集就像CIFAR-10,除了它有100类包含600图片(18- - - - - -20.]。100年有500个训练图像和测试图像/标签。我们使用50000个训练样本训练模型。然后,我们还剩下10000个样本。我们分配不同的地方这些样本的概率。

我们定义Zero20、Zero40 Zero80一样的部分4.1介绍了。然后,我们使用1000个样本作为验证集。我们可以看到在桌子上3,我们的方法可以提高精度约2.57% (Zero20情况),6.36% (Zero40情况),18.51% (Zero80情况),而现有的最好的方法。

4.3。评估在Mini-ImageNet

Mini-ImageNet [21- - - - - -23数据集是few-shot学习评估。其复杂性高由于使用ImageNet图像,但需要更少的资源和基础设施比全ImageNet数据集上运行。总共有100个标签600个样本的84×84彩色图像/标签。我们使用48000个训练样本训练模型。然后,我们还剩下12000个样本。我们分配不同的地方这些样本的概率。

我们定义Zero20、Zero40 Zero80一样的部分4.1介绍了。然后,我们使用1000个样本作为验证集。我们可以看到在桌子上4,我们的方法可以提高精度约2.26% (Zero20情况),4.83% (Zero40情况),13.94% (Zero80情况),而现有的最好的方法。

4.4。随机的情况下在两个数据集

在本节中,我们随机分配本地cifar - 100和Mini-ImageNet概率。在更多的细节中,我们随机选择标签和分配随机局部概率评估方法。

兰特()函数,输出概率随机值。如果随机值小于0,我们使用0而不是这个值。然后,我们可以通过这个函数生成局部概率。例如,如果对象的原始样品标签的数量是1000,兰德(0,1)= 0.9,我们已经为这个标签900个样本在当地的概率。图7显示了兰德的例子(0,1),兰德(−1,1),和兰德(−2,1)。

我们可以看到在桌子上5,我们的方法可以提高平均精度约1.13%(在兰德(0,1)的情况下),8.76%(在兰特(−1,1)),和12.20%(兰德(−2,1))相比,现有的最佳方法。

4.5。多个模型在两个数据集

在本节中,我们运用我们的框架来融合算子,它使用多个模型的概率27]。我们选择软组合器,它需要一些参数估计,通常通过一个验证集。我们选择了阶级意识的训练方法combiner-based KL权重(命名CC-KL可训练的在表6)作为代表,取得了比其他方法更好的性能在纸上。然后,我们应用框架,此方法的结果,这是命名CC-KL可教育的框架在表6。

我们可以看到在桌子上6,CC-KL训练可以增加使用的概率模型的准确性。另一方面,性能受限于这些模型的准确性。这个表显示,我们的框架可以进一步提高精度的合作CC-KL可训练的(介绍27]),约0.96%(在兰德(0,1)的情况下),8.56%(在兰特(−1,1)),和10.95%(兰德(−2,1))平均高于现有的方法。

5。分析

我们评估方法与现有的真实数据集与当地不同的概率。结果显示我们的框架在这些情况下的有效性。当使用深度学习模型在真实的应用程序中,可以提高精度通过分析当地的概率。当地的概率可以通过计算验证集。在某些情况下,当地的概率可以通过其他的方式,例如,其他用户的经验概率的对象在一个环境。基于这种信息,我们可以得出一个结论,对象图4可能不是一个“鹿”,但“马”如图8所示。

使用L-PDL的另一个优点是,我们不需要再培训或转让的模型每个局部环境的鲁棒性。这就像一个人,”当你在罗马时,入乡随俗。“这种能力可以让人尽快生活在任何地方,可以称为鲁棒性。在本文中,我们还通过使用我们的框架实现这种鲁棒性。

作为我们的框架是基于现有的深度学习模型,计算复杂度增加,而这些模型。模型应该输出的概率,应该有一个验证为调优参数设置与地面真理,这就增加了管理的复杂性。此外,我们的框架会导致额外成本,是由当地的合作概率的计算和模型的输出。

5.1。使用首字母缩略词的引入

我们用表7给使用首字母缩略词的引入本文的读者的方便。

6。结论

在本文中,我们引入了一个小说的框架,结合了当地的概率和对象的概率。我们的框架使用的输出模型展示对象的概率。然后,这个概率有条件地与当地的合作概率达到更高的精度。我们的框架可以提高深度学习分类模型的鲁棒性的环境中。此外,我们还应用框架,现有的融合算子,从而进一步提高精度。评价结果证明我们的框架的有效性深度学习模型和融合运营商在这些模型。因此,我们的框架可以选择增加精度在实际的应用程序。

在未来的工作中,我们将研究深度合作的概率和当地的概率模型,例如,如何使用的概率输出之前标签。这可能包括更多信息对象的特点,可以正确地呈现“模型的样本。“此外,深度合作框架和融合运营商可能会进一步提高精度,这是我们未来工作的另一个方向。

数据可用性

CIFAR-10和cifar - 100是可用的http://www.cs.toronto.edu/∼kriz / cifar.html。Mini-ImageNet可在https://www.kaggle.com/whitemoon/miniimagenet。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金(批准号。61802279,6180021345,6180021345,61702366),天津市自然科学基金(批准号。18 jcqnjc70300 19 jctpjc49200 ptzwhz00020 19日和19 jcybjc15800),天津大学基础研究基金(批准号2019 kj019),天津科技项目(批准号19 ptzwhz00020)和部分ASIC和系统的国家重点实验室(批准号2021 kf014)和天津市教育委员会科学研究计划项目(批准号2020 kj112和2018 kj215)。

引用

1. j·j·吴黄c . y . n . Yu和k . Yu”多实例学习的图像分类和auto-annotation深处,”学报2015年IEEE计算机视觉与模式识别会议(CVPR),页3460 - 3469,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
2. z高,t·t·汉l .朱h . Zhang和y王,“探索跨域操作识别问题,深特征学习和跨领域学习,”IEEE访问》第六卷,第69008 - 68989页,2018年。视图:出版商的网站|谷歌学术搜索
3. k . x张,他任美国,j .太阳”深入深入整流器:超越人类ImageNet分类、性能”学报2015年IEEE计算机视觉国际会议,页1026 - 1034,圣地亚哥,智利,2015年12月。视图:出版商的网站|谷歌学术搜索
4. 郭x, y, d·舒尔曼”Semi-supervised zero-shot分类标签表示学习,”学报2016年IEEE计算机视觉国际会议拉斯维加斯,页4211 - 4219年,NV,美国,2016年6月。视图:谷歌学术搜索
5. 小时。杨,X.-Y。张、f .阴和c·l·刘“健壮的分类与卷积原型学习,”《IEEE计算机视觉与模式识别会议,页8769 - 8778,盐湖城犹他,美国,2018年6月。视图:谷歌学术搜索
6. t·奥谢和j . Hoydis物理层的深度学习概论,”IEEE认知通信和网络,4卷,不。3、563 - 575年,2017页。视图:谷歌学术搜索
7. 香,d . Ciuonzo a Montieri, Pescape。,“Toward effective mobile encrypted traffic classification through deep learning,”Neurocomputing卷,409年,第315 - 306页,2020年。视图:出版商的网站|谷歌学术搜索
8. 香,d . Ciuonzo a Montieri, a . Pescape“移动加密流量分类使用深度学习:实验评价,经验教训,和挑战,”IEEE网络和服务管理,16卷,不。2、445 - 458年,2019页。视图:出版商的网站|谷歌学术搜索
9. a·舒曼、美国锣和t . Schuchert“深度学习原型域人鉴定,”学报2017年IEEE国际会议上图像处理,第1771 - 1767页,北京,中国,2017年9月。视图:谷歌学术搜索
10. j·s·w·公园公园,k . Bong et al .,”一个节能和可伸缩的深度学习/推理处理器tetra-parallel多指令多数据架构对于大数据的应用程序,“IEEE生物医学电路与系统,14卷,第848 - 838页,2016年。视图:出版商的网站|谷歌学术搜索
11. d .黄,j . Wang Wang d . m . Zhang和h,“thread-saving时间表与图表分析并行深度学习应用在嵌入式系统中,“IEEE国际会议在智能云卷,93年,第115 - 111页,2018年。视图:出版商的网站|谷歌学术搜索
12. c·陈,p, h . Zhang et al .,“深度学习在computational-resource-limited平台:一项调查,”移动信息系统,卷2020,不。4 - 2020页。视图:出版商的网站|谷歌学术搜索
13. 即Karabayir、o . Akbilgic和n .助教”一种新的学习算法来优化深层神经网络:进化梯度方向优化器(EVGO)”IEEE神经网络和学习系统卷,99年,页1 - 10,2020。视图:谷歌学术搜索
14. r·k·Agrawal和a . Juneja“深度学习模型的医学图像分析:挑战和未来的发展方向,”大数据分析,第七届国际会议2019年12月,艾哈迈达巴德,印度。视图:谷歌学术搜索
15. w·伍兹和c . Teuscher“快速而准确的稀疏编码与一个简单的视觉刺激,ultra-low-energy飙升的架构,”IEEE神经网络和学习系统,30卷,不。7,2173 - 2187年,2017页。视图:谷歌学术搜索
16. j . Su d . v . Vargas, k .樱井”愚弄深层神经网络攻击一个像素,”IEEE进化计算,23卷,不。5,828 - 841年,2019页。视图:出版商的网站|谷歌学术搜索
17. p c·林,m . k .太阳,c . k .龚和t . d . Chiueh”Floatsd:一个新的体重代表和相关的更新效率卷积神经网络训练方法,”IEEE杂志在新兴和选定的主题在电路和系统卷,99年,第279 - 267页,2019年。视图:出版商的网站|谷歌学术搜索
18. j .陈和刘z”面具动态路由深度胶囊网络和U-net组合模型,”IEEE神经网络和学习系统卷,99年,页1 - 12,2020。视图:出版商的网站|谷歌学术搜索
19. h . Zhang和m .徐”,改善深层网络的泛化性能与敌对的双重模式学习适应,”以知识为基础的系统文章ID 106016卷,200年,2020年。视图:出版商的网站|谷歌学术搜索
20. Albelwi和A·马哈茂德”的框架设计深度卷积神经网络的架构,”熵,19卷,不。6,242年,页2017。视图:出版商的网站|谷歌学术搜索
21. 张y、m .方和n . Wang“Channel-spatial注意fewshot分类、网络”《公共科学图书馆•综合》,14卷,不。12篇文章ID e0225426 2019。视图:出版商的网站|谷歌学术搜索
22. 谢y, b . Yu h . Wang和c .张“安全协作few-shot学习”,以知识为基础的系统文章ID 106157卷,203年,2020年。视图:出版商的网站|谷歌学术搜索
23. f . j . p . Wang Cheng, l . Wang和w·冯“嵌入式神经网络自适应交叉调制few-shot学习”,神经计算与应用,32卷,不。2、2020。视图:出版商的网站|谷歌学术搜索
24. l . Youngwan h . Joong-won l . Sangrok b . Yuseok和p . Jongyoul“能源和GPU计算高效的骨干网络实时检测,”学报2019年IEEE CVF计算机视觉与模式识别会议/研讨会美国长滩,CA, 2019年6月。视图:谷歌学术搜索
25. l . j . z . Liu Wu傅et al .,“提高猕猴桃检测使用pre-trained VGG16 RGB和近红外光谱信息融合,“IEEE访问,8卷,不。1,第2336 - 2327页,2020。视图:出版商的网站|谷歌学术搜索
26. z h, c . Wu Zhang et al .,“ResNeSt:份网络”程序的计算机视觉和模式识别美国,西雅图,佤邦,2020年6月。视图:谷歌学术搜索
27. 香,d . Ciuonzo a . Montieri a . Pescape a . Montieri和a·安东尼奥“智能化移动应用程序流量分类的方法,”网络和计算机应用》杂志上卷,103年,第145 - 131页,2018年。视图:出版商的网站|谷歌学术搜索
28. c . Gsaxner b . Pfarrkirchner l·林德纳n . Jakse和j .症”利用18 f-fdg增强膀胱在宠物数据深度学习地面实况代在CT扫描,”有医学成像37卷,2018。视图:谷歌学术搜索
29. 问:刘翔和z . y . Wang“自动”地面实况”注释和工业工件深度学习的数据集生成,“国际期刊的自动化和计算,3卷,1 - 12,2020页。视图:谷歌学术搜索
30. 张s和c关”,与精制深度学习标签,情感识别”第43届年会论文集《加拿大医学和生物工程IEEE,蒙特利尔,加拿大,2020年7月。视图:谷歌学术搜索
31. y Pu、g .哲r . Henao y鑫,和l . Carin“变分autoencoder深度学习的图片,标签和标题,”先进的神经信息处理系统2016年12月、西班牙的巴塞罗那。视图:谷歌学术搜索
32. y z林、z h·聂和h·w·马,“结构损伤检测与自动特征量提取通过深入学习,”计算机辅助土木与基础设施工程,232卷,2017年。视图:谷歌学术搜索
33. 方c . j . Liu, c .吴”融合基于七层深度学习神经网络的人脸识别方法,”电气和计算机工程杂志》上卷,2016年,页1 - 7,2016。视图:出版商的网站|谷歌学术搜索
34. w . Hastomo a . Karno n . Kalbuana a . Meiriki和a . Sutarno”时代深度学习的特征参数来预测Covid-19数据在印尼,”物理学杂志》:会议系列,1卷,不。2021年,文章ID 12050, 1933。视图:谷歌学术搜索
35. w·g . Lim y Cheng许,m·l·李”集成视神经盘和杯子分割与深度学习”《IEEE国际会议上与人工智能工具美国加利福尼亚州圣何塞,IEEE 2016年11月。视图:谷歌学术搜索

版权

版权©2021广豪晋等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。