一个心电图信号分类方法基于扩张因果卷积

文摘

心血管疾病的发病率逐年增加,显示一个年轻的趋势。与此同时,现有的医疗资源紧张。心电信号的自动检测变得越来越必要。本文提出了心电信号的自动分类基于扩张因果卷积神经网络。递归神经网络来解决问题的框架网络不能加速了硬件设备,采用扩张因果卷积神经网络。鉴于特性相同的递归神经网络的输入和输出的时间步骤和未来的保密信息,网络是由完全卷积网络和因果卷积。减少网络深度和防止梯度爆炸或梯度消失,扩张因素引入模型,引入的残余块模型根据快捷连接的想法。验证了算法的有效性在房颤MIT-BIH数据库(MIT-BIH非洲发展银行)。实验的MIT-BIH非洲开发银行数据库,分类准确率是98.65%。

1。介绍

根据2018年“中国心血管疾病报告”1),心房纤颤(房颤)在中国的流行正在上升,和死亡率一直高于肿瘤和其他疾病。因为大多数心血管疾病不是孤立的疾病,没有重要的临床特征的早期阶段,大量的心血管疾病患者相关并发症在最初诊断,极大地威胁着他们的健康。除此之外,实际的心血管疾病患病率可能远高于估计的水平;因此,及时、准确地检测心血管疾病具有重要意义。

心电图(ECG)检查已经成为现代医学的四个主要的常规检查项目。心电图是诊断心血管疾病最安全、最有效的方法。电子信息技术的快速发展使得心电图测量更方便、更快,它提供了大量的数据对心电图自动分类。

深度学习的理论提出了在1940年代,但由于有限的计算能力,其发展非常缓慢。21世纪后,随着计算机技术的快速发展和并行加速计算技术,深度学习一直支持的硬件。2012年,辛顿的研究小组参与了ImageNet图像识别竞争,和AlexNet (2由卷积神经网络(cnn)赢得了冠军,这引起了学术界的注意和行业领域的深入学习。Rajpurkar et al。3构造一个34-layer cnn和验证网络的有效性在自建数据库,并与由医学专家给出的结论。最后的F1的神经网络是77.6%,高于71.9%的医学专家。在房颤MIT-BIH数据库(MIT-BIH非洲发展银行)4]。他等。5使用连续小波变换(CWT)心电图信号转换成一个谱图,然后使用cnn自动提取特征并进行分类。最终的分类精度为99.23%。王等人。6使用小波包变换和随机过程理论来提取特性和人工神经网络(ann)用于分类。分类准确率为98.8%。湖等。7使用样本熵系数(COSEn)对房颤信号进行分类。Asgari et al。8使用小波变换来处理信号和使用支持向量机(SVM)检测房颤的发生。周et al。9)使用了一种新的递归算法对房颤信号进行分类。Acharya et al。10)使用11-layer cnn检测房颤的发生。安徒生et al。11)把cnn与RNNs和使用RR间隔加强网络的分类能力。讨厌等人。12]BiLSTM cnn的深度增加,用来提高时域信号连接。肯尼迪et al。13)使用随机森林和K-approximation方法分析RR区间的特点。Kwang-Sig [14)的影响相比AlexNet和ResNet心房纤颤的分类。Soliński et al。15)使用深度学习和混合QRS检测分类房颤信号。格林et al。16)使用一个模型组成一个支持向量机和一个两层的前馈神经网络检测房颤。鲁宾et al。17紧密连接卷积)首次引入网络分类的心房纤颤。Kumar et al。18)使用灵活的熵特征提取分析小波变换来检测房颤的发生。2017年CinC竞争,赵et al。19)使用卡尔曼滤波和傅里叶变换将ECG信号转换成光谱图,采用18-layer深层神经网络(款)提取和转换光谱图的特征进行分类。最后的测试集平均F1分数是0.802。萍et al。20.]使用一个网络模型结合cnn和跳连接和一个长期和短期记忆神经网络(LSTM)对ECG信号进行分类,和测试集的F1得分为0.896。吴et al。21)提出了一个关键卷积神经网络分类的房颤信号,F1的得分是0.87的话,测试集。22使用浅卷积神经网络和短期记忆(LSTM)网络。添加LSTM提高了分类精度。(23使用时频特性来处理原始数据,和一个人工神经网络(ANN)是作为特征提取和分类器。在文献[24),作者使用squeeze-and-excitation残余网络(SE-ResNet)来检测异常发生。

在这项工作,第一次使用扩张因果卷积的心电图分类任务。主要贡献如下:(1)一个新颖的心电图分类方法提出了基于卷积快捷连接和扩张的因果。该方法有效地提高了训练速度和分类精度(2)我们探索的影响网络结构和关键参数对分类结果。找到一个更好的参数选择方法,进一步提高了模型的分类精度

剩下的纸是组织如下。节2,MIT-BIH非洲开发银行(4)和数据预处理。节3介绍了DCC的基本知识。节4心电信号分类的评价指标,介绍了实验结果。节5,整个论文的总结。

2。数据库和数据预处理

心电信号的自动分类主要分为四个步骤:(1)输入,(2)数据预处理,(3)特征提取,(4)分类。整个过程如图1。

2.1。数据库

MIT-BIH非洲发展银行(4)包含一个共有25长期心电图数据,每个记录持续10个小时,数据采样率为250 Hz。此外,07735号和03665号的数据不可用。因此,其余23可以用于实验记录。

2.2。数据预处理

2.2.1。去噪

不可避免地会有噪音在心电图信号采集,所以DB6使用小波分解与9-level原始ECG信号小波(25]。组件的ECG信号主要集中在0.05和40 Hz,第一和第二级组件包含90 - 180赫兹和45 - 90 Hz被丢弃,和其余三个nine-level组件是用于信号重建。

2.2.2。 - - - - - -分数归一化

心电图数据的振幅在不同的人之间的差异极大。输入数据有很大差异时,神经网络的性能通常是不够好。因此, - - - - - -采用分数归一化数据处理。这种方法可以减少数据中不同的振幅的影响。的过程 - - - - - -根据方程(分数进行规范化1)。

在哪里心电信号数据,和数据的平均值和标准偏差。

2.2.3。分割

自从MIT-BIH非洲发展银行ECG数据的长度相对较长,心电图数据分段根据标签文件获得288正常心电图数据,291年心房颤动心电图数据,和14心房扑动心电图数据。根据类型细分后,获得心电图信号是切成段的长度4 s。和数据的长度小于4 s丢弃。分割后的数据分布如表所示1。

2.2.4。5倍Crossvalidation

在实验中,5倍crossvalidation采用。实验数据分为五个部分,这四个部分被用作训练集,一部分作为测试集。5倍crossvalidation可以提高模型的稳定性和促进hyperparameters的选择。数据划分图如图2。

3所示。方法

在本节中,针对传统的操作速度慢心电图分类模型,介绍了DCC在ECG信号的自动分类。为了便于后续的比较实验,部分3所示。1- - - - - -3所示。3介绍卷积神经网络、复发性神经网络和时间卷积网络。

3.1。卷积神经网络(cnn)

卷积层的核心组件是卷积神经网络(cnn),大多数操作的卷积神经网络完成。卷积层的操作可以通过方程(表示2)。

在哪里是重量参数,偏差参数,代表了激活函数。

卷积网络的发展经历的阶段LeNet [26],AlexNet [2],VGGNet [27],ResNet [28]。卷积神经网络的潜在特征提取和分类不断挖掘。同时,卷积神经网络的缺点,不能应用于时间序列信息不断放大。

3.2。递归神经网络(RNNs)

自卷积神经网络不能处理有关时间和空间序列,复发性神经网络(RNNs) [29日提出了]。RNN网络结构图如图3(29日),我们可以知道RNNs的结构图是隐藏层的输出值RNNs不仅取决于当前的输入值还隐层输出值的前一刻。

RNNs模型的广泛应用,RNN网络梯度问题已逐渐引起关注。同时,RNN网络的运行时间缓慢的缺点不能满足人们的需求。

3.3。时间卷积网络(TCN)

为了解决RNNs的问题,白等。30.)提出了一种时间卷积网络(TCN)处理时间序列信息。TCN网络结构是一个基于CNN网络框架RNN网络的实现类似的功能。解决问题的不同的输入和输出步骤在cnn和未来的信息泄漏,提出了TCN。

扩张因果卷积层是核心的TCN网络层。DCC可以分为两个部分:扩张卷积(31日和因果卷积32]。因果卷积可以解决问题不同的输入和输出步骤在cnn模型和未来的信息泄漏。扩张卷积可以扩大接受域卷积的内核和深度在一定程度上降低了网络。

3.4。改善扩张型因果卷积网络

心电信号是时间序列,长度相对较长。这些特性可以匹配TCN的优点。然而,实验结果并不令人满意。为了获得更好的结果,我们提出了一种改进的模型。改进的模型包含多个DCC块和多个快捷方式连接(28]。在该模型中,每个块包含一个扩张因果卷积层,权重归一化层,一个激活功能层,一层辍学,快捷连接。我们还添加了一个快捷方式之间的连接层的输入层和完全连接层。图4显示了该模型的结构。

3.4.1。因果卷积

在未来解决信息泄漏的问题,随意的卷积(32在模型中采用。的输出数据在时间 ,输入只能和时间 ;也就是说, 和它的结构图如图所示5。

3.4.2。扩张因果卷积

因为心电图信号通常具有很高的采样率和收集到的信号持续很长一段时间,直接使用因果卷积将导致网络层过深,这是不利于神经网络学习,极大地增加了计算负担。为了有效地处理数据和长期的历史信息,如心电图数据,WaveNet[的想法33)和扩张因果卷积(DCC)引入到模型中。扩张的因素(34]的基础上,介绍了因果卷积,从而增加接受域的大小,可以在一定程度上减少网络层的数量。DCC图操作如图6(30.]。图7给出了一维卷积内核添加了卷积因子。

3.4.3。重归一化

为了进一步加快网络操作,我们改变了标准化层模型中从批处理标准化层重量正常化(WN) [35)层。神经网络的操作可以通过方程(表示3)。

在哪里是特征向量。提出的标准化战略WN分解到一个参数向量和一个标量参数 。所示的分解方法是方程(4)[35]。

在上面的公式中,代表的欧氏距离 。更新后的值和可以通过SGD计算(36]。方程(5)[36)和方程(6)[36显示计算过程。

在哪里损失函数,的梯度值吗下 。

3.4.4。激活函数

ReLU [37)激活函数模型中的应用。方程(7)[37)显示了ReLU激活函数的计算过程。

3.4.5。辍学层

为了防止过度拟合的模型,一个辍学层(38是添加到模型中。辍学的操作表达层方程所示(8)[38]。

在上面的公式中,伯努利随机函数生成0或1的向量。

3.4.6。快捷方式连接

剩余的块结构通常出现在神经网络与更深层次的网络结构。他(28)的研究表明,当网络深度达到一定程度时,继续增加,网络深度会使学习效果更糟。剩余网络使网络更容易优化通过添加快捷方式到深层神经网络的连接。几层包含短连接的网络被称为残块,如图8。的计算表达式所示的快捷连接方程(9)[28]。

原始数据之间的通道的数量和数据后卷积操作可能不相等。因此,一个 卷积的块添加到跳连接上执行一个简单的转换 ,所以转换后的和具有相同数量的渠道。结构如图9(28]。

4所示。实验和结果

本文提出的网络结构建造的Nvidia Tesla GPU V100 PyTorch框架和训练。亚当(39)优化算法用于训练,学习速率的初始值设置为0.0001,和余弦退火(40采用。迭代轮的数量设置为50。

4.1。评价指标

准确性(Acc),特异性(Spe)和敏感(Sen)神经网络模型的三个重要的评价指标。计算这些评价指标,真阳性(TP),真阴性(TN),假阳性(FP),和假阴性(FN)介绍了。评价指标的计算公式见公式(10)- (12)。

4.2。实验验证

4.2.1。准备精度对比实验

改善的准确性扩张因果卷积神经网络(iDCCN)在训练集和测试集的心房纤维性颤动数据库如图10,混淆矩阵的分类测试集的结果图11。分类精度(Acc)的iDCCN MIT-BIH非洲开发银行为98.65%,敏感性为98.79%,特异性为99.04%。

表2总结了一些分类算法在MIT-BIH非洲发展银行近年来执行的。方法的表列出了作者,出版,使用的方法,数据库中的方法的性能。(7)是基于心电信号的形状,和分类效果会降低,当信号类型比较复杂。(8,9)是机器学习的方法,这就需要大量的人工特征提取以及高数据预处理结果在处理问题时,花费大量的时间和计算。(10)使用一个11-layer卷积神经网络检测房颤的发生。该方法的准确性达到94.9%,敏感性为99.13%,特异性为81.44%。然而,这种方法相对简单的网络模型,和分类结果不理想。中提到的方法(11)的准确性达到97.80%,敏感性为98.96%,特异性为86.04%。然而,复杂网络降低计算速度和分类的结果也非常依赖RR间隔的检测结果。的方法(12)已达到96.59%,99.93%,97.03%,精度,灵敏度和特异性分别。然而,由于网络深度和使用LSTM越深,网络有大量的计算和计算速度慢。

4.2.2。复杂性分析

验证该方法的优越性在运行时间,我们复制使用的网络模型10- - - - - -12,22- - - - - -24)和记录的运行时间模型在测试集上。表3显示了运行时间的四个不同的模型在测试集。

如表所示3,网络中使用(10)成本最少的时间在测试集,持续时间为25.67,但是由于简单的网络结构,分类精度低。由于模型网络中使用[11)有一个更深的层数,需要很长时间的测试集,32.60秒的时间,但精度已得到改进。(使用的网络12)有一个更复杂的网络结构和网络深度更深。花费时间在测试集上,40.82秒的时间。在文献[22),添加LSTM提高了分类精度。然而,时间是30.64秒的测试集。23)获得最高的分类精度比较实验。但由于复杂的网络结构,23测试组)花费的时间最长,持续时间为48.37 s。因为网络深度越深,运行时间的24在测试集是46.20秒)。

该方法消除了递归神经网络模型中,从而降低整体的时间复杂度。测试设备的运行时间是27.62秒。在传统的褶积层,卷积核是紧密相连的。但是在该模型中,除了扩张因素减少了计算复杂度的卷积层。

4.2.3。网络结构的比较实验

来验证是否扩张因果卷积模块的数量会影响实验结果,3块,4块5块相对用于比较,和四个不同的方式定义采用扩张的因素。(1) (2) (3) (4) 在哪里是扩张的因素。是块编号。从0开始。

如表所示4和图12网络深度的增加,计算量增加。在相同的计算能力,增加数量的计算方法计算时间的增加。随着网络深度的增加,模型的学习能力增强,提高分类精度。

扩张系数为0时,计算时间的3块,4块5块是26.48,29.34,31.26 s,分别。和准确性为87.66%,89.78%,90.14%。在第二种情况下,扩张的因素(是块编号)。计算时间的3块,4块,5块是25.76,28.97,30.06 s,分别。精度为92.65%,94.22%,95.03%。第三,扩张的因素 。24.83,28.35,29.51年代的计算时间是3块,4块5块。和三个实验的准确性为93.27%,95.43%和96.15%。在最后一种情况下,扩张的因素 。三个实验的计算时间是23.76,27.62,28.06。精度为92.31%,98.65%,97.92%。

精度达到最高的最后一例当块的数量是4。在过去的情况下,精度曲线第一次上涨3和4块实验然后下降5块实验。这可能是由于网络陷入局部最优解。

5。结论

本文提出了一种新颖的基于DCC的ECG信号分类模型。该模型包含四个iDCCN街区,每个iDCCN块包含一个扩张因果卷积层,权重归一化层,层的激活函数,辍学层,和一个捷径层。5倍crossvalidations用于训练和测试模型MIT-BIH非洲开发银行。该模型提高了分类准确性测试集的98.65%。实验结果验证了该方法的有效性在心房纤颤检测。和模型降低了运行时间。该方法为使检测到的心电信号实时诊断提供新的想法。

数据可用性

心电信号数据用于支持本研究的发现已经存入MIT-BIH房颤数据库存储库(https://www.physionet.org/content/afdb/1.0.0/)。

的利益冲突

作者宣称没有利益冲突。

引用

1. 高s, r, l . Liu”2018年总结报告在中国心血管疾病,”中国循环杂志,34卷,不。3、209 - 220年,2019页。视图:谷歌学术搜索
2. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”ACM的通信,60卷,不。6,84 - 90年,2017页。视图:出版商的网站|谷歌学术搜索
3. p . Rajpurkar a . y . Hannun m . Haghpanahi c .境界和a . y . Ng”Cardiologist-level心律失常与卷积神经网络检测,”2017年,http://arxiv.org/abs/1707.01836。视图:谷歌学术搜索
4. a . l . Goldberger l·a·n·阿马拉尔l .玻璃et al。”PhysioBank、PhysioToolkit和生理网:组件的一个新的研究资源对于复杂的生理信号,”循环,卷101,不。23日,pp. e215-e220, 2000年。视图:出版商的网站|谷歌学术搜索
5. n . r .他k . Wang赵et al .,“自动检测房颤的基于连续小波变换和二维卷积神经网络,”前沿生理学第1206条,卷。9日,2018年。视图:出版商的网站|谷歌学术搜索
6. p . j . Wang Wang和s .王”自动检测房颤的心电图信号基于小波包变换和随机过程的相关函数,“生物医学信号处理和控制2020年,55卷,第101662条。视图:出版商的网站|谷歌学术搜索
7. d . e .湖和j·r·摩尔人”准确熵估计在很短的生理时间系列:在植入心室心房纤维性颤动检测设备的问题,“美国Physiology-Heart和循环生理学杂志》上,卷300,不。1,H319-H325, 2011页。视图:出版商的网站|谷歌学术搜索
8. s . Asgari a Mehrnia m·穆萨维,“自动检测房颤利用平稳小波变换和支持向量机,”计算机在生物学和医学,60卷,第142 - 132页,2015年。视图:出版商的网站|谷歌学术搜索
9. 周x h .叮,b), e . Pickwell-MacPherson y张,“自动在线检测基于符号动力学的心房纤颤和香农熵,”生物医学工程在线,13卷,不。1,p。18日,2014。视图:出版商的网站|谷歌学术搜索
10. 美国r . Acharya h . Fujita o . s . Lih y Hagiwara, j . h . Tan和m .亚当,”自动检测使用不同间隔的心动过速心律失常心电图与卷积神经网络部分,“信息科学卷,405年,第90 - 81页,2017年。视图:出版商的网站|谷歌学术搜索
11. r·s·安德森,A . Peimankar和s . Puthusserypady“深度学习的方法实时检测心房纤维性颤动,“专家系统与应用程序卷,115年,第473 - 465页,2019年。视图:出版商的网站|谷歌学术搜索
12. h .见鬼,m .太阳,g .张x, x,和常问:“小说深失常诊断心房纤维性颤动分类网络使用心电图信号,”IEEE访问7卷,第75590 - 75577页,2019年。视图:出版商的网站|谷歌学术搜索
13. a·肯尼迪·d·d·芬利,d . Guldenring r r键,k .莫兰和j·麦克劳林,“自动检测房颤使用rr间隔和multivariate-based分类,“心电学杂志》卷,49号6,871 - 876年,2016页。视图:出版商的网站|谷歌学术搜索
14. s . k . s . Lee Jung, y吉尔和h . s .儿子,“心房纤维性颤动基于卷积神经网络分类,“BMC医学信息学和决策,19卷,不。1,p。206年,2019。视图:出版商的网站|谷歌学术搜索
15. m . Soliński a . Perka j . Rosiński m .Łepek和j . Rymko”分类的心房纤维性颤动短期心电图记录使用机器学习方法和混合QRS检测”2017年心脏病学会议(CinC)计算雷恩,页1 - 4,法国,2017年9月。视图:出版商的网站|谷歌学术搜索
16. 诉格林和y Yaniv SVM方法识别心房纤维性颤动。”生理测量,39卷,不。9日,第094007条,2018年。视图:出版商的网站|谷歌学术搜索
17. j·鲁宾,s . Parvaneh a·拉赫曼b·康罗伊和s . Babaeizadeh”密集连接卷积网络从短单管线检测心房颤动心电图记录,“心电学杂志》,51卷,不。6,S18-S21, 2018页。视图:出版商的网站|谷歌学术搜索
18. m·库马尔·r·b·Pachori, u r . Acharya”心房颤动心电图的自动诊断信号使用熵特性从灵活的分析小波变换,提取”生物控制论和生物医学工程,38卷,不。3、564 - 573年,2018页。视图:出版商的网站|谷歌学术搜索
19. z赵、美国Sarkka和a . b . Rad”Kalman-based spectro-temporal心电图分析使用深卷积网络心房纤维性颤动检测”信号处理系统杂志》上,卷92,不。7,621 - 636年,2020页。视图:出版商的网站|谷歌学术搜索
20. l . y . Ping, c . Chen, y . Wang和m .蜀”自动检测房颤基于CNN-LSTM和快捷键连接,”医疗保健,8卷,不。2,p。139年,2020年。视图:出版商的网站|谷歌学术搜索
21. 问:吴,y的太阳,h .燕,吴x”Ecg信号分类与关键卷积神经网络”计算机在生物学和医学第103800条,卷。121年,2020年。视图:出版商的网站|谷歌学术搜索
22. w·f·马,j . Zhang w . Chen梁,和w·杨,“心房纤颤的自动化系统通过使用CNN-LSTM模型,”离散动力学性质和社会卷,2020篇文章ID 3198783、9页,2020。视图:出版商的网站|谷歌学术搜索
23. a . k . Sangaiah m . Arumugam g . b .扁,“智能学习方法提高心电信号分类和心律失常分析,“人工智能在医学上第101788条,卷。103年,2020年。视图:出版商的网站|谷歌学术搜索
24. s . j .公园,j . Kim Jung, y吉尔,j . i . Choi和h . s .儿子,“心电图信号基于squeeze-and-excitation残余神经网络,智能化模型”应用科学,10卷,不。18日,第6495条,2020年。视图:出版商的网站|谷歌学术搜索
25. 美国r . r . j . Martis Acharya, l . c . Min”心电图击败分类使用PCA, LDA, ICA和离散小波变换,“生物医学信号处理和控制,8卷,不。5,437 - 448年,2013页。视图:出版商的网站|谷歌学术搜索
26. y LeCun (l . Bottou y Bengio, p . Haffner“Gradient-based学习应用于文档识别,”IEEE学报》,卷86,不。11日,第2324 - 2278页,1998年。视图:出版商的网站|谷歌学术搜索
27. k . Simonyan和a . Zisserman”很深的卷积网络大规模图像识别,”2014年,http://arxiv.org/abs/1409.1556。视图:谷歌学术搜索
28. k . x张,他任美国,j .太阳,“深残余学习图像识别,”《IEEE计算机视觉与模式识别会议拉斯维加斯,页770 - 778年,2016年。视图:谷歌学术搜索
29. k .赵b . Van Merrienboer c Gulcehre et al .,“学习短语表示使用RNN encoder-decoder统计机器翻译,”2014年,http://arxiv.org/abs/1406.1078。视图:谷歌学术搜索
30. 美国巴姨,j . z科特勒和诉Koltun,“实证评价通用卷积序列建模和复发性网络,”2018年,http://arxiv.org/abs/1803.01271。视图:谷歌学术搜索
31. 李y, r . Yu, c . Shahabi Demiryurek,和y . Liu“深度学习:交通预测极端条件,一个通用的方法”数据挖掘学报2017年暹罗国际会议(SDM),页777 - 785,休斯顿,德克萨斯州,美国,2017年4月。视图:出版商的网站|谷歌学术搜索
32. t . j .巴西“Causal-convolution-a线性系统的瞬态分析的新方法在微波频段,”IEEE微波理论和技术,43卷,不。2、315 - 323年,1995页。视图:出版商的网站|谷歌学术搜索
33. a . Oord s Dieleman h .禅et al .,“Wavenet:原始音频的生成模型,”2016年,http://arxiv.org/abs/1609.03499。视图:谷歌学术搜索
34. f . Yu和诉Koltun多尺度环境下扩张的聚合的隆起,”2015年,http://arxiv.org/abs/1511.07122。视图:谷歌学术搜索
35. t . Salimans和d . p . Kingma体重标准化:一个简单的reparameterization加速深层神经网络,训练”先进的神经信息处理系统,29卷,第909 - 901页,2016年。视图:谷歌学术搜索
36. Sutskever, j . Martens g·达尔,g .辛顿”在初始化和动量在深度学习的重要性,”30学报》国际会议上机器学习,页1139 - 1147年,亚特兰大,乔治亚州,美国,2013年。视图:谷歌学术搜索
37. 诉Nair g·e·辛顿,“修正线性单位改善限制玻耳兹曼机,”ICML 2010以色列海法,,2010。视图:谷歌学术搜索
38. n .斯利瓦斯塔瓦辛顿,a . Krizhevsky Sutskever,和r . Salakhutdinov”辍学:一个简单的方法来防止神经网络过度拟合,“机器学习的研究》杂志上,15卷,不。1,第1958 - 1929页,2014。视图:出版商的网站|谷歌学术搜索
39. d . p . Kingma和j .英航“亚当:随机优化方法,”2014年,http://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
40. 即Loshchilov和f . Hutter解耦体重衰变正规化,”2017年,http://arxiv.org/abs/1711.05101。视图:谷歌学术搜索

版权

版权©2021郝马等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。