文摘

准确的识别高频振荡(高频振荡器)癫痫灶的精确定位是一个重要的先决条件和drug-refractory癫痫的预后良好。探索一个高频振荡器的高性能自动检测方法可以有效地帮助临床医生减少出错率,减少人力。由于有限的分析视角和简单的模型设计,很难满足临床应用的要求,现有的方法。因此,一个端到端的bi-branch融合模型提出了自动检测高频振荡器。与过滤带通信号(信号分支)和时频图像(TFpic分支)作为模型的输入,两个骨干网络深特征提取,分别。具体地说,基于ResNet1d混合模型和长期短期记忆(LSTM)是专为信号分支,既可以关注的特性在时间和空间维度,而ResNet2d卷积块关注模块(CBAM)构造TFpic分支,而更多的是注意TF图像的有用信息。那么两个分支的输出是高频振荡器的融合实现端到端自动识别。我们的方法验证5日难治性癫痫患者。intravalidation,该方法获得高灵敏度为94.62%,特异性为92.7%,和93.33%,F1-score交叉验证,我们的方法实现高灵敏度为92.00%,特异性88.26%,F1-score平均的89.11%。结果表明,该方法优于现有的检测模式的单一信号或单一时频图的策略。 In addition, the average kappa coefficient of visual analysis and automatic detection results is 0.795. The method shows strong generalization ability and high degree of consistency with the gold standard meanwhile. Therefore, it has great potential to be a clinical assistant tool.

1。介绍

准确定位病灶(EZ)是成功的关键drug-refractory癫痫患者的术前评估1- - - - - -3]。高频振荡(高频振荡器)信号的检测频率为80 - 500赫兹EZ的准确定位具有重要意义,因为作为一个生物标志物的EZ [4- - - - - -7),与手术切除预后良好是高度相关的通道高频振荡器的发生率高(4,8]。高频振荡器是自发的脑电图模式,它反映了神经元的同步瞬态(9]。他们根据频率分为三种类型:Rs(涟漪,80 - 250赫兹),FRs(快速涟漪,250 - 500赫兹),和VHFOs(高频振荡,1000 - 2500 Hz) (10,11]。目前,临床医生的视觉分析基于长期的高频振荡器stereoelectroencephalography (SEEG)和录像被认为是临床诊断的金标准(12- - - - - -15]。然而,一个病人通常需要不断监控好几天一个星期,所以手动分析这样一个巨大的数据量超出临床的人力。此外,视觉分析是受医生的主观因素,导致不可避免的错过和错误的标签16]。因此,它具有十分重要的现实意义探索高频振荡器的自动检测方法,可以为临床医生提供更客观的依据,减少人力。

许多高频振荡器自动探测器在不同的研究已报告。高频振荡器检测的传统方法通常是基于带通信号或时频图。信号而言,单步Teager能量算子的检测方法有不同的特点,小波熵,模糊熵,短时能量等研究了在过去的十年17- - - - - -24]。然而,这些方法很难区分高频振荡器和一些工件,如峰值,pulse-like工件,并与谐波信号(20.]。缓解这一问题,提出了两阶段的方法来进一步探讨信号特征通过添加后监督分类器或无监督聚类初始检测器(25- - - - - -29日]。具体地说,真正的高频振荡器可以确定候选人的事件与背景活动由一个堆叠CNN (28]或堆叠去噪autoencoder [29日),而时频图,两级自动检测范式一直使用。特别是,它是简单的2 d-cnn结构通常是作为时频图像特征提取器后初始检测器(25,30.- - - - - -32]。然而,这仍然是一个挑战,充分学习有用的信息值得关注信号或时频图像。

尽管上述研究已经实施并验证其有效性在某种程度上,仍有一些需要克服的挑战。在临床诊断中,多通道数据常常被临床医生是获得一个精确的术前评估(33- - - - - -35]。在脑电图的分析中,两种不同形式的信号波形和时频分析图像包含丰富的信息,分别需要神经科医师的综合分析(36]。但是,很少有研究考虑到数据的形式。此外,以往的研究很少关注时间维度特征和信号的空间形态特征,和一些研究人员进行深入分析时频图像中哪些信息值得关注,哪些不是。所以,以前的单一的分析视角和简单的模型设计方法导致了以下三个挑战:(1)模态输入数据的不足,(2)学习不足EEG信号的时间和空间形态特征,和(3)学习的功能不足时频图。

应对上述挑战,本文提出了一种高频振荡器自动检测方法基于端到端的bi-branch融合模型,不仅可以整合的优势两个情态动词的数据,也可以从multiperspectives探索更多的丰富的信号或图像信息。与过滤带通信号(信号分支)和时频图像(TFpic分支)作为模型的输入,两个骨干网络深特征提取,分别。具体地说,基于ResNet1d混合模型和LSTM是专为信号分支,虽然一个ResNet2d CBAM TFpic支行构造块。那么两个分支的输出是高频振荡器的融合实现端到端自动识别。我们的方法是评估通过临床SEEG数据记录从5 drug-refractory癫痫患者。已经证明,我们的方法不仅实现更高层次的准确性等方面比现有研究中,敏感性和特异性也更好的平衡,使其更适合于临床应用。

我们研究的主要贡献是总结如下:(1)我们的研究提出了一个两级高频振荡器的自动检测方法。具体地说,在第一阶段,一个初始检测器基于阈值的目的是获得候选事件的一组疑似高频振荡器,在第二阶段,根据候选集,我们构建了一个深度学习模型进行进一步检测。(2)集成的优势两个情态动词的数据,我们提出了一个端到端的bi-branch融合模型,在两个骨干网络(1 d-resnet + LSTM & 2 d-resnet_cbam)是为了学习深度过滤信号的特性和时频图像,分别。烧蚀实验的结果证明了该方法的有效性。它已超越其他报道方法敏感性,特异性和其他方面。(3)我们建议1 d-resnet + LSTM模型信号分支,在1 d-resnet负责提取特征信号形态空间,在时间维度和LSTM侧重于功能的信号。(4)我们建议2 d-resnet_cbam模型TFpic分支,可以多注意图像的有用信息空间和通道的注意机制添加到基线。

本文的其余部分组织如下。部分2演示了材料和该方法。部分3给出了实验结果和相关的比较。部分4分析和讨论了方法和结果,以及限制和未来的工作。最后,部分5本文总结道。

2。材料和方法

2.1。材料

2.1.1。数据采集

这项研究涉及5耐药性癫痫患者来自首都医科大学宣武医院。的详细信息如表所示1。所有患者进行术前常规头皮脑电图检查和各种影像学检查(包括核磁共振成像和正电子)。与此同时,所有的病人被医生以多学科的方式讨论。结合术前评估的诊断结果,规划和立体定向进行了脑电图电极,这已被证明是有用的在识别癫痫区(37]。具体来说,加强thin-scan MRI(层厚度1毫米,间隔1毫米)和thin-scan CT(层厚度1毫米,间隔1毫米)导入到一个机器人立体定向手术助理工作站(robotied立体定向助理,罗莎,从法国公司名为医学技术)数据融合;然后电极植入计划设计。

SEEG电极我们使用直径为0.8毫米,每个电极都有5日至18日期间召开的联系人,每个长2毫米和1.5毫米间距,如图1(一)。一个典型的内侧颞叶电极重建如图所示1 (b)。每个病人的远程SEEG数据被收集在2048赫兹的频率,.eeg格式的文件,可以通过查看病人的视频记录Natus Neuroworks软件。根据每个病人的视频记录,我们随机选择的SEEG记录每个病人的清醒时间间隔和睡眠间隔2小时。选择之间的时间间隔记录和病人的发作至少1小时。法国电力公司(EDF)格式导出,每个病人的渠道分销记录在同一时间。指出,这里的数据导出并没有受到任何预处理操作。

2.1.2。数据预处理

所有受试者的原始相间SEEG数据需要通过一个预处理过程,包括数据分割、极性转换,去除不好的渠道、带通滤波、陷波滤波,等整个流程如图2。收集SEEG与大规模的长期记录,一般;2小时的数据占用约8 G的内存,但计算机和软件可以使用有限内存。理论上,分段信号可以提供相同的信息记录的时间越长,所以他们的一部分需要拦截试验,一般30分钟信号片段被后续的操作。正常情况下,双相的波形和振幅数据不太扭曲,因此有必要对原SEEG执行极性转换操作。因为一些干扰过程中经常遇到脑电图记录和一些空电极通常放置在临床实践中,显然我们去除这些干扰通道和空电极在使用。此外,信号采集设备使用50 Hz电源供电;50赫兹倍频陷波滤波器应该用于过滤工频干扰和倍频干扰。最后,针对高频振荡器有更大的能量在80 - 500赫兹的频率范围与背景信号相比,从80年到500赫兹的信号通过带通滤波器被保留。

参与预处理的一些工具,如AnyWave EDFBrowser等等。具体来说,我们使用EDFBrowser段不连续原始脑电图信号获得连续信号片段,然后使用AnyWave执行极性转换,去除不好的渠道、带通滤波、陷波滤波。

2.1.3。人工视觉标记

两级自动检测方法,数据收集和预处理在上面的过程由初始检测器获得高频振荡器筛选候选事件集。通常,有一定数量的假阳性样本在这个候选人池,即non-HFOS。针对这一点,我们进一步邀请临床专家区分真假高频振荡器,这项研究的结果作为金标准构建临床私人数据库。

标记任务完成后由两个专业医生。真正的高频振荡器的频率数据库范围从80到500赫兹,脉动的频率范围是80 - 250赫兹,和快速的脉动频率范围是250 - 500赫兹。此外,不同类型的工件都包含在高频振荡器数据库,算作non-HFOs。标记过程使用原来的脑电图数据,80 - 500赫兹的频率带通的信号,小波变换时频图作为参考。当原始信号振荡、滤波后信号幅度明显高于基线和有一个孤岛的效果在时频图中与此同时,它被认为是满足高频振荡器信号标准,它将标记并保存。相反,负样本不符合标准也会标记并保存。因此,积极的和消极的样本数据集。

图3显示了几个典型的信号波形。其中,(a)和(b)是真正的高频振荡器,(c), (d)和(e) 3种不同类型的工件,构成non-HFOs集。我们看到,当过滤锋利的瞬态信号(如癫痫峰值,锋利的波浪,和锋利的工件)或与谐波信号,这可能会导致“false”高频振荡事件,分享相似的波形与真正的高频振荡器信号过滤,如中间行所示,使初始误差检测器。然而,这些虚假事件的时频图非常不同于真正的高频振荡器的事件,如最后一行所示。通常,spike-type带通滤波器引起的工件常常会显示一个“蜡烛——“像上升趋势的时频图,虽然harmonic-type构件显示色散高能源在整个频率范围内,而真正的高频振荡器事件经常显示“岛”的形状38]。

为了保证客观性和效率,2医生分别标记根据需要少量样品,然后分析他们的标记结果,达成一个统一的标签原则。最后,所有的候选人都贴上。共有16167条记录产生的积极的和消极的样本,其中7754记录标记为正样本和8413条记录被标记为负样本。表2显示了细节。

2.2。系统概述

我们研究的方法的整个过程如图4。首先,病人的原始SEEG信号收集和预处理包括分段和过滤等,和候选人事件组建立的初步临床高频振荡阈值检测器。然后,数据是由连续小波变换(CWT)生成二维时频图像。然后,结合三种模式的数据(原始信号的时频图,和过滤信号),神经学家做了视觉标记区分真假高频振荡器,然后我们构建我们的私人数据。最后,我们设计了一个端到端的bi-branch融合高频振荡器模型自动检测。两个情态动词的数据作为模型的输入,和1的混合网络d-resnet LSTM构造信号分支,而2 d-resnet CBAM之后是专为TFpic分支。学习两个情态动词的特征数据,然后我们融合两部分通过构建一个融合的输出模块,在多层感知器(MLP)分类器是用来识别结果。一个同步训练策略训练过程中采用。培训结束后,模型的性能进行了测试与测试数据和分类结果进行评估。

2.3。初始检测器基于阈值检测方法

在第一阶段我们的自动检测方法,一个初始检测器的设计,这可以从远程检测高频振荡器记录尽可能多的;即算法应该有高灵敏度和特异性较低的特点。一般来说,带通滤过的信号,当至少有3连续峰值超过3 - 5个标准差,信号被认为是一个真正的高频振荡器(39]。的基础上初步检测,临床医生只需要做视觉标记信号在疑似事件集。该方法可以提高高频振荡器的标记效率。

最初检测算法基于阈值如下:(1)每个通道的标准差(SD)的主题是基于过滤信号,计算峰值被定义为阈值的2.5倍,和每个信号的峰值的位置超过了阈值计算。(2)之间的交叉阈值和峰值128年每个采样点计算,和交叉的位置时间大于3记录。(3)希尔伯特变换提取信号包络,和位置超过了阈值被记录通过设置3次的背景中值作为阈值。(4)为同时满足以上3要求的位置,信号0.1和0.4之前年代的碎片,总共0.5 s,提取疑似高频振荡器。

图5显示了一个示例使用这个初始检测。

2.4。Bi-Branch融合模型

初始检测器后,我们获得了一个高频振荡器人选池包含所有疑似高频振荡器事件。总的来说,这两个80 - 500赫兹的信号带通和2 d时频图作为模型的输入。然后,两个深骨干网络(1 d-resnet + LSTM和2 d-resnet_cbam)建造了两个输入,分别提取不同模态数据的高阶特性。具体来说,被设计为一个混合网络信号分支1 d-resnet LSTM并行连接,而TFpic分支使用2 d-resnet CBAM模块实现卷积嵌在每一块。然后从每个分支是融合两个输出向量。最后,使用多层感知器分类器分类true / false高频振荡器。的整体架构bi-branch模型如图6。

2.4.1。信号分支

为了避免低频干扰(25)和少量的影响无关的频带高于500赫兹的高频振荡器检测(40,41),我们使用带通滤波信号从80到500赫兹作为模型的输入数据。

信号的总体结构如图7。在信号分支,我们采用了一种混合网络基于1 d-resnet34 LSTM,他们连接并行实现深度学习的每个分支的特性。(一)一方面,使用1 d-resnet34模型信号的形态特征。我们选择一种CNN (ResNet)和剩余的连接来实现这个目的。残留网络中,认为要解决的映射关系H(x),然后把它分成两个部分,即: 在哪里是剩余函数(42]。然后,在网络的高水平,学习一个标识映射 相当于剩余部分趋于0,也就是说, 。它可以实现的形式tier-hop连接,输入的元素直接添加到输出的元素。具体地说,根据他提出的2 d-resnet et al。42),我们改写成1 d版。1 d-resnet模型由5个阶段。第一阶段是一个7×7卷积的过程,一步是2,然后后池的大小特征映射已成为1/4的输入。未来四个阶段叠加的四残块。ResNet34使用定义的基本剩余块他et al。42]。每一块由两个叠加3×3的隆起。块栈的数量(3、4、6、3)。(b)另一方面,一种RNN (LSTM),可以学习时间相关引入网络设计。具体地说,一个LSTM块100隐藏单位和2层用于特征提取。(c)信号的空间建模的基础上,通过CNN (1 d-resnet),辅以RNN的时序建模(LSTM),形成混合网络模型从多个角度信号特性。信号的高阶特征表示。最后,输出向量从两个维度是融合和拼接得到multiperspective过滤的融合特征信号。

2.4.2。TFpic分支

为了使模型更好地学习之间的差异时频图像的高频振荡器和non-HFOs TFpic分支。

首先,我们需要对病人的过滤SEEG执行时频变换的信号。癫痫EEG信号改变的时间尺度和频率规模,是一种随机信号。信号的小波变换能进行多分辨率分析,这是非常适合随机非平稳的EEG信号的特征提取。Morlet这里使用小波变换的信号,和它的小波基函数如下: 在哪里代表了中心频率,一个代表伸展的小波基,b代表了小波的基础上翻译的。此外,根据傅里叶变换的性质,它可以推断,小波变换的公式

其次,我们设计了一个很深的骨干网络如图TFpic分支8。总的来说,这个分支采用2 d-resnet作为基准框架和添加一个CBAM模块。ResNet在图像分类是一种常用的骨干网络。正如之前所描述的那样,它将剩余块添加到经典的CNN。在此基础上,研究了CBAM模块进一步提高模型的性能。

具体地说,一个2 d-resnet50应用于整个分支的特征提取,整个模型是由五个阶段组成的。不同信号分支,Resnet50使用自己的个性化的残块定义为他et al。42]。每一块由3层卷积(1∗∗3 1∗1)压缩维度,卷积处理,和恢复维度。块堆叠的数量(3、4、6、3)。

此外,CBAM嵌入后的每一块2 d-resnet。在英吉利海峡的关注(CA)模块,输入特性图,分别研读全球最大池,全球平均池基于宽度和高度,然后分别通过延时。中长期规划的输出特性被添加elementwise然后激活乙状结肠生成最终的CA功能映射。它可以计算提出了吸引et al。43]: 在哪里表示乙状结肠函数, 和 表示向MLP权重,为输入,共享和ReLU激活函数是紧随其后 。在空间的关注(SA)模块,全球最大池和全球平均池的输入执行,分别基于通道,然后沿着通道尺寸concat执行操作。然后通过卷积运算,尺寸减少到1。最后,通过乙状结肠,SA特征图生成。它可以计算提出了吸引et al。43]:

最后,CA模块和SA模块连接在系列和嵌入到每一块2 d-resnet50。嵌入式网络(2 d-resnet_cbam)可以有效地学习有用的信息从输入图像分类,同时抑制一些不必要的信息。

2.4.3。融合模块

本研究提出的核心突破SEEG过滤信号的融合和时频图功能。

特征融合模块的总体结构如图9。对于某一候选人事件,80 - 500赫兹的深层特征带通信号通过信号分支,同样的,时频图像放入TFpic分支获得图像深度特性。然后,我们将从2分支的特性为这位候选人事件得到融合输出向量。其中,分支输出信号的维数是1 612∗TFpic分支输出的尺寸是1 2048∗∗融合输出向量维数是2660。之后,它是由0.5倍子样品获得1330∗维融合输出向量的一个候选人的事件。

最后,所有高频振荡器的候选事件被送入多层感知器训练,和每个事件的分类(真正的/ non-HFO)。隐藏的输出(H)和输出(O)层可以计算如下: 在哪里X输入向量,和是隐藏层和输出层的权重矩阵,然后呢和是他们的偏见。

此外,在培训期间,使用二进制交叉熵损失函数,及其定义如下: 在哪里是预期的输出, ,和是实际的输出。

3所示。结果

3.1。评价指标

在这项工作中,我们选择一些指标来评估该模型的性能,主要包括准确性(ACC),灵敏度(SEN),特异性(SPE)、精密(前),错误发现率(罗斯福)和F1-score。此外,为了说明,该方法敏感性和特异性之间实现更好的平衡,我们定义SEN_SPE-score。

大多数指标是根据混淆矩阵计算。混淆矩阵,真阳性(TP)意味着预测类别和真正的类别是一致的,两者都是P;相反,真正的负面(TN)意味着预测类别和真正的类别都是N。假阳性(FP)意味着预测类别P,但真正的类别N,而不是假阴性(FN)这意味着预测类别N,但真正的类别P。这些指标的具体计算公式如下:

同样,我们计算敏感性和特异性的调和平均数(SEN_SPE-score)测量模型的平衡度这两个指标,具体公式如下:

3.2。参数设置,培训策略和实验环境

研究中使用的所有参数的最优值如表所示3。

模型的设计,以确保适当的模型能力,防止过度拟合与此同时,我们经验LSTM隐藏的大小设置为100,LSTM层数为2,隐层神经元的数目在500年融合模块。此外,ResNet块堆叠的数量设置为(3、4、6、3)信号的分支和TFpic ResNet根据经典的设计原则。

hyperparameters在网络训练而言,我们选择的参数初始学习速率,批量大小,和训练时期为0.01,32岁,分别和60。具体来说,hyperparameters选择的基础是,当模型实现最好的结果验证集,每个参数的值被记录下来。在我们的实验中,我们把实验数据分为训练集,验证集和测试集,将在下一节中所示。我们在训练集训练模型,选定的参数根据验证的结果集,最后用测试集测试来支持我们的想法。

在我们的研究中,我们使用一个bi-branch同步训练策略给带通滤过的信号和时频图的输入到模型;即bi-branch应该一一对应的输入数据。两种不同模式的输入数据传播向后和向前,直到输出生成错误,然后传回错误更新权重矩阵。

我们的实验环境如下。我们进行了我们所有的实验在惠普Z8G4图形工作站与单个Nvidia GeForce RTX 2080 ti和12 g图形内存模型的训练和测试的过程中。

3.3。训练集和测试集

为了充分利用我们的数据库,每个病人的记录对应1数据子集,数据集分为5折叠产生5组实验数据,和两个验证方法采用,即跨学科intrasubject验证和验证。

3.3.1。Intrasubject验证

的数据分区和使用intrasubject验证如图10。具体来说,我们选择了4 5的数据子集每次(共5组的选择),然后随机打乱,然后随机选择80%的数据作为训练集,10%的数据作为验证集,剩下的10%的数据作为测试集。

3.3.2。摘要验证

在这项工作中,我们做了一个重要的突破,将模型应用于cross-patient测试,仍然实现了高性能。具体结果将以下部分所示。

特定的数据部门和使用如图11。具体来说,我们使用了一交叉验证的方法,所用的每个子集5子集作为测试集,其余子集包含其他4个病人在白色背景的训练集和验证集,其中80%在哪里是验证组训练集和20%。五pretrain模型获得了五个不同的训练集,和性能测试进行了各自的测试集。最后,五组的性能数据取平均值。

3.4。我们的方法的性能

3.4.1。Intrasubject性能验证

我们包括5个临床病人的SEEG记录到研究和采用intrasubject验证获得的平均灵敏度94.62%,平均特异性为92.70%,平均精度为92.12%,平均精度为93.62%,平均7.88%,罗斯福的平均水平F的SEN_SPE-score 1-score 93.33%,平均93.63%,如表所示4。

3.4.2。跨学科的性能验证

跨学科的验证,进行了5组实验。结果表明,平均敏感度为92.00%,特异性为88.26%,平均的平均精度为86.86%,平均精度为89.76%,罗斯福平均为13.14%,平均F1-score是89.11%,和SEN_SPE-score的平均值为89.87%,如表所示5。

3.5。与现有的方法比较

在本节中,我们比较了分类的有效性几个报道高频振荡器自动检测方法。为了客观地显示比较结果,我们发现,大多数的研究随机采样的所有带安全标签的数据时没有将他们的病人,和一些患者进行了交叉验证研究。因此,两种类型的研究的结果如表所示6和7。

具体地说,在intrasubject验证方面,自动高频振荡器探测器基于伽柏变换报道于2016年取得了快速涟漪在涟漪的敏感性81.1%,74.6% (44]。在最近的研究中,自动探测器使用的结合短时能量和CNN报道在2019年取得了敏感性为91.26%,特异性为91.52%,2700年88.67%的精度从5例(高频振荡器事件21]。Sciaraffa et al。27)在2020年提出了一种新的机器学习方法的双检测高频振荡器,它实现了敏感性为87.40%,特异性为77.60%。郭et al。45]发达hypergraph-based探测器自动检测高频振荡器,2021年实现了90.7%的精度,灵敏度为80.9%,特异性为96.9%。更重要的是,在2021年,Sharifshazileh et al。46)提出了一个神经形态系统,结合神经记录headstage飙升神经网络,实现了高灵敏度的100%,但一个非常低的特异性为33%,准确性为78%。

跨学科的验证,在2019年,左et al。28)提出将收集到的候选人高频振荡器转化为一个二维灰度矩阵,然后使用一个堆叠CNN进一步区分候选人事件,实现了快速的涟漪在涟漪的敏感性77.04%,83.23%和72.27%的特异性在快速涟漪波纹和79.36%。2021年,吴et al。29日)提出了一个新颖的探测器基于堆叠去噪autoencoder (SDAE)和系综分类器与样品重量调整因素,实现了快速的涟漪在涟漪的敏感性92.4%,90.3%和9.2%的罗斯福在快速涟漪波纹和10.7%。除此之外,2021年,王et al。47)提出了一个算法来计算动态基线基于最大值分布的峰值点自动检测高频振荡器,取得了敏感性为82.666%,特异性为63.352%。

拟议中的bi-branch特征融合模型结合了两种类型的输入数据的优势;因此其敏感性、特异性和准确性比现有的探测器,不仅数据随机分裂,而且数据分为病人。我们的方法已经显示出良好的泛化性能,也取得了很好的平衡敏感性和特异性与其他现有方法相比SEN_SPE-score最高的93.63%和89.87%,分别在他们中间,这使得它的临床意义和研究价值。

3.6。烧蚀研究

在本节中,我们专注于验证bi-branch网络的有效性,分析每一个分支的作用。具体地说,两个单个的分支参考模型与该模型用于比较,TF-Branch意味着只有高频振荡器候选人的时频图作为网络输入,和Sig-Branch意味着只有带通滤波信号被送入网络。训练和测试两个单个的分支模型时,数据集的分区规则符合上述视域验证方法;也就是说,一用于交叉验证方法。

TF-Branch模型,平均灵敏度为69.01%,平均特异性为91.59%,平均精度为86.76%,平均精度为81.23%,罗斯福是13.24%,平均F1-score是76.59%。Sig-Branch模型,平均灵敏度为94.16%,平均特异性为80.65%,平均精度为80.52%,平均精度为86.81%,罗斯福是19.48%,平均F1-score是86.69%。细节如表所示8。

图12显示了三种模型的分类性能。注意,两个单个的分支模型的敏感性和特异性都高于bi-branch模型,分别。TF-Branch模型的特异性为3.33%高于建议的方法,和Sig-Branch模型的敏感性是2.17%高于bi-branch模型。

然而,在临床应用中,敏感性和特异性也同样重要。无论是诊断小姐还是误诊可以容忍的。理想情况下,我们应该找到一个平衡。

TF-Branch模型,SEN_SPE-score是78.71%,而Sig-Branch模型是86.88%。特别,SEN_SPE-score bi-branch模型的提出为90.09%,高于7.29%的其他两个单个的分支模型。可以看出,尽管该模型有一个微小的损失一个指示器,它大大平衡森和SPE,使它更适合协助临床诊断。

更重要的是,除了森和SPE,其他四个指标明显改善了该模型。其中,精度提高了3.22%,准确度增加了5.73%,罗斯福下降了3.22%,和F1-score增加了7.47%,如表所示9在特定的。

4所示。讨论

4.1。我们的研究的主要贡献

视觉评估仍然是黄金标准临床高频振荡器的分析。专家可以在视觉上马克的高频振荡节律脑电图的病人根据自己的经验。然而,由于复杂的过程的视觉标识和专家之间的强烈的主观性和不一致,有必要开发一种新的自动检测方法。自2002年以来,不同的高频振荡器自动检测方法在不同的研究报道。我们的工作有了进一步的改善和创新的基础上。它的主要贡献在于以下三个方面。

以下4.4.1。Bi-Branch融合模型实现优势互补

探测器提出了早期通常使用EEG信号波形,提取特征,然后实现自动分类。然而,有许多文物和其他信号的带通滤波信号无法区别真正的高频振荡器,这叶子特异性差的问题,在临床实践中很容易误诊。时频图可以解决这个问题,但仅从图像的角度信号的分类通常得到一个可怜的灵敏度和很容易错过诊断在临床实践中,所以它不适合实际的临床应用。

为了解决这一难点,我们创新提出使用过滤带通信号和时频图像作为模型的输入数据,建立bi-branch深度学习模型,融合两个分支的输出,然后自动高频振荡器/ non-HFOs进行分类。

在混合信号分支,网络(1 d-resnet + LSTM)结合了CNN和RNN的优点。CNN负责提取特征信号形态空间,和RNN负责提取特征信号的时间维度,或者可以说,RNN负责“记忆。“TFpic分支,2 d-resnet_cbam模型更加关注时频图像的有用信息,可以学习不同的时频图真正的高频振荡器和non-HFOs。

进行烧蚀实验,我们发现信号分支可以实现高灵敏度但低特异性;相反,TFpic分支可以获得高特异性,但灵敏度较低。这是因为在过滤信号,该模型容易解决过程中的错误是由于正负样本之间的相似的波形,在时频图像,明显的正负样本之间的差异可以弥补低特异性信号分支。然而,在时频图像,一些真正的高频振荡器的时频图像可能没有明显的孤岛效应的影响,但过滤信号峰值明显高于背景。因此,当我们把这两个分支机构,我们可以得到一个与优势互补模型。说明,我们的研究证实,信息过滤信号和时频图中应该考虑高频振荡器的分析。

直观地说,结果表明,我们的策略可以有效地实现敏感性和特异性之间的平衡;同时,与其他检测器相比,我们的方法有更高的精度和更低的罗斯福。此外,我们的研究提供了一个端到端的检测方法;每个分支自动学习的高阶特征两个模态数据,没有手动特征提取。

4.1.2。交叉验证支持泛化性能好

在早期的研究中,研究人员主要集中在信号检测的性能,所以在将实验数据,其中大部分随机分为训练集和测试集从候选池(21,27,43,45,46]。在临床应用中,当考虑一个新病人,需要转移先验知识从先前的现有情况下的判断新病人。因此,该模型必须考虑不同患者之间的泛化能力。在上述intrasubject验证,数据泄漏是不可避免的;即,相同的病人的数据出现在训练集和测试集。这种方法可以检查模型的性能在某种程度上,但由于数据不是完全“看不见的”,当模型应用于一个新的病人,很可能会有一个显著的性能恶化,将无法满足临床需求。

在我们的研究中,我们考虑到实际情况,我们采用了一方法旨在除以所有数据根据病人,这样训练集和测试集绝对是“看不见的。“结果表明,我们的探测器仍well-performed即使在交叉验证,和所有指标都优于相同类型的研究(28]。泛化性能强,我们的方法更适合作为临床诊断的辅助工具。

4.1.3。自动化是帮助医疗保健

我们的研究是在实际临床应用具有重要意义。个人方面的诊断和治疗,当手工诊断仍然是黄金标准,不可避免地发生误漏诊。人工智能技术希望帮助医生通过自动化和提供更客观的信息帮助医生做出判断,在一定程度上减少错误。在国家发展水平,新技术的自动化事业可以为临床提供有效的指导和帮助在发展中国家,促进社会发展。

4.2。视觉和自动检测结果之间的一致性检查

由医生在临床应用中,高频振荡器视觉标记作为本研究的金标准。因此,我们希望提出的检测方法与黄金标准是高度一致的,从而说明了该方法的有效性。

科恩kappa系数可用于测量不同方法之间的一致性。它根据混淆矩阵计算,具体计算公式如下: 在哪里总精度, , 和量的预测模型是0/1,然后呢和是两个类的实际数量的0/1。它的值范围从−1比1,但通常在0和1之间。它可以分成五个组来表示不同程度的一致性:0.0∼0.20显示非常低的一致性,0.21∼0.40是公平的,0.41∼0.60适中,0.61∼0.80代表高一致性和0.81∼1几乎是完美的。

在这项研究中,我们计算科恩kappa系数之间的新的检测方法和黄金标准。第一组的五组的系数分别为0.784,0.765,0.708,0.957,和0.762,分别平均kappa系数0.795。的测试结果可以看出,本文方法是高度一致的医生的判断。

Kappa系数反映了该方法的有效性,从大局出发。图13展示了病人的自动测试结果之间的比较4和临床医生的判断更直观。横轴表示病人数量的渠道包括在这项研究中,和纵轴显示高频振荡器/ non-HFOs数。可以看出我们的方法显示良好的一致性与病人的每个通道的黄金标准。

4.3。我们的研究的局限性和未来的工作

一般来说,我们使用少量的数据来验证该模型。然而,在我们的工作有一些局限性。

首先,异常放电的模式是不同的癫痫患者不同的疾病之一。5例用于这项研究的数据来自海马硬化(HS)癫痫患者的放电机理和表现不同于其他类型的癫痫。例如,局灶性皮质发育不良(FCD)患者表现出高频振荡polyspikes (48)或有节奏的痫性放电(49]。因此,我们不能确定我们的模型可以很好地应用于其他类型的患者,疾病类型的限制。在接下来的研究中,我们将收集更多的数据的癫痫患者与其他病理表型和进行更多的实验。

其次,我们使用的网络结构和模块是典型的结构。更好的基线特征提取,提出了一些增强的变体LSTM网络更有效的在其他应用程序中。所以,一些新尝试使用新的网络和关注单位正在进行。

第三,我们发现仍有一定程度的差异自动检测结果和临床医生的诊断结果,这表明需要进一步发展的技术解决方案。自临床医生不能取代了人工智能,它是非常必要的专业权威的临床医师的诊断机器是不同于临床医生。在未来的工作中,我们将使用临床医生的诊断经验作为一个优化深度学习方法,不断提高技术解决方案。

最后,高频振荡器的空间差异分布可以反映癫痫的电生理信号的传播在某种程度上,和探索这个内容的前提下,进一步探索癫痫的病理机制。然而,空间差异分析癫痫地区使用脑电图信号单独挑战和不准确,往往需要结合其他分析方法,如大脑网络。我们正在进行深入的研究和大量的实验高频振荡器在不同的分布和传播渠道。它将在将来的研究中进一步的报道。

5。结论

我们的研究表明,bi-branch模型基于两个模态数据可以用作高敏感性和高特异性高频振荡器自动检测工具,具有良好的泛化性能在不同的患者。因此,该方法非常适合于临床应用。优势主要是意识到:(1)的模型设计,提出bi-branch模型结合的优势SEEG信号和时频图像高频振荡器检测和使用两个独立的骨干网络(1 d-resnet + LSTM和2 d-resnet_cbam)提取的特征,同时自动两种模式。通过融合两个分支的输出,该方法实现了分类精度高,敏感性,特异性;(2)在临床应用方面,临床验证跨学科intrasubject验证和验证是在我们的研究中。专门为跨学科研究使用,验证我们的方法达到良好的性能与精度高、灵敏度、特异性等,使其满足实际的临床应用。

数据可用性

使用的数据来支持本研究的发现可以从作者要求。

信息披露

澎湖魏co-first作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

作者的贡献

Zimo刘魏和澎湖的贡献同样这项工作。

确认

这项工作由基础研究基金支持中央大学(2020 xd-a06-1),国家重点项目中国国家自然科学基金(82030037)和中国国家科技重大项目(没有。2017 zx03001022)。