基于脑机接口的检测孤立肺结节

文摘

孤独的肺结节是肺损伤的主要表现形式。医生常使诊断通过观察肺CT图像。为了进一步研究大脑反应脑机接口的结构和构造,我们提出一个孤立肺结节检测模型基于脑机接口。首先,单信道时频特征提取模型基于脑电图的分析数据。其次,提出了一种多层融合模型建立的脑机接口与电脑连接大脑的电信号。最后,根据图像演示,three-frame图像表示方法与不同的窗口宽度和窗口位置提出了有效地检测孤立肺结节。

1。介绍

肺结节是主要的肺损伤。恶性肺结节可能转化为肺癌,这是一种严重威胁人类健康(1,2]。它需要多年的临床实践专业医生作出准确的诊断。最近,随着人类大脑的发展研究,脑-机接口(BCI)的研究已成为越来越受欢迎。Vansteensel et al。3基于BCI)实现认知控制。谭和Nijholt4)建立人机交互通道。金等。5)优化BCI的表示刺激目标。Myrden et al。6)使用BCI技术实现双边经颅多普勒超声。P300的EEG信号的有效性验证了Duvinage et al。7]。林和杨8)建立一个脑电图和闪烁的关系来控制轮椅运动。做et al。9]BCI技术适用于步态修正。顾et al。10)建立semisupervised网络实现BCI在线。太阳和周11)审查BCI的发展和预测脑电图特征提取和分类的发展。Mikołajewska和Mikołajewski12)建立脑机接口从孩子的角度进行分析。Nijholt [13]介绍了一种竞争和协调机制,实现BCI学习。Kumar et al。14]从EEG信号中提取特征并将它们应用到医学领域。Jeunet et al。15]提出的标准BCI序列。刘等人。16)P300信号之间建立相关性模型和时间实现BCI。托马斯et al。17)建立一个深入学习网络实现BCI学习。董et al。18]分析多个脑电图数据建立支持向量机算法。家伙et al。19)使用P300来分析读写信号帮助病人。Schwemmer et al。20.)使用深层神经网络来模拟人的期望的事件。Abbasi [21通过BCI)服务瘫痪。Wan et al。22]分析BCI的脑电图的性能。森古普塔et al。23)建立semisupervised神经网络实现医疗辅助治疗系统。王等人。24提出一个算法来提高脑电图的有用的信号强度。从不同的层上面所有的算法进行了研究,并取得了良好的效果。然而,很少有研究基于BCI在图像识别领域。

目前,图像识别的主要问题和困难基于BCI如下:(1)基于大脑结构,人们很难保持专注很长一段时间,使脑电图信息重叠。(2)有大量的脑电图数据,所以很难选择有效的特征。(3)由于医学图像的特殊性,如何构建一个有效的反应机制是一个重要的问题。

针对上述问题和困难,在本文中,我们提出一个孤立肺结节检测算法基于脑机接口。(1)时频特性融合模型来提高信号的识别。(2)一个multifeature网络提出了基于深度学习。(3)通过培训医生和普通人,提出了一种有效的反应机制。

2。算法

为了解决上述问题,我们设计的算法流程如图1。首先,显示的图像被阻塞,根据特定的规则。时频特征融合模型是构造来增强信号识别。一个有效的特征提取方法的基础上,提出了叠加融合模型。构造一个完整的脑机接口检测孤立肺结节。

2.1。时频特征融合

脑电图信号有多个频率,需要提取有用的信息。电磁模式决定MEMD(多变量)算法可以确保信号从不同的来源获得分解结果相互匹配的数量和频率。它有优势在处理多通道脑电图信号(25]。

MEMD可以扩大单一变量EMD在许多维度,实现多个振动组件的共同分析高维信号,并避免标准EMD的模态混叠问题。具体算法描述如下。

数据采集:计算一组输入信号的映射沿着方向矢量 。找到时间点对应于最大的价值 。获得多元包络曲线 。

计算包络曲线的平均值: 。计算 直到停止如果符合国际货币基金组织的标准。否则,它将迭代。

希耳伯特变换(26)应用于每个通道的脑-机获得信号分解信号: 在哪里柯西和价值吗是输入信号。重写方程(2)如下: 在哪里振幅,是一个阶段。

每个组件的脑电图信号表示为

希尔伯特谱定义为

解决了希尔伯特能谱(IES)和希尔伯特边际谱(女士)。 在哪里和对应于不同频段的脑电图。

暴徒在Hjorth参数计算流动参数。

均值和标准偏差计算的功能在时域中,特性在频域计算以同样的方式。

介绍了样本熵来描述非线性动态脑电图信号的耦合特征。

输入序列和改造成向量:

计算距离 和统计比例意味着 在哪里合格的像素的数量和吗是有条件的阈值。十字架样本熵可以被定义为

两个序列的相对复杂性的特点。

描述相耦合的关系,我们计算

同样,计算频率锁定值: 在哪里采样频率,和是相位信息,和频率信息。单通道脑电图信号的时频特征如下:

作为一个脑电图信号特性的计算。

2.2。多层深入学习网络

一个脑电图信号有许多信号,所以它是很难通过一个单一的学习框架提取有用的信息。一个叠加算法(27)可以实现训练数据的有效利用。算法的主要思想是培养不同基本学习者基于最初的训练数据集,然后生成一个新的数据集训练下一层学习者根据初级学习者的输出作为输入。每个训练数据的标记值不变。为了防止过度拟合,在实践中,我们经常使用交叉验证或离开一个方法生成训练样本下一个层次的学习者使用的样本不训练的基本的学习者,和基本的学习者使用不同的学习算法。

为了提高模型的识别能力和泛化,我们使用五个简单的异构学习设备,包括支持向量机,随机森林28),逻辑回归29日,然而,30.),和演算法31日)建立双层叠加综合学习模型。

本文提出的算法采用深度学习框架。训练集和测试集是非常重要的。训练集和测试集的比例是1:1。

考虑到过度拟合现象,训练集的二次学习者获得通过使用5倍交叉验证的方法,也就是说,每个初级学习者用于列车当前每个妥协妥协训练集,然后当前的妥协验证集的输出预测。当交叉验证完成后,所有数据的映射完成原始训练集和二次训练集生成。

每次测试集预测后取平均值。同样的初级学习者交叉验证的执行过程图所示2。首先,原始训练集分为五个部分。在每个迭代中,四个部分的数据作为训练集,并训练初级学习者。然后,剩下的训练数据和测试数据集都预测,预测结果保存。这样,经过五迭代,每个初级学习者训练5次,每个数据最初预计。所有测试数据预测。一个新的训练数据矩阵的行数等于训练集样本的数量和列数等于主学习者的数量,也就是中等学习者作为训练数据的输入。中等学习者的培训后,新的测试集预测和最终的输出。

3所示。数据采集和处理

数据研究可分为大脑和肺图像数据。它包括数据采集、注释、加工。

3.1。数据采集和显示

图像序列来自国际肺癌早期行动项目数据库(32,33),肺CT图像被收集的医院。寸LCD图像演示。受试者坐在一个舒服的姿势,眼睛与屏幕的中心之间的距离大约是80厘米。脑电图信号采集大脑使用64 -通道产品脑电图。根据国际标准10 - 20系统、电极放置确保所有感兴趣的皮质区域的有效覆盖。EEG信号的采样频率为1000赫兹。在实验之前,确保每个电极的阻抗低于5 kΩ。为了减少可能的EMG信号串扰,受试者被要求尽可能减少头部活动完成后脑电图电极的安排。

3.2。数据注释

孤独的肺结节的图像序列标签是由两个专业医生使用独立的盲目的标记方法。肺结节的黄金标准是选择。

所有数据的两个专业的医生按照盲人标记方法,和有争议的注释是仲裁三分之一专家。收集10组肺CT图像的实验,其中包括3200帧。脑电图信号包括100套。

3.3。数据处理

为了增加图像的位置序列,最大化的意识空间上下文,并最小化眩晕的翻译,采用六边形搜索路径算法(34]。六边形搜索路径算法分解一个二维六边形网格为嵌套组近似自相似模式近似六角对称。从最大的六边形图像最小的六边形,它类似于一个钢琴德卡尔空间填满整个图像空间。通过六边形搜索路径的算法。

EEG信号预处理如下:(1)重采样:EEG信号频率减少到256 Hz为了提高处理速度,消除干扰。(2)选择常见的平均参考表面:所有电极的平均值作为实验中常用的平均参考。(3)过滤:这样做是由于电源频率信号和高频干扰将在EEG收购过程中,混合和EEG信号的频率与研究意义的基础上,古怪的实验范式一般小于50赫兹。因此,0.5 ~ 48赫兹的频率通带滤波器采用这个实验。

4所示。实验和结果分析

研究对象分为两组,每组六(三个男性和三名女性,平均年龄35岁)。组1由专业的放射科医生。组2包括那些没有参加视频培训。有20个图像数据组,其中冠状图像序列是由日冕序列,如图3。

每个实验者需要完成两个交易日,休息时间每个会话之间的不超过五分钟。每个会话包含几个街区。开始前,闪烁的红十字标志显示在屏幕的中心提醒受试者注意,和刺激两种类型的图像出现在成比例的秩序。

4.1。凸起和特异性验证

反应的重要性和大脑反应的特异性是脑机接口研究的前提。由于医学图像的特殊性,传统的脑机接口标准不能直接应用于肺部CT图像检测。因此,我们研究的意义测试响应和大脑反应的特异性。

以下4.4.1。测试响应特点

根据肺结节的CT图像数据,以验证是否存在显著差异的行为,我们统计1组和2组的识别效果。

敏感性(SEN),特异性(SPE)和假阳性分数(基维辛迪)介绍了测量不同算法的性能(34]: TP是真阳性,FN假阴性,FP是假阳性,TN -是正确的。

本文比较算法的参数设置是基于相应的文章中提到的参数范围内寻找最优参数。

从表1,由受过专门训练的医生在肺结节检测效果远远高于组2。此外,它是证实有显著差异的行为在肺结节测试对象。

直观地展示不同组的检测效果,ROC曲线如图4。我们可以看到,第1组的识别效果远高于组2。

4.1.2。大脑反应特异性

EEG数据下的主题收集相关的任务,和特定的大脑反应信息的主题目标和不属预定目标的图像是通过积极参与研究的受试者的目标探测任务。每个主题的脑电图数据独立分析。与不属预定目标的图像相比,脑额叶前部皮层区域的大脑活动更强烈目标图像时所观察到的,这是符合P300的特点。也就是说,EEG振幅的前额叶皮层区域会比正常的刺激序列大约300毫秒后异常刺激序列。脑电图的不同振幅方便区分两种类型的数据信号来判断相应的肺结节的CT图像。在图5,这是目标的脑地形图和不属预定目标的图像观察到一个实验组的受试者在不同的时间点。它可以得出的结论是,振幅的观察目标图像的前额叶皮层脑电图数据大于女士在280年和320年之间,在其他时间,而脑电图观察数据变化小的不属预定目标的图像。

4.2。图像表示

肺部CT图像的医学和解剖学的特点,导致一个伟大的CT图像和传统图像之间的区别。为了获得脑电图信号更好,我们从图像显示的时间开始实验,目标和背景的比例显示,图像表示,《纽约时报》的图像重复。

4.2.1。准备显示时间

一个图像的显示时间将直接影响到相应的对大脑的影响。快速检测序列可视化表示是一个实验模型的关注时间特征(35]。在快速序列可视化表示范式中,一系列的目标刺激是放置在背景刺激,这是固定在同一个屏幕上的特定的位置,在一个特定的时间内。由于医学图像的特殊性,我们需要进一步验证显示时间的影响。出于这个原因,我们使用五个代表图像序列来选择不同的显示的时间来验证效果。

50 ~ 250 ms的识别精度图所示6。随着时间的增加表示,识别率50 - 200毫秒内显示了上升趋势。然而,随着呈现时间的增加,当它超过200毫秒,识别率会减少由于削弱大脑的信号。到目前为止,在这篇文章中,我们选择最优200 ms作为演示时间。

4.2.2。目标背景图像数量比例

根据古怪的范式(36),随机的两个刺激作用于相同的感觉通道应该确保有很大差异在组内的刺激呈现的概率相关的潜力。因此,我们调整的比率的肺结节图像数量的数量200 ms的肺结节图像条件下显示。如图7,当目标背景的比例增加,产生的信号刺激大脑往往会增加。当目标背景的比例达到1:5,它往往是稳定的。到目前为止,在这篇文章中,我们选择最优的比例1:5目标和背景图像的数量。

4.2.3。数量的重复

视觉专家对象识别是一个复杂的感知和认知的过程,包括低级感知的动态交互和高级认知组件,其中包括知觉的紧耦合,记忆力,注意力,和语义。在中央层面,多个子系统相互作用,共同支持视觉专家完成对象识别任务。医学图像口译员,他们每个人通过长期和高强度有目的的培训,积累了丰富的经验,他们的行为特征显著。脑电图可以提高分类的准确性通过多次呈现相同的图像。出于这个原因,我们比较了不同重复时间对识别精度的影响。

如图8,越来越多的图像重复,脑电图解释的准确性相应增长,曲线上升,减缓图像时重复的13倍。可以看出,对于相同的主题,重复图像演示可以提高脑电图数据的信噪比和提供更有效的大脑反应的信息。

4.2.4。显示模式

肺CT图像数据是16位;一个普通显示器不能显示所有的单帧图像的信息。验证不同的图像显示模式,我们定义以下模式:(我)模式1:窗口宽度和窗口的显示位置设置基于单帧CT图像的平均值。(2)模式2:窗口宽度和窗口位置显示肺映射的窗口。(3)模式3:基于肺窗口映射,两个图像生成的上下浮动,也就是说,三个图像显示。

骨窗、肺窗、垂直和水平窗口显示模式有一个固定范围的映射。不需要人机交互。当输入图像时,它将自动显示根据映射规则。

如图9,由于模式1中获得的信息有限,肺结节的特征不明显,导致识别失败。方法2,前提下的最佳窗口可以观察到肺,肺的形状可以显示更好,但肺结节的识别与一个不清楚的边界仍然失败。灵感来自上面的两个方法,模式3显示多个窗口的形象,窗户很宽的信息,和测试的人可以做出一个全面的判断,有良好的效果。

4.3。分类效果比较

验证该算法分类效果,我们比较不同算法,如图10。支持向量机(18)建立了一个多层次结构的输入信号小波分解,对EEG信号的分类也有一定的影响。随机森林(28集空间信息和极化信息,实现信号的分类。逻辑回归(29日)扩展了多项式的算法逻辑回归后类分布的semisupervised学习提高分类的性能。然而,(30.]介绍了卷积的脑电图图像分类。演算法(31日)结合模糊熵,样本熵,近似熵和熵谱实现EEG信号的分类。

5。结论

我们研究的过程检测孤立肺结节由内科医生从肺结节成像和医生的脑电图反应。提出了一种时域和频域模型提取脑电图特征。提出了一种多层特征融合模型验证的可行性检测肺结节的脑机接口。

数据可用性

内的所有数据是使用纸。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持中国西部之光(批准号XAB2016B23),中国科学院;国家重点实验室的开放项目计划CAD&CG(批准号A2026),浙江大学;中国的国家自然科学基金(批准号61561040);国家科学基金会和山西金桥(2020 - 518)。

引用

1. v . k . Venugopal k . Vaidhya m . Murugavel et al .,“拆箱AI -放射见解深神经网络对肺结节特征,“放射学学术,27卷,不。1,第95 - 88页,2020。视图:出版商的网站|谷歌学术搜索
2. 美国秋问:郭d .周y, t·周和Z。”。他,“孤立肺结节检测基于CT图像的特点,“IEEE访问7卷,第165606 - 165597页,2019年。视图:出版商的网站|谷歌学术搜索
3. m . j . Vansteensel d·爱马仕e . j . Aarnoutse et al .,“脑-机接口基于认知控制,”神经病学年鉴,卷67,不。6,809 - 816年,2010页。视图:出版商的网站|谷歌学术搜索
4. d . Tan和a . Nijholt“脑-机接口和人机交互,”脑-机接口d . Tan和a . Nijholt Eds。,Human-Computer Interaction Series, pp. 3–19, Springer, London, 2010.视图:出版商的网站|谷歌学术搜索
5. j .金b z Allison, e . w .卖家et al .,“因为它使得基于脑电图优化与事件相关电位刺激演示模式“脑机接口”医学和生物工程和计算卷,49号2、181 - 191年,2011页。视图:出版商的网站|谷歌学术搜索
6. A·j·b·Myrden A . Kushki e . SejdićA . m . Guerguerian t洲,“基于双边经颅多普勒超声,脑机接口”《公共科学图书馆•综合》》第六卷,没有。9 p . e24170 2011。视图:出版商的网站|谷歌学术搜索
7. m . Duvinage t . Castermans m . Petieau et al .,“P300-based定量比较Emotiv Epoc耳机和医学之间的脑电图设备,“生物医学工程,卷765,不。1,第2764 - 2012页,2012。视图:谷歌学术搜索
8. j·s·林和w·c·杨,“无线电动轮椅脑电图和脑机接口但信号,”国际期刊的创新计算、信息和控制,8卷,不。9日,第6024 - 6011页,2012年。视图:谷歌学术搜索
9. c·e·a·h·, p . t . Wang国王,春、z . Nenadic,“脑机接口控制机器人步态矫正法,”神经工程学和康复杂志》上,10卷,不。1,p。111年,2013。视图:出版商的网站|谷歌学术搜索
10. z z顾,z . Yu沈,y,“在线semi-supervised脑机接口,“IEEE生物医学工程,60卷,不。9日,第2623 - 2614页,2013年。视图:出版商的网站|谷歌学术搜索
11. 美国太阳和j .周”,回顾自适应特征提取和分类方法因为它使得基于脑电图的脑-机接口”2014年国际神经网络(IJCNN)联合会议,第1753 - 1746页,北京,中国,2014。视图:出版商的网站|谷歌学术搜索
12. 大肠Mikołajewska和d . Mikołajewski”儿童脑-计算机接口应用的前景,”开放的医学,9卷,不。1,第79 - 74页,2014。视图:出版商的网站|谷歌学术搜索
13. a . Nijholt”,竞争和合作的大脑:multi-brain计算机接口,”脑-机接口a . Hassanien和a .阿扎尔,Eds。,Intelligent Systems Reference Library, pp. 313–335, Springer, Cham, 2015.视图:出版商的网站|谷歌学术搜索
14. 美国库马尔,诉Kumar和b·古普塔”特征提取为医疗应用程序通过一个电极EEG信号装置,”2015年1日下一代计算技术国际会议(NGCT)乌,页555 - 559年,印度,2015。视图:出版商的网站|谷歌学术搜索
15. c . Jeunet大肠Jahanpour f .乐天,“为什么标准脑-机接口(BCI)培训协议应该改变:一个实验性研究,“《神经工程,13卷,不。3,第036024条,2016年。视图:出版商的网站|谷歌学术搜索
16. j . c, h·c·周c·h·陈,y t·林和c·h·郭”让使用者相关算法P300事件相关的潜在的脑-机接口实现,”计算智能和神经科学卷,2016篇文章ID 3039454, 22页,2016年。视图:出版商的网站|谷歌学术搜索
17. j .托马斯·t·Maszczyk n . Sinha t·克鲁格和j . Dauwels“深上优于分类为脑-机接口”2017年IEEE国际会议系统,人,控制论(SMC)班夫,页234 - 239年,AB,加拿大,2017。视图:出版商的网站|谷歌学术搜索
18. 大肠盾,c·李,李、杜,a . n . Belkacem和c·陈,“多层次电动机意象与小说层次支持向量机分类算法对脑-机接口,“医学和生物工程和计算,55卷,不。10日,1809 - 1818年,2017页。视图:出版商的网站|谷歌学术搜索
19. 诉人,m . h . Soriani m·布鲁诺t . Papadopoulo c . Desnuelle和m . Clerc“大脑计算机接口与P300拼字:可用性对于肌萎缩性脊髓侧索硬化症的残疾人,”物理和康复医学的史册,卷61,不。1,第5 - 11页,2018。视图:出版商的网站|谷歌学术搜索
20. m·a·Schwemmer n . d . Skomrock p . b . Sederberg et al .,“满足脑机接口用户性能期望使用深层神经网络解码框架,“自然医学,24卷,不。11日,第1676 - 1669页,2018年。视图:出版商的网站|谷歌学术搜索
21. j . Abbasi”新情绪障碍,脑深部电刺激目标”《美国医学会杂志》,卷321,不。6,537 - 537年,2019页。视图:出版商的网站|谷歌学术搜索
22. 张x Wan, k, s .拉姆库玛儿et al .,“回顾基于脑电图的大脑计算机接口老年残疾,”IEEE访问7卷,第36387 - 36380页,2019年。视图:出版商的网站|谷歌学术搜索
23. 约翰·森古普塔m . r . s ., s . s . bloom”分类意识,半清醒的医疗协助和最小意识状态使用大脑计算机接口和深层神经网络系统,”医疗机器人研究杂志》上,4卷,不。2条1942004,p . 2020。视图:出版商的网站|谷歌学术搜索
24. s . m . k . Wang, y Wang, l . Chen和d·明”提高解码pre-movement EEG对脑-机接口模式,”《神经工程,17卷,不。1,第016033条,2020。视图:出版商的网站|谷歌学术搜索
25. n·拉赫曼和d . p . Mandic“多元经验模态分解,”《皇家学会学报:数学、物理和工程科学,卷466,不。2117年,第1302 - 1291页,2010年。视图:谷歌学术搜索
26. d·w·沃格特·m·Erkintalo r·莱昂纳特,“太赫兹频域光谱利用希尔伯特变换,”2019年欧洲&激光和光电学会议上量子电子学会议(CLEO / Europe-EQEC),1页,慕尼黑,德国,2019年。视图:出版商的网站|谷歌学术搜索
27. 范t .歌曲,z, m . Yankowitz et al .,“切换2 d磁州通过压力调整层堆积,“自然材料,18卷,不。12日,第1302 - 1298页,2019年。视图:出版商的网站|谷歌学术搜索
28. p . Du, a . Samat b . Waske s . Liu和z,“随机森林和旋转森林完全极化SAR图像分类使用偏振和空间特性,”ISPRS《摄影测量与遥感卷。105年,38-53,2015页。视图:出版商的网站|谷歌学术搜索
29. t . v . n .角色g·泽维尔,p . Geetha和k . p .索曼”空间基于预处理的多项式为高光谱图像分类logistic回归,”Procedia计算机科学,46卷,第1826 - 1817页,2015年。视图:出版商的网站|谷歌学术搜索
30. 杜x, t . Wang y, y戴,“与KNN-based光滑auto-encoder运动图像脑电图识别”,人工智能在医学上,第101卷,第101747页,2019年。视图:出版商的网站|谷歌学术搜索
31. j·胡”,自动检测驾驶员疲劳演算法分类器与EEG信号的基础上,“计算神经科学前沿p . 72,卷。11日,2017年。视图:出版商的网站|谷歌学术搜索
32. 美国秋温·d·j·冯,y崔,“肺结节检测CT图像中使用Gestalt-based算法,”中国电子杂志,25卷,不。4、711 - 718年,2016页。视图:出版商的网站|谷歌学术搜索
33. 辛巴公共数据库,”国际肺癌早期行动项目(DB / OL),”2015年,http://www.via.cornell.edu/lungdb.html。视图:谷歌学术搜索
34. 美国秋罗j . s .杨m . Zhang和w·张,“一个移动的目标提取算法基于红外和可见图像的融合,“红外物理与技术卷,98年,第291 - 285页,2019年。视图:出版商的网站|谷歌学术搜索
35. n . Bigdely-Shamlo a . Vankov r·r·拉米雷斯和s . Makeig“大脑活动图像分类的快速串行可视化表示,“IEEE神经系统和康复工程,16卷,不。5,432 - 441年,2008页。视图:出版商的网站|谷歌学术搜索
36. r·威勒和k .Śmigasiewicz“罕见的刺激引起大p3被意想不到的?比较古怪的standard-oddball和prediction-oddball任务之间的影响,“认知心理学的发展,12卷,不。2、88 - 104年,2016页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020年史邱等。这是一个开放分布式下条知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。