一些计算机方面的大脑计算机接口基于内心的音乐

文摘

我们将讨论BCI基于内心的音调和音乐。我们发现了一些成功的内在的音调,想象中的音调不大声唱。很容易想象和控制,他们提供了一组用于BCI,高容量和高转移率的信息。声音或音乐曲调的想象力可以提供BCI multicommand语言,使用自然语言。此外,这种方法可以用来测试音乐的能力。这样的BCI接口可以优越时,需要一个更广泛的命令语言。提出了一些计算估计和未解决的困难。

1。介绍

最近的令人印象深刻的发展大脑计算机接口,BCI,最初的巨大成功之后,尤其是Babiloni集团(1- - - - - -5早些时候,生物反馈成果(6),乐观开放的空间在不同的方向。工作在BCI一直集中在运动图像;另一个方向,提出了音乐意象(7,8]。

就像一个想象力的手或手指运动有关的大脑活动的变化在某种程度上类似于那些与真正的运动,所以精神听力和理解音乐的过程与大脑活动的变化在某种程度上类似于那些发生在大脑当听真实物理音乐的声音。这样一个认知的过程听觉意象唱歌的心灵,也被称为audiation;audiation音乐类似于思维的语言。我们建议,可以构造一个BCI基于内心的音调和音乐,也就是说,歧视的BCI的想象或内部音调作为基本的大脑信号用于BCI的commands-musical集语言的形成。

在识别部分成功后内心的音调,在报道7,9- - - - - -13),尽管遇到严重困难,我们建议应给予更多的关注BCI基于内心的音调和音乐。我们已经开发出系统的实时采集和分析无限数量的脑电图和其他神经信号(在银行高达64),在声学和更高的范围,也就是说,在不同的利率从2 KHz,使用主要创新集成(http://www.innovative-dsp.com/)DSP-embedded系统(ADC64 M62/7,多处理器四弦吉他,奇科)。我们尝试了承认内心的音调和数以百计的录音与八声道脑电图,采样率4 KHz。我们主要集中在简单的实验。主题是听一个校准的语气,不久开始想象同样的语气,然后是脑电图为短时间内登记,5 - 10秒。我们还执行实验的简单旋律外部或想象的起源。我们的基本工具是实时傅里叶分析。脑电图功率谱和谱图的例子记录外部扮演的音调,表现出相对应的谱线音调,如图1和2。

与内心的音调,功率谱和谱图与外部音调的示例类似,但相对应的谱线个别音调和谐波的声音常常不太突出或接近的噪音水平,因此难以检测。完整的光谱表现出一些特征的高频部分光谱,不对应产生内在的音调。然而,我们有积极的证据:在大量的实验中(123 147),谱线对应想象的内在音调被检测到,而相对应的线没有想象没有检测到的音调。实验对象缺乏音乐能力是负面的:他们想象的音调是不检测的存在相对应的谱线校准频率。我们将展示一些例子与成功提取核心音调;更多细节可在提到的报告。我们的信号库和软件是可用的http://www.matf.bg.ac.yu/ ~ aljosha /和http://www.gisss.matf.bg.ac.yu/。

2。方法

发现内在的音调的问题可以从两个方面。一个是当我们知道哪些生成的内在的音调,我们检测的痕迹。更困难的是反问题:在给定的光谱确定目前内心的音调。前者将促进解决方案的完整的解决方案,这是我们提出的BCI的重要性。更准确地说,我们将考虑简单的色调,也就是说,那些在恒定的频率和强度不变,开始和结束的时间。一开始所有音调可能相同(类似)的长度。我们称之为音调序列一系列简单的音调。这样我们省略一些常见的悦耳的模式。音调序列的谱图是一个色调的光谱图。让我们考虑一个对应: 也就是说,是色调的空间序列之间的通信和色调色的空间。我们的需求,让色的脑电图记录的空间色调外部来源或想象的刺激。我们知道不能一个双射(因此,不是一个函数)。然而,如果我们做出一些限制/简化的时候,就会有相同的效果介绍的等价关系一些胶水,识别特定的光谱,这对一些性质是相似的。而不是,我们将处理其同态的形象。之后,减少无语调脑电图色谱线,我们可以确定逆。

我们最初的空间由谱图的脑电图的录音声刺激,音调序列,我们的基本任务是确定原来的色调脑电图记录的序列从相应的谱图。显然,经济复苏的音调序列简化为序列的识别个人的音调,这简化了基本任务。精度的限制是众所周知的在长时间的技术;低部分,色调不同知觉,也就是说,最小半音程,确定最小光谱分辨率的1/4赫兹,而色调颜色整除必须达到16到20 KHz。因此,在标准声学中我们需要向量简化谱图的80 K坐标(例如,更高质量的声学广泛使用的标准是96千赫/ 24位),添加记录输入的数量,这里EEG /梅格电极的数量。因此,我们正在努力的空间尺寸超出80 000。

内心的音乐相关BCI的需求,当一个主体生成一个内心的语气,应该发现和承认的BCI。我们将介绍简化将大幅减少这一维度,缩减规模问题的复杂性,使它更接近是可行的。所有简化/限制色调的构成序列将定义的目标图像同态空间。但是因为音乐的本质这一维度几乎破产4 K。希望我们可以忽视大量这些坐标在每一刻,集中我们的注意力在非常短的子序列。这些都是谐波的个别音调序列,10整除,有以下形式: 或模糊化: 和所有具有相同的长度。他们会在那些大尺寸空间形式非常简单的集合管。我们的任务是检测和识别它们。识别个人的音调的音调序列(声学)登记大声唱歌很简单。承认一个内部的类似任务(简单的)音调序列并非如此简单,尚未达到令人满意。

这种方法有一些吸引人的特性,导致一些困难,可能在一段时间内限制其适用性。一般来说,我们可以想象任何我们可以听到。尤其是音乐内容组成的连续色调系列和同步tones-intervals和协议。想象是简单的音调唱哑可以大声唱。我们最初的限制(简单的)音调序列将延长限制人类的声音的频率范围。我们有两个半八度可以轻易控制(静音)内调,也就是说,一组约24 - 32个州。有才华的歌手控制4个八度,或48个州,而想象的色调区间扩大到近100人。这给代音乐sequences-words想象的机会,使用字母大约30或更多的元素。

音调序列可以产生类似的口语词汇的速度。约束在某些音调序列大致对应于一组未使用的序列在口语中。约,串行音调BCI我们在言语交际的范围转移率和流量信息。使用大脑状态对应的间隔和协议将扩大这种能力很大程度上。还有其他的物种交流音乐与严肃音乐组件有自然语言。在这两种情况下丰富的音乐语言的发展应该遵循,将是一个很好的挑战本身。

3所示。计算方面

计算方面将进一步讨论与一个简单的例子。假设我们有两个人,一个生产内部范围c-c2音调,另c1-c3区间范围。因此,每个使用两个八度。用音叉在440赫兹,这给个人的132 - 1056赫兹频率范围。假设事件时间最短的时间对应于在节奏中板的百亿资金(饰品执行速度的两倍和三倍),这大约是0.2秒。

上面的值设置采样率在2.2 K样本或更高,只记录第一谐波的音调。其实双率将是必要的。需要半季度语气决议,在低端的频率间隔给需要约2赫兹的光谱分辨率。输入2 K的FFT时间序列应该提供所需的光谱分辨率。2 K输入FFT覆盖近0.5秒的时间间隔,通常表示为不确定性时间(因为时间间隔时间顺序不是直接可见的光谱,这是明显的从基本计算)。这意味着大约有节奏的语调1/8th和时间可以精确的值。他们的振幅将会正确显示。

为了解决短有节奏的价值观和确定适当的振幅,这涉及内在的音调是必不可少的,我们需要重新计算的光谱向调整光谱,可以轻易完成的限制类型的输入音调序列,从spectrograms-time光谱获得的。然而,它需要时间延迟,并不小于原子的时间。

进一步假设我们必须只处理色调值semitonal回火(经典色调)系统。在BCI的开始使用,在任何时刻之后,校准范围内可以玩。图3展示了宽光谱可能是外部的语气脑电图声谱图。很多平常歌曲进一步满足这些约束和简化我们的空间色调序列的开始BCI的需要。

提取内部音调可能以两种方式完成。第一个是训练一个神经网络识别的指纹内心的音调。它几乎不能避免(某种)谱图作为初始对象。这种方法是富有成果的和可以提供更简单的方法来认识到内心的音调。我们正在尝试适应神经网络的语音识别,开发和应用数学和电子研究所(南斯拉夫国家军队/塞尔维亚武装部队),(14]。

独立,我们已经开发出一种系统的组件提取器,包括打开计算器,对信号和光谱的操作。内部的语气中谐波信号从不同的电极。活动记录电极部分地方。内调谐波较小的大小相对于低频(LF)脑电图光谱活动的一部分,但它们在高频区域。通常,他们几乎没有明显的光谱。光谱中局部线性相关的坐标与内在的音调和局部线性无关的谐波频率间隔的当地活动盛行。这意味着获得的复合色的点积的光谱组合来自不同电极将增强随处可见谱线,包括内调谐波,而光谱区域与当地盛行的活动将调到零位。一些例子光谱定位好内心的音调中使用这些属性提出了数字4,5,6。

我们实现了comb-like过滤器及其模糊性,相应的色调结构(3),在天平校准频率。这些提供一个自动的光谱分析和复合光谱的基础上,梳理业务和与色调system-calibrated之后比较值,测量的最佳匹配,说明中的示例数据7,8,9。这提供了一个简单的策略和算法的识别内在的音调。comb-like过滤器对应的一组用于内心歌唱音调协调虎钳乘以声音(或复合色,排序结果的最大体积。我们已经开发出自动检测算法的谱图特征轮廓补充梳理操作。

接下来需要并行多个决议FFT(我们在片段)简称事件及时精确的位置和相邻的音调,分离特性频率不稳定的补偿,音调和整除的分离。

调优系统应该包括所有通道的扫描和选择那些有更好的响应,减少其他高频特性与内部和外部音调,根据时间长短歧视和校准范围色调分离。

这种方法可能会导致智能提取器将意识到发现内在的基调。为了提高性能,这两种方法可以结合并行并发。为进一步融合,更多的实验具有较高分辨率的脑电图是必要的。在这种方式,提出步骤(其中一些是意识到),达到简化和部分回答列表中遇到的问题,基于内心的音调和音乐的BCI会被治愈的一些缺陷和不稳定,会变得更接近真实的应用程序中。

4所示。讨论

现在好像是基于几个命令的歧视。高分辨率的应用脑电图研究内在的音调应该大力支持multicommand系统的进一步发展,至少对音乐有天赋的人。它可以提供一个工具来研究音乐知觉缺陷的原因,确定共享的一个庞大的人口和定位问题。它可以提供更好的洞察力在音乐处理的不同音乐专业人士和nontrained人来说,这是非常有趣的认知和大脑发育的研究。许多研究人员成功地参与内部音调和音乐8]。特别有趣的是最近成功的米克·格里尔生家族的金匠,伦敦大学,他展示了高效的猜测与他内心的音调BCI(报告实时显示,英国广播公司2008年6月,即将到来的(15])。精确定位电极将会减少当前的内部复杂性音调检测问题的简化自动提取内部音调和支持进化的BCI基于内心的音乐16]。我们计划扩大我们的开放系统的时空分析和分析全球轨迹在转换后的空间17]。其他研究人员正在开发基于高频的BCI脑电图(18- - - - - -20.),并进一步从生物反馈和运动想象BCI [20.- - - - - -23]。

提出的用音乐刺激兴奋的梅格实验Andreas埃尼迪斯在他的讲座NEUROMATH”2007年研讨会在罗马,2007年12月,(系统和方法提出了(24]),与一个毫秒时间分辨率,显示大量的快速切换互联中心是从事音乐处理。这建立严肃的希望,内心的音乐可以接受更为复杂和敏感的调查。当我们学习更多细节互连机制,揭示延误和调节,我们可能会得到互补的方法适用于研究内在的音调,这将导致改善内部音调检测和表示的细节的把握。

确认

作者从音乐学研究所感激凯蒂Tomašević塞尔维亚科学院和艺术,对她的指导和贡献的一代的音乐分析和精度在1994年初首次检测到内心的音调,强烈刺激他们以后的工作和支持他们的自信最终成功。作者感谢他们的研究生Stevan Kordic为他的贡献在早期数字脑电图使用DSP的开发和集成系统,是应用于内心的音调和音乐的调查。

引用

1. f . Babiloni f . Cincotti m . Marciani et al .,“脑机接口的皮质活动的估计:domotic环境中的应用程序,”计算智能和神经科学ID 91651条,卷。2007年,7页,2007。视图:出版商的网站|谷歌学术搜索
2. f . Babiloni a Cichocki,美国高,“脑-机接口:对实际和潜在的应用,实现“计算智能和神经科学62637卷,2007篇文章ID, 2页,2007。视图:出版商的网站|谷歌学术搜索
3. f . Cincotti d . Mattia c Babiloni et al .,“心理模式通过使用两个头皮脑电图电极的分类和Mahalanobis基于距离的分类器,”医学信息的方法第41卷。。4、337 - 341年,2002页。视图:谷歌学术搜索
4. f . Cincotti d . Mattia c Babiloni et al .,“使用脑电图修改由于对脑-机接口、运动图像”IEEE神经系统和康复工程,11卷,不。2、131 - 133年,2003页。视图:出版商的网站|谷歌学术搜索
5. j·德尔·R文澜,j . Mourino m . Franze et al .,”一个当地的神经分类器识别脑电图模式相关的心理任务,”IEEE神经网络,13卷,不。3、678 - 686年,2002页。视图:出版商的网站|谷歌学术搜索
6. j·p·罗森菲尔德,“情感性精神障碍的脑电生物反馈协议,”临床脑电图脑电图没有,卷。31日。1、7 - 12,2000页。视图:谷歌学术搜索
7. a·约万诺维奇大脑信号在计算机界面中,“Intelektualnie Sistemi,3卷,不。1 - 2,页109 - 117,1998(俄罗斯)。视图:谷歌学术搜索
8. r . j . Zatorre a。r . Halpern,“精神音乐会:音乐意象和听觉皮层”,神经元卷,47号1、9 - 12,2005页。视图:出版商的网站|谷歌学术搜索
9. a·约万诺维奇“内在音乐,在数学和其他科学会议上报告,“希腊数学Soc。克里特岛,希腊,1995。视图:谷歌学术搜索
10. a·约万诺维奇,“光盘:CCD显微术、图像与信号处理,“数学学院的贝尔格莱德大学,1997。视图:谷歌学术搜索
11. a·约万诺维奇,”研究小组在贝尔格莱德大学智能系统,问题和结果,“Intelektualnie Sistemi》第六卷,没有。1 - 4,页163 - 182,2001(俄罗斯)。视图:谷歌学术搜索
12. A·约万诺维奇m·约万诺维奇,A . Perovic和m .很“神经系统声学分析,”诉讼的第四届年度Serbian-Hungarian智能系统(陈文茜﹐06年)联合研讨会苏博蒂察,页275 - 283年,塞尔维亚,2006年9月。视图:谷歌学术搜索
13. a·约万诺维奇和a . Perovic“人脑计算机接口、一些技术评论”国际期刊Bioelectromagnetism,9卷,不。3、91 - 102年,2007页。视图:谷歌学术搜索
14. d .质子和m . Milosavljevic NNARX模型的语音信号生成系统:测试误差建模模式选择,”美国25日微电子(ICM 06年)国际会议,页685 - 688,贝尔格莱德,塞尔维亚,2006年5月。视图:出版商的网站|谷歌学术搜索
15. m·格里尔生家族的“组合与脑波:最小试验P300b识别视为主观偏好乐器的控制”国际低温材料研讨会论文集(ICMC ' 08)首尔,韩国,2008年7月。视图:谷歌学术搜索
16. w . Klonowski”,从conformons到人类大脑:非线性动力学的一个非正式的概述及其在生物医学中的应用”非线性生物医学物理第五条,卷。1日,- 2007页。视图:出版商的网站|谷歌学术搜索
17. k . Dobosz w .杜赫,“模糊neurodynamical系统符号动力学,”诉讼18国际会议上的人工神经网络(ICANN ' 08)卷,5164在计算机科学的课堂讲稿,页471 - 478,布拉格,捷克共和国,2008年9月。视图:出版商的网站|谷歌学术搜索
18. j·k·克罗格,l·艾略特,t . n . Wong j . Lakey h .党和j·乔治,“高频脑电图检测精神命令:快脑机接口”《生物医学工程学会年会美国,芝加哥,生病,2006年10月。视图:谷歌学术搜索
19. c·沃特金斯,j·克罗格,n .邝l·艾略特和j·乔治,“探索高频脑电图作为一个更快的脑-机通信媒介,”诉讼生物工程研究所的年度会议美国图森,亚利桑那州,2006年3月。视图:谷歌学术搜索
20. m . Kallenberg“听觉选择性注意作为大脑计算机接口的方法,“2006年,http://www.nici.kun.nl/mmm/papers/MK_Auditory_BCI.pdf。视图:谷歌学术搜索
21. n . Birbaumer a Kubler: Ghanayim et al .,“认为翻译设备(运输大亨)完全瘫痪病人,”IEEE康复工程,8卷,不。2、190 - 193年,2000页。视图:出版商的网站|谷歌学术搜索
22. a . Materka和m . Byczuk”替代半部分刺激技术SSVEP-based脑-机接口,“电子信件,42卷,不。6,321 - 322年,2006页。视图:出版商的网站|谷歌学术搜索
23. l . Astolfi f . Cincotti c Babiloni et al .,“估计皮层连接的高分辨率脑电图和结构方程建模:模拟和应用手指挖掘数据,”IEEE生物医学工程,52卷,不。5,757 - 768年,2005页。视图:出版商的网站|谷歌学术搜索
24. k . l . Liu Arfanakis, a . Ioannides”视野影响功能连通性模式在面对影响识别任务中,“国际期刊的Bioelectromagnetism,9卷,不。4、245 - 248年,2007页。视图:谷歌学术搜索

版权

版权©2009 Wlodzimierz Klonowski等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。