CIN 计算智能和神经科学 1687 - 5273 1687 - 5265 Hindawi出版公司 267671年 10.1155 / 2010/267671 267671年 研究文章 作曲的大脑信号:代表音乐的精神状态 吴 丹 1 李 超艺 1、2 阴 余 1 周 长征 1、3 姚 Dezhong 1 Babiloni 法比奥 1 教育部重点实验室NeuroInformation 生命科学与技术学院的 中国电子科技大学 成都610054 中国 uestc.edu.cn 2 上海生命科学研究院 中国科学院 上海200031 中国 cas.cn 3 学生事务部 艺术教育中心 中国电子科技大学 成都610054 中国 uestc.edu.cn 2010年 16 02 2010年 2010年 18 06 2009年 29日 09年 2009年 22 12 2009年 2010年 版权©2010 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

本文提出了一个方法来将人类脑电波转化为音乐,所以所代表的精神状态的音乐。大脑的兴奋水平的精神状态和音乐情感是隐式的心灵世界和音乐之间的桥梁。大脑的唤醒水平是基于EEG特征提取主要是通过小波分析,和音乐唤醒水平与音乐等参数音高,节奏,节奏和音调。一些音乐在作曲时的原则(谐波和结构)考虑在内。与脑电图在不同睡眠阶段作为一个例子,音乐产生了不同的音高,节奏和音调。35志愿者听音乐作品,音乐唤醒水平的显著差异。它暗示不同的精神状态可能会被相应的音乐,所以音乐脑电图可能是一个潜在的工具脑电图监测,生物反馈治疗,等等。

 1。介绍

音乐是一种人类的普遍特征在整个人类历史上,在所有文化中,也是一个强大的工具,情感和情绪调制( 1]。音乐不仅是一种娱乐,但是另一种语言;因此音乐作曲可能被设想为一个特定的人类思想的代表。

随着计算机的广泛应用,一些研究者试图“教”电脑作曲,在各种数学算法( 2)和音乐基本规则( 3)进行了探讨。一般来说,对于这样一个计算机组成、主观的算法设计和人工选择的音乐规则至关重要和困难的。学习的本质和自己,从人体各种信号,如DNA ( 4)、蛋白质( 5),肌电图(emg) [ 6),和脑电波 7),一直在利用1990年代计算机组成。

脑电波,测量(脑电图),是大脑神经电活动的视觉策划将头皮表面。最早试图听到脑波音乐是在1934年( 8]。在大多数这些早期作品,然而,只有α波的振幅或其他简单而直接EEG信号的字符被利用为驱动源的音乐声音。在1990年代,各种新的音乐从数字滤波生成规则被创建或相干分析脑电图( 9]。一般来说,这些技术可分为两类。第一个是sonification,旨在监测脑电波以听觉方式,包括各种方法,如直接参数映射( 10),一个基于发作癫痫放电作为触发音乐音调的开始 11),和规则的无尺度现象存在在脑电图和音乐 12]。第二个是脑波音乐包括音乐理论构成。脑波音乐的典型工作是应用程序在脑机接口(BCI) 7]。

在这项工作中,我们提出一个方法来翻译心理信号,EEG,音乐。我们的目标是代表音乐的精神状态。唤醒水平对应大脑精神状态和音乐情感都是隐式的心灵世界和音乐旋律之间的桥梁。脑电图在不同睡眠阶段测试为例。

 2。材料和方法 2.1。睡眠脑电图数据

显示的性能提出了映射规则,我们将这种方法应用到真正的脑电图数据记录在不同睡眠阶段。的睡眠阶段被两个作者根据Rechtschaffen规则和羽衣甘蓝(r k)。的数据快速睡眠(REM)和非快速眼动被利用。非快速眼动睡眠数据,我们选择两阶段2段(命名为今后非快速眼动)和阶段3或4(慢波睡眠(慢波睡眠))。这个话题是一个25岁的男性,身心健康,右撇子。这项研究是通过当地的人类参与者研究审查委员会。主体签署知情同意书的实验。由32通道NeuroScan系统记录的信号采样率为250 Hz,带通滤波从0.5赫兹到40 Hz。数据引用到正无穷( 13]。音乐一代的数据获得的第二个晚上睡觉braincap。以下分析数据电极Cz,这是在中央的头和一个通道影响较小的身体运动。

 2.2。脑电图、音乐和兴奋 2.2.1。睡眠脑电图和精神唤醒水平

相信不同睡眠阶段的唤醒水平与大脑活动相关;快速眼动,这意味着一个睡眠阶段,非快速眼动,或慢波睡眠,是一个现象学表征潜在的神经活动的电生理反射特定精神觉醒状态。例如,REM深深被认为是相关的梦想,包括学习和记忆( 14];因此它被认为是比慢波睡眠更警觉;也就是说,它比慢波睡眠唤醒水平高。

非快速眼动睡眠时频REM,脑电图特点各不相同,和慢波睡眠。快速眼动阶段显示了小振幅的活动,类似于光嗜睡,其α带8—13赫兹()活动是略低于清醒。慢波睡眠的脑波的优势δ波(1 - 4赫兹)和θ节律(4 - 7赫兹),因此通常的低频率、高振幅。和非快速眼动睡眠的波振幅和频率之间的快速动眼睡眠和慢波睡眠。随着睡眠阶段可以被脑电图的特点,这可能是利用不同的心理状态的生理指标作曲各种唤起的水平。

 2.2.2。音乐与情感冲动

的内部情感的代表作曲家,音乐和一些特性可以用来唤起情感和情绪状态。一些研究表明,音乐情绪是能够传达各种声学线索,包括节奏、声级,光谱,和清晰度 15]。和音乐结构或模式通常有其固有的情感表达( 16]。评价音乐情感,一个受欢迎的是泰勒的模型,描述了两个维度,情感价和兴奋。价表明音乐是愉快还是不愉快,而唤起代表音乐的活动,活动积极性或被动的情感 17]。计算模型的二维结构为我们提供了重要的线索。

因此,音乐结构和一些功能如音高、音调、节奏,卷在情感表达中发挥了重要作用。例如,一个快节奏(密集的节奏韵律)通常代表一个高唤醒水平,而慢节奏(稀疏的节奏韵律)表示低唤醒情感( 18]。

 2.3。音乐一代从脑电图

音乐一代方法的概述图所示 1,蓝色箭头表示的概念框架和黄色箭头显示了实际实现这项工作。使用唤醒作为桥梁,脑电图特征提取反映思想的状态,并映射到参数的音乐相似的根据二维情绪唤醒水平模型。

脑波音乐一代的概述。

音乐一代包括5个步骤,细节图所示 2。首先,提取脑电图信号功能;第二,定义音乐片段(参数:<我talic> 主要注意音调和<我talic> 韵律节奏)根据相应的脑电图特征;第三,生成音乐酒吧(参数:<我talic> 和弦和<我talic> 注意位置从脑电图特点和音乐段参数);第四,修复notes的值(<我talic> 音色、音调、持续时间、和<我talic> 体积)根据酒吧参数;最后,构建音乐旋律的软件(Max / MSP)和MIDI文件。

从脑电图音乐映射规则。

 2.3.1。脑电图特点和音乐片段

不同的心理状态,脑电图在频率和振幅不同的特性,也就是说,不同的时频(t f)模式。的<我talic> 主要频率,<我talic> α,和<我talic> 方差从复杂morlet得到小波系数,而<我talic> 波振幅和<我talic> 平均能量直接从脑电图信号估计。

音乐序列有相同的时间长度作为真正的脑电图。分割是基于下列不等式( 1),所以,当它存在时,一个新的段假设:

| x ( 我 ) - - - - - - x ̅ | x ̅ > 1 , 在哪里<我nline-formula> x ( 我 ) 表示当前点的EEG信号的价值<我talic> 我,和<我nline-formula> x ̅ 的平均数据<我nline-formula> x ( 我 ) 从最后一段结束当前时间。

段,这三个参数,<我talic> 主要注意音调和<我talic> 节奏,都一样的。如图 2,<我talic> 主要注意,最重要注意音乐的旋律,是基于EEG<我talic> 主要频率。当脑电图<我talic> 主要频率高,<我talic> 主要注意高,反之亦然。

根据音乐审美理论<我talic> 音调主要音乐通常是用于一个积极的旋律,而一个小标识要温柔,成熟的( 18]。在这项工作中,我们定义了一个经验阈值,当平均能量低于阈值,我们将主要的;否则小。因此,深度睡眠阶段,慢波睡眠,将由一个小调,REM阶段将与专业。关键转移将使音乐作品丰富多样,可以被音乐和舞台变化调制。

的<我talic> 韵律节奏有关<我talic> 率α。当它很高,节奏韵律是密集的,这意味着一个固定长度的记录数量很大。结果是一个快节奏对应于一个高唤醒水平。当利率很低,条件是不利。

 2.3.2。音乐一代:酒吧

在音乐部分,底座是酒吧,和弦和注意位置最终确定。作为小波系数的方差可以表示频率的变化组合在时频域中,我们用它来确定和弦。自从和弦是复杂的,在这里我们只是假设和弦的稳定性和脑电图频谱的变化是一致的。

在这项工作中,我们以4胜在酒吧和职位。参数“<我talic> 注意位置”表示在开启或关闭的位置上。的<我talic> 韵律节奏确定数量的笔记,然后EEG振幅在每个酒吧的经验阈值决定了注意的具体位置。”

 2.3.3。音乐一代:注意

音乐旋律音符的组合,对于每一个注意,有四个基本特征:音色、音高、持续时间、和体积。

的<我talic> 音色注意被认为是钢琴的这项工作。一般来说,我们在必要时可能有不同的音色不同的段。

的<我talic> 球场注意与和弦。在我们的方法中,每个酒吧都有共鸣,在酒吧里和笔记从两个家庭选择:第一家庭由谐波的注意音调弦(和弦音),第二个包含其他注意场地的规模(没有和弦音)。例如,当和弦是主要的C,和弦音的家庭由C, E, G,而没有一个和弦音家人包括D, F, A, b,确保音调的旋律,有一些规则音高家庭选择;例如和弦notes通常放置在悲观(第一打栏);错间距仅限于7半音。

的<我talic> 持续时间注意注意所代表的位置。报告在报告的位置开始,一直持续到下一个注释的位置。然而,持久的必须在同一个酒吧,如果下一个注释的位置在第二栏,当前注意的持续时间将停止在当前酒吧结束。

的<我talic> 体积注意的是注意的位置标明的节拍。悲观有大量,而一个乐观有体积小。

 2.3.4。音乐情感评价试验

为了确定如果可以识别不同的睡眠状态的音乐,和看情感维度当人们听他们,35岁健康的学生(15 20雄性,雌性),年龄在21到28年(平均22.49,标准差1.65),被要求参与这个测试。所有的志愿者报告任何神经系统疾病,精神疾病,或药物治疗。都有正常听力。94.3%的人从未收到过特别的音乐教育,其中5.7%的人(两个主题)有特殊的音乐训练不到2年。

自REM睡眠和慢波睡眠更典型的波形比非快速眼动(见图 3),我们设计了一个测试与REM 10音乐片段组成的5和5从慢波睡眠拟议中的映射规则。每一个音乐作品持续60秒,他们被随机播放了志愿者。志愿者们被要求专注于音乐作品的情感。听每一块之后,他们被要求标志着表兴奋程度从1到9这9分制(“1 =很被动”和“9 =非常兴奋”唤起规模)。

睡眠脑电图和小波分析。(一)快速眼动;非快速眼动睡眠(b);(c)慢波睡眠。

 3所示。结果 3.1。音乐的睡眠脑电图

图 3小波分析结果显示快速眼动,非快速眼动,慢波睡眠。显然,REM睡眠和慢波睡眠数据可能被认为是一个段,而非快速眼动数据应该划分为五个部分的非常明确的各种特性的频率和振幅与纺锤波。图中的数据 3非快速眼动睡眠,我们发现的第1段非常类似于物权,段2类似于慢波睡眠,原因在于非快速眼动睡眠的波振幅和频率之间快速眼动阶段和慢波睡眠如上所述。

不同睡眠阶段的音乐作品的音乐结构中不同的特性。表 1显示了音乐参数快速动眼睡眠和慢波睡眠脑电图。快速眼动的音乐大坡度笔记和密集的节奏;因此,表明高唤醒状态。慢波睡眠音乐的音调低,节奏是稀疏的;因此,代表一个低唤醒状态。图 4显示了睡眠脑电图的音乐成绩的例子。

音乐参数快速动眼睡眠和慢波睡眠。

音乐参数 主要注意 音调 韵律节奏 球场 持续时间 体积
快速眼动 高 主要 密集的 高 短 大
慢波睡眠 低 小 稀疏的 低 长 小

音乐成绩快速眼动(a),慢波睡眠(b),非快速眼动段1 (c)和非快速眼动段2 (d)。

 3.2。音乐情感评价

在音乐情感评价试验,快速眼动睡眠和慢波睡眠的唤醒水平<我nline-formula> 6.02 ± 0.99 和<我nline-formula> 3.59 ± 0.97 ,分别。以及它们之间的差异是显著(T (34) = 12.571,<我nline-formula> P < 。 01 )。图 5显示所有的志愿者在情感空间的点的蓝色恒星和绿色圈快速眼动阶段和慢波睡眠音乐片段,分别。很明显,快速眼动的音乐比慢波睡眠唤醒水平高,这意味着快速眼动的音乐更活跃。图 5表明,我们的方法可以将不同的兴奋精神状态对应的音乐唤醒水平。REM音乐的唤醒水平高于慢波睡眠音乐听众,尽管他们绝对唤醒水平点是不同的。

情绪唤醒水平的分布的快速动眼睡眠和慢波睡眠音乐。

 4所示。讨论和结论

越来越多的大脑和音乐之间的关系的兴趣。脑电图数据转化为音乐的方法是试图代表音乐的心灵世界。尽管唤起一个共同的主题在大脑的精神状态和音乐情感的研究,这是一个新的尝试使用唤醒作为大脑的精神状态和音乐之间的桥梁。上述结果表明,该方法是明智的和有效的,不同的睡眠阶段的音乐作品独特的音乐特征对应于不同程度的兴奋。活动状态是由音乐作品高唤醒水平,而音乐平静状态低唤醒水平。

在脑电图音乐一代,一些基本的音乐理论被认为是。脑电图是一个生理信号,如果我们直接把它翻译成音乐,音乐可能是随机;如果音乐太严格遵守规则,一些详细的有意义的脑电图信息可能被忽略。之间保持适当的平衡(直接翻译)的科学和艺术(成分),只有一些音乐参与计划的重要原则,和脑电图的特点是经过精心挑选,能保持最有意义的生理信息。如果一些随机参数替换这些特性,利用音乐将显示没有特定的模式。一般来说,特征提取方法的选择将影响派生的意义的音乐,和任何原则之后,大脑活动和音乐将是一个合适的脑波和音乐之间的桥梁。

在这中间试验,该方法评估睡眠脑电图数据从一个主题。虽然个人脑电图数据从一个话题转到另一个不同,睡眠脑电图的基本特征与不同的心理状态非常稳定,如不同睡眠阶段的特征波。这意味着相同的睡眠阶段,不同主题的音乐将不同的细节,但是最主要的模式将是相似的。

改进这项工作,其他EEG信号处理方法可以采用,比如复杂性分析,独立分量分析和分形分析(幂律 12])。在我们当前的方法中,我们只考虑大脑的唤醒水平和音乐,而另一个情感维度,如价,也可以参与进一步的音乐一代研究。此外,这个项目需要测试更多的数据来提高自己适应各种情况。

可能使用这种方法可能在助理睡眠监测在临床应用中,因为音乐可以识别不同的睡眠阶段容易和更舒适。然而,它在任何实际应用之前需要进一步的实验研究。同时,它可以作为音乐充足的脑电图分析方法。此外,该方法可以利用独特的音乐自动生成系统,这使得那些没有作文技巧通过使用他们的脑电波来做音乐。因此,它可以用作生物反馈工具在疾病治疗和疲劳恢复。

 确认

第五作者是由中国自然科学基金会的支持 (60736029 )和中国国家高科技研发项目(2009 aa02z301)。第二作者是支持由中国自然科学基金会(90820301和90820301)和主要国家基础研究计划(2007 cb311001)的中国。作者感谢铁军刘EEG数据供应和Xiaomo白在四川音乐学院工作在音乐理论建议。

 佩雷茨 我。 Isabelle.Peretz@umontreal.ca 音乐的本质从生物学的角度来看 认知 2006年 One hundred. 1 1 32 2 - s2.0 - 4043078452 10.1016 / j.cognition.2005.11.004 Pazos 一个。 桑托斯del Riego 一个。 剑鱼 J。 罗梅罗Caldalda J·J。 遗传音乐排字工人 美国国会在进化计算 1999年 885年 890年 男爵 r . L。 Andresis s·h·L。 自动音乐生成的方法和装置 美国专利号6506969,2003 苏萨 答:S。 asanchezsousa.hrc@salud.madrid.org Baquero F。 Nombela C。 genoma音乐 航空杂志上Iberoamericana de Micologia 2005年 22 4 242年 248年 2 - s2.0 - 32644432770 邓恩 J。 克拉克 m·A。 音乐:生命的蛋白质 莱奥纳多 1999年 32 25 32 亚斯兰 B。 Brouse 一个。 Castet J。 Filatriau J。 Lehembre R。 Noirhomme Q。 Biologically-driven乐器 《夏天多通道接口(eNTERFACE ' 05)研讨会 2005年 米兰达 e·R。 eduardo.miranda@plymouth.ac.uk Brouse 一个。 andrew.brouse@plymouth.ac.uk 连接大脑直接与音乐系统:开发系统与大脑信号做音乐 莱奥纳多 2005年 38 4 331年 336年 2 - s2.0 - 0032640422 艾德里安 E。 马修斯 B。 伯杰节奏:枕叶的潜在变化的人 大脑 1934年 57 355年 385年 Rosenboom D。 音乐与人类神经系统接口扩展 1997年 旧金山,加州,美国 国际社会对艺术、科学和技术 Hinterberger T。 thilo.hinterberger@uni-tuebingen.de Baier G。 baier@servm.fc.uaem.mx 实时参数管弦乐的脑电图 IEEE多媒体 2005年 12 2 70年 79年 2 - s2.0 - 0041704593 10.1109 / MMUL.2005.36 Baier G。 赫尔曼 T。 Stephani U。 基于事件的实时可视化的EEG节律 临床神经生理学 2007年 118年 6 1377年 1386年 10.1016 / j.clinph.2007.01.025 2 - s2.0 - 34248213127 吴 D。 李 彭译葶。 姚 D.-Z。 dyao@uestc.edu.cn 无尺度大脑的音乐 《公共科学图书馆•综合》 2009年 4 6条e5915 2 - s2.0 - 0035191062 10.1371 / journal.pone.0005915 姚 D。 头皮脑电图记录的方法标准化参考点无穷 生理测量 2001年 22 4 693年 711年 10.1088 / 0967 - 3334/22/4/305 2 - s2.0 - 0035191062 斯蒂克哥德 R。 霍布森 j . A。 壕 R。 壕 M。 睡觉,学习,记忆和梦想:离线后处理 科学 2001年 294年 5544年 1052年 1057年 10.1126 / science.1063530 2 - s2.0 - 0035798169 Juslin p . N。 线索利用率在沟通情感的音乐性能:感知相关的性能 实验心理学杂志》:人类感知和性能 2000年 26 6 1797年 1813年 2 - s2.0 - 0034543675 Juslin p . N。 Sloboda j . A。 音乐与情感:理论和研究 2001年 纽约,纽约,美国 牛津大学出版社 金缕梅 r·E。 生物心理学的情绪和冲动 1989年 纽约,纽约,美国 牛津大学出版社 林 H。 在音乐审美心理学 2005年 中国上海 上海音乐学院出版社