文摘
基于自适应粒子群算法和误差反向传播神经网络,本文提出的方法对不同风格的音乐分类和迁移可视化。该方法具有结构简单、成熟的算法,和准确的优化。它可以找到更好的网络权值和阈值,以便粒子跳出局部最优解之前搜索和搜索在更大的空间。全球搜索使用梯度法来加速优化和控制的实时生成影响音乐风格转移,从而提高整个网络的学习性能和收敛性能,最终提高整个系统的识别率,并可视化音乐知觉。这种实时信息可视化是一种艺术表现形式,在人工智能模仿人类的联觉,也是一种表演艺术。结合传统音乐可视化和图像风格添加具体内容表达转移到音乐可视化和时间序列表达形象风格转移。这种视觉效果可以帮助用户生成与音乐独特和个性化的肖像;它也可以被艺术家广泛使用来表达音乐和视觉之间的关系。仿真结果表明,该方法具有更好的分类性能和具有一定的现实意义和参考价值。
1。介绍
通过色彩的亮度,纯洁,色调,视觉色彩元素对应,点,线,和表面组成图像的对应数据可视化的基本单位线的风格,并通过信息可视化表达的设计。音乐可视化是一个表达式的音乐形象,主要集中在音乐特征提取、运动检测、图像处理等。1]。数据可视化是一种表达和传播,像计算机模拟人的情绪,可以通过面部表情,身体动作,等音乐可视化关注交互,听觉和视觉的转换和表达。视觉设计的过程中,有各种各样的映射模式和媒体用来传达想法,可能是由思想和行动刺激或表达感情。因此,今天的视觉作品的表达通常是受创作者的强烈的主观影响(2),像在其他审美情感交流中扮演重要角色的作品(3]。一些研究发现,如果可以提供视觉辅助,当音乐响起,它可以更好地帮助听众认识到音乐所表达的情感,帮助听众深化理解通过视觉效果的音乐。如今,增加计算机学者和设计师开始关注音乐和色彩之间的关系,形象,语义,和情感4]。
粒子群算法模拟鸟类在一群飞鸟设计一个无质量的粒子。只有两个属性:粒子速度和位置。代表运动的速度,速度和位置代表的方向运动。每个粒子单独搜索最优解的搜索空间,记录当前的个体极值,股票其他粒子的个体极值整个粒子群,并找到最优个体极值是整个粒子。随着当今社会越来越智能的方向,互动形式的声音可视化将有很大的发展空间在未来的实际应用。交互式声音可视化强调与观众互动交流的过程,所以有必要探索声音的可视化表示从观众的角度来看(5]。关于当前全球群的最优解,粒子群中的所有粒子调整自己的速度和位置根据当前个体极值他们发现和当前全球最优解由整个粒子群共享。
本文的研究提供了理论指导设计的可视化表示的实际应用交互式声音可视化在人类未来的工作和生活,可以更好地满足应用需求的人。本文研究了现代高新技术和更符合现代社会的发展和应用实践方面的视觉表达。
2。相关工作
音乐可视化结合听力和视力提高的可理解性和情感共鸣的音乐。音乐可视化而言,已经有很多的研究结果之间的音乐和图片供参考6]。目前的研究可以概括为两个研究方向。
Vedachalam等人计算音调之间的转换关系和光波通过引入系数根据牛顿的理论色彩和光线产生音乐和色彩之间的转换7]。随着可视化和特征提取分析技术的发展,当前的音乐可视化研究侧重于音乐和可视化表示之间的转换关系和相关实现技术的理论研究8]。田村等人抽象的几何图形添加到电子音乐成绩产生的视觉理解音乐结构来生成一个更可辨认的音乐地图(9]。张等人提出了目前音乐衍生品的形式抽象图形在web接口根据音乐的内容和结构与用户交互和提高他们的听音乐的乐趣10]。Hejna等人可视化音乐根据古典音乐的结构11]。刘等人指出,音乐情绪可以对应于具象的视觉表示字符,如快乐表情欢快的旋律和悲伤的国家低旋律(12]。
随着技术的进步和不同的应用需要,形式的人类和机器之间的交互和系统在各个领域的使用,和基于交互可视化已经从一个纯粹的艺术领域的一个更实际的方向,如协助在医学、娱乐、和教学应用程序(1]。在音乐教学中,互动声音可视化可以用来表示学生的视觉结构的音乐,这是容易操作根据他们的学习情况和学习。交互式声音可视化可以发挥积极作用在语音识别中,音乐的表现,和其他方面。
匹配和运用各自的标签,这个理论提出了一个系统,音频和生理学结合生成一个音乐可视化系统能够应对和听众的唤醒实时响应并提供音乐和声音和生理学领域的听觉经验获得艺术可视化表示(3]。标签匹配方法能有效、准确地匹配音乐文件或图像文件相同的标签。这些标签的内容通常是基于理解设计师的经验或实验结论比较原始的音乐文件或图像文件。语义描述的风格是通过语义来帮助其他观众理解。
创建新的图像和音乐结合computer-recognizable参数在音乐或图片,结合设计师的参数预先构建的表达内容。例如,直接把视觉属性与音乐属性,用户可以创建一个新的音乐旋律,借鉴虚拟画布和把线索表达与情感色彩线索通过节奏等结构,响度,和时间,根据定义的协会,将它转换成一种情绪状态,然后确定面部情绪和行动创造视觉效果(5]。这种方法为音乐可视化提供了言论自由,但它仍然需要设计者设定一个固定的表达模式。音乐文件生成屏幕或图像文件生成声音只允许片面的数据有更高的自由度,因此,在某种程度上,自由互动音乐和图像仍不能满意(6]。以上两种音乐可视化研究是基于人们标签或图像,或单方面变换算法应用的影响,而且,在某种程度上,实现高度主观的创造性表达领域的艺术,但错过了射击游戏音乐创作和图像。通过提取音乐或图像的基本信息传播,创作者的主观标签不再增加,但计算机可以完成两个链接的识别和原创音乐和图像文件的输出,这不仅可以保留原始文件中的信息最大限度地。
3所示。粒子群优化算法
3.1。算法初始化
变量自适应粒子群算法优化BP神经网络,分为三个部分:BP神经网络结构确定、自适应粒子群算法优化的变量,和BP神经网络的预测。其中,BP神经网络结构确定的部分是确定BP神经网络结构根据应用程序的输入和输出参数的数量,然后确定单个微粒群算法的长度。的初始种群N50,迭代的数量是100,当然,空间维度d也是1 (13]。位置和速度是随机生成的初始化一个矩阵中的位置和速度限制。对于这个问题,位置初始化在0-20随机生成一个数据矩阵,但对速度,不需要考虑的约束条件。在0 - 1直接随机生成一个数据矩阵。这里的位置约束也可以理解为位置限制,和粒子速度限制是确保步长不超过极限。一般来说,速度限制设置为(−1,1)。自适应变异粒子群算法优化BP神经网络的权值和阈值。人群中的每个人都包含一个网络所有权值和阈值。个人计算个人健身价值通过适应度函数,然后更新个体极值和群体极值找到对应个人最佳的健身价值。
3.2。找到最优解
粒子群的另一个特点是记录每个个人和历史的历史最优优的人口(14]。因此,相应的最优位置和最优值的两个还需要初始化。每个人都可以成为的历史最优位置首先初始化为当前位置,和历史最优位置的人口可以初始化为原点。最优值,如果获得最大价值,它被初始化为负无穷,相反地初始化到正无穷。每个搜索需要比较当前健身和具有历史记录值的最优解。如果它超过了历史最优值,更新个人的历史最优位置和最优解和人口。BP神经网络预测使用的技术和方法,以适应变量粒子群算法得到的最优个体分配网络初始权值和阈值和预测网络经络训练后的结果。
3.3。粒子群算法优化神经网络
3.3.1。错误传回到神经网络(BP神经网络)的部分
误差反向传播神经网络被称为BP神经网络。这是一个单向传播多层网络。除了输入和输出节点,都有一个或多个隐层节点在网络(15]。输入信号从输入层节点通过隐藏层节点,然后到输出层节点。每层节点的输出只影响下一层节点的输出。
启发式粒子群优化(HPSO)算法用于约束优化问题主要是启发式的,虽然GAPSO算法的MATLAB程序结合了遗传算法和粒子群优化算法。优化效率大大提高,不会陷入局部最优。
这个网络的主要特征是向前和向后传播的信号传输错误。传球前进,一层一层地处理输入信号从输入层到隐层到输出层。每一层的神经元状态只影响下一层神经元的状态。如果输出层不能得到期望的输出,它将转向反向传播调整网络权值和阈值根据预测误差,使BP神经网络的预测输出不断接近预期的输出。BP神经网络可以被看作是一个非线性函数。值和预测值是独立和相关的变量的函数,分别。
图1显示了一个两层的BP神经网络结构,网络只有一个隐藏层。
矩阵W是连接权重矩阵输入层和隐层之间,和矩阵V之间的连接权重矩阵隐藏层和输出层。
假设隐层和输出层的神经元的阈值,分别
对应的期望输出值
3.3.2。自适应变异粒子群算法部分
在解空间搜索最优的例子的粒子群(16]。研究和实践表明,算法收敛速度快的优点,高质量的一系列解决方案,在多维空间和良好的鲁棒性优化和动态目标优化函数。这是特别适合工程应用。但与此同时,算法也过早的缺点收集、搜索精度低、效率低的迭代。
粒子的速度和位置更新公式如下: 本文借鉴了遗传算法的变异思想,提出了一种自适应变异粒子群算法基于遗传交叉算子。主要的方法是生成一个人口代表一组新的解决方案通过使用交叉算子。交叉方法如下。上半年在每次迭代中,粒子具有良好的健身排序后直接进入下一代,粒子和下半年投入池中选择两人成对,生成一个随机交叉位置遗传选择和交叉操作,生成相同数量的后代的家长,然后与父母相比,选择好的健身的一半进入下一代保持粒子的人口。这样,交叉不仅可以增加粒子的多样性,跳出最好的位置,但也加快了收敛速度。
假设一个和b分别代表双亲的指针个人选择遗传选择和交叉操作,然后为这个操作的具体计算公式如下:
在上面的计算中,两个新位置都是随机生成的超立方体由父颗粒,速度之和的双亲是标准化的十字路口的速度。因此,只有粒子的影响的方向,但并不能改变数量。
3.3.3。自适应变异粒子群优化
自适应变异粒子群算法优化BP神经网络的权值和阈值。人群中的每个人都包含一个网络所有权值和阈值17]。个人计算个人健身价值通过适应度函数,然后更新个体极值和群体极值找到对应个人最佳的健身价值。BP神经网络预测变量使用自适应粒子群算法获得最优个体分配网络初始权值和阈值和预测网络经络训练后的结果。
图2显示了优化BP神经网络算法的过程变量自适应粒子群算法。
3.4。音乐风格的自适应分类和迁移可视化
本设计使用的映射方案卷圆半径和球场颜色饱和度为例。根据该映射方案,容量越高,圆在屏幕越大,程度越高,越高色彩饱和度(18]。如果高音唱在更高的体积,一个大圈在屏幕上获得高饱和度,获得一个高饱和度的小圆唱高音时以较低的体积,一个低饱和度的大圆唱低音时获得更高的体积,和一个小圆唱低音时获得较低的饱和度较低体积。
图3在两个视图显示了演示,白色的圆的重叠视图显示参考音频,和蓝色的圆一些透明显示了用户在实时、唱歌的歌手的音调越来越高,从左到右。重叠视图允许歌手直接看到更多他们的体积比较参考音频。对比的观点分为两个区域:左边区域显示的信息参考音频,和正确的区域显示了歌手的唱歌的信息;这个视图显示了音调和音量同时,这样的歌手可以看到不同参考音频和帮助他/她做出调整。例如,在图3左图显示了歌手的低音调,和中间显示了低容量,而正确的图像显示,歌手仍在更高的容量和更高的音调唱歌时应该休息。
首先,不同的人以不同的方式感知色彩和音高。的连续的颜色从红色到蓝色的变化,身体上,火焰和光线,蓝光通常代表一个更短的波长,更高的温度,和更高的能量,而红灯代表一个更长的波长,较低的温度,较低的能量,在这个意义上,蓝色代表更高的语气,应该和红色应该表示语气较低。然而,如果我们用另一种方式,我们可以看到许多生活经验,蓝色是常与冰或水和低温物体,而红色是常与火和高温,人们经常叫蓝色冷颜色和红色温暖的颜色;从这个意义上说,蓝色代表低调,和红色的高音调。每个人都有不同的音调和颜色之间的对应关系,甚至相同的同事可能有不同的联想应对同样的事情在不同的场景和上下文,因此colour-pitch函授不一定是一个选择,适用于大多数人,即使它已经在历史上深受人们青睐的声音和色彩映射。
设置系统的最高和最低音高在设计时也应该仔细考虑。一般人的歌声范围大约是两个八度,而无需使用特殊的歌唱技术,如吹口哨或喊叫,和更好的歌手是三个八度左右不使用特殊的歌唱技巧,极数达到的四个八度以上。如果系统并使用特殊的歌唱技术跨度超过三个八度的时候使用,可以单独设置“定制的”;并确保重要的可视化效果,如果使用不同的寄存器是分散,考虑分段时间由不同的寄存器。确保一个更重要的可视化效果,如果分散的时期不同的区域,您可以考虑不同的区域设置时间,这样你就可以在每个阶段得到更好的可视化效果。
4所示。实验仿真和结果分析
4.1。不同风格的音乐的分类
语音识别的操作过程如下。首先,语音识别转换成电信号,然后输入识别系统。预处理后,由数学方法提取语音特征信号,并提取语音特征信号可以认为是演讲的模式。然后,语音模型与已知的参考模式相比,和最好的匹配参考模式的识别结果。
在本文中,选择四种不同的音乐:民歌,古筝,滚动,流行。对于每一段音乐,500组cepstral 24-dimensional语音信号特征提取的方法,还有2000组语音特征信号。自从声音特性输入信号有24个维度,以及语音信号分为4种类型,BP神经网络的结构是24-25-4;有24个输入层节点,隐藏层有25节点,输出层有4个节点。随机选择1500套语音特征信号数据的数据作为训练数据训练网络。根据语音信号特征的特点和指的经典算法参数集,算法的基本参数设置如下:(1)粒子的大小n= 30;(2)粒子尺寸D= 729;(3)最大速度Vmax = 1;(4)设置最大迭代次数为100;(5)终止条件,循环达到终止或适当最优值的迭代次数连续50迭代,计算结果差异小于0.0005;(6)用粒子群节点的适应度函数,均方误差(MSE)定义的BP算法。
使用算法得到的最优解来确定BP网络的权值和阈值。随机选择1500套2000套的数据语音特征信号训练数据训练网络,和500年的数据作为测试数据集测试网络的分类能力,如图4。这种分类数与进入分类数进行比较。如果它们相等,鉴定是正确的;否则,标识是错误的。最后,最终的识别率可以得到比较正确的认识和识别所有的数字。
在节拍时间单位为纵轴,峰值出现在长比的情况下,拖着节拍,暂时放慢速度,适合显示使用慢速提高音乐表达,如图5,山峰标有红点的音调与一个相对高音调的短语和较长的停留时间。这些长音调对情感的表达至关重要,所以他们停留更多的时间,使用这种效果,可以突出显示表示。
验证的有效性的自适应变异粒子群算法优化BP神经网络,基于遗传交叉算子的改进粒子群算法优化BP神经网络(HPSOBPNN)是有效的,以及其他模型(GA-Back传播神经网络(GABPNN),粒子群优化传播神经网络(PSOBPNN),反向传播神经网络(摘要),Knuth-Morris-Pratt(公里),隐马尔科夫模型(HMM))。实验结果如表所示1和图6。从表可以看出1HPSOBPNN的分类准确率明显高于其他模型的方法。
4.2。不同风格的音乐可视化迁移
标准偏差的平均值计算根据仪器和主观属性,分别获得一个比较人们的乐器或每个主观属性一致性。由于标准差特征数据的大小变化,变化越大,标准差越大,因此,一致性越低。一致性,例如,在分析每个主观属性的标准差计算均值,如图7。
通过展示乐器的主观听觉属性特征的形式蜘蛛图,除了可视化的场音色特征每个乐器,主观属性的相似度不同的仪器也可以获得视觉。弦乐器中包括在实验中,例如,中间的胡子有更平衡的属性,可以起到衬托作用的工作,而低音gehu有更多独特的性格特征,极其unbright uncrimp,同时,非常黑暗和泥泞,等弦乐器,它也是从观察它们的形状,jingju banhu相对类似弦乐器之一。
音乐文件中包含的特性非常复杂,包括频率、振幅、音色、音高、音调、音高,和弦,速度,响度,节奏,旋律,以及新特性提出了随着技术的发展,比如音乐能量,光谱矩阵谱流,带宽,乐队,噪音,和帧速率。这些数字音乐特性可以用来分析和应用的视觉表达,但是如果每个特性提取和计算耗时的,你应该根据可视化需求提取必要的功能,忽视或删除那些不必要的功能,从而缩短程序的运行时间,满足实时的要求。最小的图书馆在代码库中主要是用于分析音乐。信息可视化的视觉设计,频率、音色、音高、音调,和长度的音乐对应的亮度、色调,纯洁,厚度,长度和线可视化,可视化的和精确的匹配关系建立了通过人工智能可视化。
使用粒子指导(导引头)建立新照片的外观的随机性,代表图像中像素坐标空间,定义了相应的数据结构。它有参数,如位置、速度和惯性。当每个音符到达时,速度和跟踪大小根据音频的强度将被更新。当瞬时信道强度大于阈值为0.8,可以生成新的蠕虫病毒粒子,这也是新一代的图片像素。然后,当前粒子位置可以推断基于物体的惯性。我们的结果精度高,效率快。
在动态图像风格传输和重建的过程中,该算法将掌握音乐的节奏和调整的速度和内容基于绘画运动像素画的艺术效果。与此同时,移动点过滤,以确保生成的艺术形象保留重要的原始图像的边缘信息,如图8。
从结果可以看出,我们的研究结果有显著改善效率和精度与传统道德的支持向量机算法。工作效率增加了20%,而准确性已经增加了10.5%。
5。结论
音频的自动分类研究,特别是语音和音乐的分类,作为其中的一个重要手段提取音频的语义和结构,也吸引了越来越多的关注。本文使用Cestrum系数法提取音乐特征变量,并使用自适应粒子群算法优化BP神经网络对音乐类型进行分类。与其它方法相比,其分类准确率提高。
同时,实现音乐的可视化过程中迁移,基于计算机阅读和处理频率,振幅,和音乐的音色,输入音乐文件通过预处理阶段,分析和实时强度左和右通道的音乐文件提取建立随机生成效果和使用音乐特征和图像特征作为因变量来控制粒子的位置和时间。最后,在生成阶段,每一个有效的粒子是通过虫效果,动态显示的位置和数量的新粒子在渲染过程中,形状,颜色,和速度的粒子,是控制,有效的特征值实时更新指南渲染的效果。相比与传统的视觉传达设计表达的速度节奏的交替和重复形式和颜色,这个新的可视化方法可以为用户提供大规模定制的个性化服务并生成个性化根据个人喜好。肖像还可以显示实时动态图片在音乐播放,提高用户的视听体验,象征着人工智能与人类情感之间的共振。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突的报道。
确认
这项工作是支持的黑龙江省哲学社会科学研究规划项目、黑龙江省传统民间音乐“北十扇”传统和创新研究,17 ysc142。