京剧合成基于直线算法和深度的学习

文摘

语音合成是人机交互领域的一个重要研究内容,有着广泛的应用。它的一个分支,唱歌的合成起着重要的作用。京剧是一个著名的传统的中国戏曲,它被称为中国的精髓。唱京剧言论的一些特性,但它有自己独特的发音规则和规律,不同于普通的演讲和唱歌。在本文中,我们提出了三个模型合成的京剧。首先,语音信号的源和目标议长提取使用直接算法。然后通过GMM的训练,我们完成了语音控制模型输入要转换的声音和声音转换后的语音输出。最后,通过建模的基本频率、持续时间和频率分别构造旋律控制模型使用氮化镓实现京剧片段的合成。我们连接片段和添加背景音乐来实现京剧的合成。实验结果表明,合成的京剧有一些可听到,可以基本完成了京剧的成分。 We also extend our models to human-AI cooperative music generation: given a target voice of human, we can generate a Beijing Opera which is sung by a new target voice.

1。介绍

随着时代的发展和科学技术的不断创新,对语音合成的需求(1不再是简单的说话但可以完成特殊的声音如唱歌和诗歌。这无疑是巧妙的,小说运用歌唱的方法合成2)京剧。被称为中国文化的精髓,京剧是中国最著名的传统戏剧之一。和出生在18世纪以来,它一直深受中国人民和其他国家人民在东亚。京剧有着悠久的历史和丰富的文化内涵。除了精致的舞台表演和生动的故事情节,音乐和唱歌的京剧艺术价值极高。特别是,它是一个独特的演唱风格,显示了中华民族非凡的创造力,是传统的化身艺术家的高超的技巧。是有意义的使用直接算法,GMM, GAN合成京剧。

京剧可以包含三个步骤的合成图1。首先是语音转换通过使用直接算法,然后京剧片段的合成可以通过旋律音调控制模型和控制模型。最后,我们把碎片和添加背景音乐来实现京剧的合成。

2。合成京剧的直接算法

2.1。音素

2.1.1。音素概要

音素是语音的最小单位或最小的语音构成音节和言论是最小的线性单元划分从音质的角度。从声学特性,音素是语音的最小单位划分的声音质量的观点。从生理的角度来看,语音运动形成一个音素。音素分为元音和辅音、两类。他们的分类是基于气流是否阻塞的各种器官,当人类发出的声音。不受阻碍的因素被称为元音和阻塞一个叫做辅音。

2.1.2。音素分割

因为相同的音素具有相同的特性,不同的因素及它们的组合有不同的特点,我们可以把每个因素。时域波形、能量图,讨论二阶导数过零率图表”张娇盛阴苍哉气盘之夏”在“媒人的墙”唱京剧都显示在图2。从这,我们可以看到,辅音音素的初始辅音更不规则,它们形成的辅音有周期性的波形。前者的特点大讨论二阶导数过零率和低能量特征;后者的大部分能量大。此外,如果出现沉默,都是小(红色线是一个单词的开始和结束)。

2.2。选择和特征参数的方法

2.2.1。选择的性格特征

京剧还是一般的声音,演讲者的个人习惯和发音风格是不同的一方面,和扬声器的位置(或不同的角色在京剧演员)将导致每个人拥有一个处理每个音素有点区别。一般来说,参数描述说话人的个性是音节的特点,超音段和语言(3,4]。

音节特点:它们描述的色调特点的演讲。特征参数主要包括共振峰的位置、共振峰的带宽,频谱倾斜,音高频率和能量。部分功能主要是相关的生理和发声器官的语音特征和说话者的情绪状态。音调控制模型中使用的功能部分3主要是由于这个原因。

超音速特点:他们主要指的是说话的方式,如音素的持续时间、音调、和压力,人们感到的是演讲,音高,和体积的变化。中旋律控制模型中使用的功能部分4主要是由于这个原因。

语言功能:例如,成语,方言口音,等等。

然而,京剧和声音是不同的在他们的发音和表达的目的。每个单词的音调和节距长度在京剧由分数控制除了自己的发音。普通的演讲主要是用来表达演讲的内容,但京剧更情感表达的旋律。通过上述特征的描述,这个测试音质映射的主要因素的研究因素如下。

音高:它是由源的振动频率在一段时间。振动频率越高,声音和交谈越低越高。京剧的音高和性格的角色,如LaoSheng相对较低;丹是相对较高的。

节距长度:声音的长度是由声源振动的持续时间。持续时间越长,声音和越长越短。京剧每个词的平均长度相对较长,及其变化范围比较大。

声音强度:声音的强度取决于声源的振动振幅;振幅越大,声音越强;另一方面,振幅越低,声音越小。因为京剧的振幅是由强烈的情感控制,它大于语音范围内。一般来说,只有一个声音相对较小的振幅范围内的均匀分布。

基调:不同的声音的频率性能总是与众不同的特征波形。例如,不同的京剧人物唱相同的通道根据两者的区别音色。

通过结合主观的演讲与客观量分析,相关性可以获得在桌上1。

语音信号的声学特性不可或缺的研究对象为语音分析、语音转换。它主要表现韵律和光谱。韵律感知性能,时间和体积。听觉上,节奏与基本频率,持续时间和振幅。光谱信封是视为一个色调的特征。

2.2.2。MFCC特征提取

MFCC缩写梅尔频率倒谱系数(MFCC),这是基于人类听觉属性和非线性相关赫兹的频率。梅尔频率Cepstral系数(MFCCs)使用它们之间的这种关系来计算结果赫兹光谱特征。其萃取原理如下。

(1)预加重。预加重处理是通过语音信号通过高通滤波器

的价值μ在0.9和1.0之间;我们通常取0.97。预加重的目的是提高高频部分,平信号的频谱,并保持它在整个频带由低,同样的信噪比。同时,它也是消除声带和嘴唇的过程中发生,来弥补语音信号抑制高频系统的一部分,而且还凸显了高频共振峰。

(2)框架。第一个N采样点设置成一个单位的观察,称为帧。在正常情况下,N的值是256或512,覆盖了约20 ~ 30 ms左右。为了避免两个相邻帧的变化太大,有一个两个相邻帧之间的重叠区域。重叠的区域包含M取样点,和M的值通常是大约1/2或1/3的n .通常语音识别(5)语音信号采样频率是8 khz或16赫兹。8 khz,如果帧长度是256个样本,相应的时间长度(256/8000)1000 = 32女士。

(3)窗口(汉明窗)。每一帧乘以一个汉明窗增加连续性框架的左右结束。假设框架信号(n), n = 0, 1,……,N-1, N is the size of the frame then multiplied by the Hamming window is 。W (n)的形式

不同的a值将产生不同的汉明窗。一般来说,a需要0.46元

(4)快速傅里叶变换。信号在时域转换通常是很难看到信号的特点,所以它通常是转换为频域观察能量分布;不同的能量分布可以表示不同的语音特点。因此,用汉明窗后,每一帧也必须受到快速傅里叶变换得到的光谱能量分布。每一帧窗口后的信号进行快速傅里叶变换得到每一帧的频谱。语音信号的频谱是建模获得语音信号的功率谱。设置DFT的语音信号

x (n)是输入语音信号和n点的数量在傅里叶变换。

(5)三角形带通滤波器。能量谱是通过一组Mel-scale三角形滤波器与M过滤器定义一个过滤器银行(过滤器的数量相似关键乐队)的数量。使用的过滤器是一个三角形的过滤器。M通常22日至26日进行的。每个f (m)之间的间距减少,减少“m”,扩大随着人口增加,如图3。

三角形滤波器的频率响应的定义是

(6)从每个过滤器银行计算对数能量输出

(7)MFCC系数是通过离散余弦变换(DCT)

上面的对数能量进入DCT获取L-order Mel-scale倒频谱参数。L-order意味着MFCC系数顺序,通常12日至16日。这里M是三角形的数量过滤器。

(8)对数能量。此外,体积(即。,energy) of a frame is also an important feature of speech and is very easy to calculate. Therefore, the logarithmic energy of one frame is usually added so that the basic speech features of each frame have one more dimension, including one logarithmic energy and the remaining cepstrum parameters.

(9)动态分割参数提取(包括一阶差分和二阶差分)。标准倒频谱参数MFCC只反映了演讲的静态特征参数。演讲的动态特性差光谱可以被描述的这些静态特征。实验表明,结合动态和静态特性可以有效地提高系统的识别性能。不同参数的计算可以使用以下公式

dt是第t一阶差分;Ct是第t倒频谱系数;问cepstral系数的顺序;和K是一阶导数的时差,可以1或2。用上面的导致收益率的二阶差分方程参数。

2.3。信号特征分析

根据先前的研究在语音信号处理技术,人们主要集中在信号分析在时域和频域两种方法。

2.3.1。时域分析

在时域中,横轴是时间,纵轴是振幅。通过观察时域波形,我们可以获得语音信号的一些重要特性,如时间、起始和结束位置的音节,声强(能量),元音(见图4)。

2.3.2。频域分析

语音信号频谱、功率谱、倒频谱包络谱等等。它通常被认为是语音信号的频谱是信道的频率响应的产品体系和激励源的频谱,而信道的频率响应系统和激励源是时变的。因此,语音信号的频域分析是经常使用短时傅里叶变换(STFT)执行。它被定义为

中国歌曲合成算法的研究是基于参数修改,我们可以看到,短时傅里叶变换有两个自变量(n和w),所以它既是一种离散函数关于时间对角频率n和一个连续函数。公式,w (n)是一个窗口函数,和n需要不同的价值观和消除不同声音短片段,其中下标n不同于标准的傅里叶变换。自窗口的形状有影响短时谱,窗函数应具有以下特点:

(1)高频率分辨率;主瓣窄和夏普。

(2)旁瓣衰减很大,和频谱泄漏引起的其他频率成分很小。这两个条件实际上是相互矛盾的,不能同时得到满足。因此,我们经常采取妥协的方法,通常选择一个汉明窗。

然而,时域分析和频域分析有自己的局限性:时域分析没有一个直观的可视化语音信号的频率特征;和频域分析缺乏语音信号随时间的变化。京剧的实验结果,综合分析了语音信号使用后提高频谱分析的方法。

2.3.3。光谱分析

语音信号的傅里叶分析显示被称为超音波或光谱图。光谱图是一种三维谱表示声音的频谱图随着时间的推移,以纵轴为频率,横轴为时间。任何给定的频率分量的强度在给定时刻表达的灰度或颜色的对应点。频谱显示大量的信息与语言句子的特点有关。它结合了谱图和时域波形的特点,清楚地显示语音频谱的变化随着时间的推移,或者是一个动态的频谱。从光谱我们可以得到:共振峰,基本频率,和其他参数图5。

2.4。直接算法介绍

直是一个缩写”语言转换和基于自适应插值加权谱图表示。“这是一个更精确的方法提出的语音分析和合成日本学者Kawara二在1997年。直接算法建立在源/过滤模型。其中,源来自于声带振动,和过滤器是指通道传递函数。它可以自适应地插入和光滑的演讲短期频谱在时间域和频率域,以便更准确地提取包络谱和调整演讲时间,基本频率和频谱参数在很大程度上而不影响合成语音的质量。直接分析合成算法包括三个步骤:基频提取、光谱参数估计和语音合成。前两个下面详细描述,只有合成过程将图中描述6。

首先,语音信号是输入,语音基频F0和连续谱包络提取的算法和参数调制生成一个新的声源和时变滤波器。根据原来的过滤模型,我们使用(10synth的声音: , 显示为

公式,Q代表一组样本的位置的综合激励,和G代表沥青调制。调制后的F0可以与任何F0任意的原始语言。全通滤波器用于控制时间的微细结构和原始信号,如frequency-proportional线性相移,用来控制F0的精细结构。 是相应的最小相位脉冲傅里叶变换;在(12) 调制振幅谱的计算,,u r代表的调制振幅,频率和时间,分别为(13),(14)和(15)。

q是频率。直听力测定实验表明,即使在高灵敏度的耳机来说,合成语音信号几乎与原始信号。

3所示。音调控制模型

声音色调转换指的是语音信号处理技术来处理声音,保持相同的语义内容,但只改变语气,所以一个人的声音信号(声音来源)后声音转换处理(目标声音)听起来像另一个人的声音。本章介绍了提取参数密切相关的音色通过使用直接算法,然后提取的参数通过使用GMM的培训模型获得相应的源声音和目标之间的关系。最后,新参数直接合成,为了实现语音转换。它可以看到从一节2讲话的语气特征主要对应参数“基本F0”和“通道光谱”。

3.1。的基本频率和信道频谱提取

3.1.1。提取的基本频率

直接算法具有良好的时域分辨率和基频轨迹,基于小波变换的分析,首次发现提取的音频找到基本频率,然后计算瞬时频率的基本频率。

提取原理可分为三个部分:F0粗定位,F0跟踪平滑,和F0好定位。F0的粗定位指的是语音信号的小波变换得到小波系数;然后,小波系数转换为一组瞬时频率选择F0每一帧。F0轨迹平滑是基于高频能量比率计算,最低噪声能量等效,在瞬时频率选择最可能的F0,从而构成一个平滑的轨迹。F0精细定位通过FFT变换当前F0微调。这个过程如下。

输入信号是s (t)复合信号的输出 ,呕吐(t)是一种小波分析得到的输入信号通过伽柏过滤器,和分析小波周期分析吗

呕吐(t)是(17)和显示为(18):

其中,伽柏过滤器的频率分辨率,通常是大于1根据过滤器的特点。

通过计算,介绍了变量“fundamentalness”和用 作为

第一项是调幅(AM)值;第二项的总能量,使用规范化的价值点;第三个词是调频(FM)值;第四项是基本频率的平方,用来正常化调频的价值;第五是时域积分区间的归一化因子。由以下公式可以得出:当,FM最低,M最大,即基本组成部分。

然而,在实践中,F0总是变化迅速,因此,为了减少对M的影响,使一些调整的公式(20.),(21)和(22):

最后使用计算瞬时频率 ,和得到的基频F0 (23),(24)和(25):

3.1.2。通道光谱参数提取

声源的声音信息和通道光谱信息提取,然后做出调整来实现声音的调整,这是前面的方法。然而,由于这两个往往是高度相关的,它们不能独立地修改,从而影响最终的结果。

之间的关系的声音信号s (t),信道参数v (t)和声源参数p (t)一样

因为很难找到直接v (t),直接算法计算v (t)的频域表达式的短时谱分析s (t)。方法计算短期光谱(27)和(28):

短期内光谱显示了基本频率相关的周期性在时域和频域,分别。短时谱窗口函数使用(29日)和(30.):

然而,由于信道频谱和声源频谱基本频率相关,不能认为他们已经分开。相反,他们需要进一步周期性删除在时域和频域实现分离。

周期性的时间域需要pitch-sync平滑windows和补偿的设计,分别为(31日),(32)和(33):

短时幅度谱和 ,分别通过两个窗户,最后我们得到短期的振幅谱与周期性删除

其中,是混合的因素;当是0.13655,有最优解。

同样,频域也需要平滑窗口窗户和补偿去除短时谱的周期性域和最终消除周期谱包络作为

最后,对数振幅压缩和变形频率离散余弦变换频道光谱参数为后续使用MFCC参数。(MFCC详细描述部分2)。

3.2。GMM参数实现转换

3.2.1之上。GMM概要

高斯混合模型(GMM) [6)可以表示为不同的高斯概率函数的线性组合

其中X是一个随机向量n维度,是一个混合重量, , 是subdistribution GMM,每个subdistribution是高斯分布

在哪里是矢量,意味着什么协方差矩阵。

尽管音素的类型是明确的,每个音素变化在不同的情况下由于上下文。我们使用GMM构造的声学特征议长在每次找到最可能的映射。

3.2.2。转换函数建立

GMM指的是估计的概率密度分布的样本,和估计模型(培训模型)是几个高斯模型的加权和。源语言和目标语言映射矩阵,从而提高算法的精度和鲁棒性和完成之间的连接两个语音。

(1)基本频率的转换。单高斯模型法是用于转换的基本频率,基频转换是通过目标的均值和方差的人 和演讲者 是(38):

(2)信道频谱转换。模型的映射规则是一个线性回归函数;目的是为了预测所需的输入数据的输出数据。频谱转换函数被定义为

和的意思是第i个高斯组件的源和目标议长;的方差矩阵的第i个高斯源扬声器组件;的协方差矩阵是第i个高斯组件源和目标议长的协方差矩阵;X的特征向量的概率是属于第i个高斯GMM的组件。

4所示。旋律控制模型

京剧有相似的组成的合成一般的嗓音(7,8]。也就是说,通过声音和旋律的叠加,每个单词的新球场重建。通过第二章的分析,发现主要影响因素的旋律的基本频率,持续时间和精力。其中,旋律的基本频率最大的影响;它可以表明人类声带振动的频率和持续时间和每个单词长度的每个词的发音;你可以控制节奏的京剧,代表人类声音的速度。能源和声音强度呈正相关,代表着情绪。

4.1。基本频率转换模型

虽然演讲和京剧都通过相同的人体器官,发出演讲更关注散文,而京剧强调旋律的情感表达。大部分的旋律在基本频率特性。京剧的基本包络对应于旋律,包括语气、音调,颤音(9]。然而,场上的注意在一份报告中是一个常数,和他们的比较如图7。

从这一点来看,我们可以看到,我们可以使用基本频率控制京剧的曲调,但颤音等声学效应需要考虑。因此,控制设计的基本频率(10是如图8。

4.2。时间控制模型

每个单词在中国通常有不同的音节,每个音节的首字母和元音也扮演不同的角色。是否正常或京剧,首字母通常发挥辅助作用,而元音携带音高和大多数球场的信息。为了确保京剧的自然,我们使用注意持续时间来控制每个单词的长度,使元音的长度显示在表的规则2。

初始的一部分的时间是按照比例11)表中(k)修改,k是很多声音,歌曲比较实验。区域的持续时间,其上有首字母缩写元音过渡保持不变。元音部分的长度变化的总持续时间音节可以对应于每个音符的持续时间的分数。

介绍了元音的界限划分的方法部分2这里将不会重复。

4.3。频谱控制模型

声道的共振腔和包络谱反映了其共振特性。研究发现良好氛围唱歌,光谱2.5 3千赫附近的农场,有特别的意义和唱谱的变化将直接影响到人的结果。为了合成高自然的音乐,语音信号的包络谱通常是纠正根据独特的嗓音的光谱特征。

4.4。氮化镓模型

4.1.1。介绍氮化镓的网络

生成对抗网络,缩写为氮化镓(12- - - - - -17),目前人工智能领域的一个热门研究方向。氮化镓由发电机和鉴别器。训练过程是输入随机噪声,获得伪数据生成器,以实际数据从真实数据的一部分,混合两个鉴别器和发送数据,给予一个正确或错误的测定结果,根据这个结果,回波损耗。氮化镓的目的是估计数据样本的电位分布和生成新的数据样本。它被广泛研究领域的图像和视觉计算、演讲和语言处理和有巨大的应用前景。本研究使用GAN合成音乐组成京剧音乐。

10/24/11。选择的测试数据集

京剧的得分数据集需要在这项研究中的应用是5000年的记录和收集京剧的背景音乐。数据集处理如图9:数据准备和数据预处理

首先,因为有时候有些仪器只有几个音符在一段音乐,这种情况使得数据过于稀疏,影响培训过程。因此,有必要通过合并来解决这个数据不平衡问题的良好跟踪类似的工具。每个多声道的京剧成绩纳入五乐器:huqins,笛子、唢呐、鼓和钹。这五种类型的仪器是最常用的乐器在京剧音乐。

然后,我们将合并后的追踪后过滤数据集选择最好的音乐匹配的信心。此外,由于北京歌剧咏叹调需要合成,京剧的一部分的分数没有歌词不是我们需要的。也选择京剧歌词的配乐。

最后,为了获得一个有意义的音乐段训练模型的时候,有必要把京剧得分并获得相应的音乐片段。4条通道和长通道切成适当的长度。因为球过高或过低并不常见,因此不到C1或高于C8,目标输出张量是4 (bar)×96(时间步)×84(沥青)×5(跟踪)。这就完成了准备和预处理的数据集。

4.4.3。GAN结构和数据集的训练和测试

在这项研究中使用的GAN结构图如图10。

氮化镓的基本框架包括两个模型:生成模型和歧视模型。主要目的是生成符合真实的数据分布的伪数据鉴别器D g .备用发电机模型的输入是一个随机高斯白噪声信号z;噪声信号映射到一个新的数据空间通过发电机G G (z)生成生成的数据。接下来,鉴别器D输出一个基于真实数据的输入概率值x和G (z)生成的数据,分别表明D法官输入是否真实数据生成错误数据的信心。通过这种方式,它是判断是否G-generated的性能数据是好还是坏。当最后一个D无法区分真实数据x和G (z),生成的数据生成器G被认为是最优的。

D的目的是区分真实的数据和错误数据,以便D (x)尽可能大,而D (G (z))尽可能小,两者的区别是尽可能大,而G的目标是使数据产生在G D的目标是使性能的D (G (z))的D数据一致的性能D (x)的真实数据,所以D不能区分生成的数据和真实数据。因此,模块的优化过程是一个相互竞争和对抗的过程。G和D的性能不断改进在反复迭代,直到最后的D (G (z))是一致的性能D (x)真实数据。G和D不能进一步优化。

训练过程可以建模为一个简单的极大极小问题

极大极小优化公式定义如下:

甘不需要预设数据分布;也就是说,它不需要制定p (x)的描述,但是直接采用。从理论上讲,它可以完全近似真实的数据。这是甘的最大优势。

氮化镓生成音乐训练和测试过程的数据集在图11。

generator-generated和弦部分数据和特定的音乐风格的数据,generator-generated多个跟踪和弦部分数据,多个音乐轨道槽数据被发送到氮化镓进行训练。达到音乐产生特定的风格和对应的凹槽。

5。实验

5.1。音调控制模型

5.1.1。实验过程

声音库用于本文的实验模拟记录由前整个消声室的环境中,全面考虑前面的因素可以更好地满足实际需要的语音转换系统。一个女人声音库记录的标准普通话口音和包含数字、专业名词、日常词汇,等等,作为源语言。然后找到另一个人来记录少量的语句要转换的声音,和图12是语气转换过程。

5.1.2中。实验结果

数据11,12,13分别源演讲者的演讲,演讲和目标说话人是基于连续谱图和转换语音GMM模型。所有的声音都是16岁千赫采样和量化与16位。在实验设置声音5 s。他们MFCCs数据13,14,15。

他们显示了MFCC源的三维地图的演讲中,目标语言,并转换后的讲话。水平轴代表音频时间,纵轴代表频率,颜色代表相应的能量。从图的比较,它可以直接看到vocalogram MFCC参数转换的形状更接近于目标的演讲,表明转换后的语音特征往往是目标语音功能。

5.2。旋律控制模型

5.2.1。实验过程

为了评估旋律转换结果的质量,三个京剧作品被选为测试,其次是转换使用Only_dura dura_F0, dura_SP,模型,和北京歌剧产生的四种合成方法比较与原来的京剧。其中,Only_dura只使用合成的时间控制模型;dura_F0只使用基本频率控制模型和合成时间控制模型;dura_SP只使用时间控制模型和频谱合成的控制模型;所有模型同时使用三种控制模型。“真实”的是京剧。

因此,旋律控制模型可以概括在图16。

5.2.2。实验结果

语音转换的目的是使转换后的语音听起来像一个具体的目标人的演讲。因此,评估性能的语音转换系统也是基于以人为本的听觉评估。现有的主观评价体系,MOS得分测试是一种有效的方法来评估的声音质量,和相似的测试是一种测试方法,判断系统的转换效果。

MOS得分标准将语音质量划分为5个层次;见表3。测试人员听演讲,给的分数转换质量水平测量演讲所属根据这5个水平。MOS得分被称为通信质量约为3.5分钟。此时,声音的听觉重建质量降低,但这并不阻止人们正常交谈。如果MOS得分低于3.0,它被称为合成语音质量。此时,语音可懂度高,但自然很差。

找到10个测试人员和MOS得分上面的综合结果。结果如表所示4。

5.3。京剧的合成

京剧主要由词和旋律。旋律是由音高决定的,语气,声音强度、长度、声音和其他决策。在这个实验中,每个词的特点是文字的独特性等讨论二阶导数过零率和能量。然后旋律音调控制模型和控制模型设计和做提取重要参数的基本频率,光谱,时间,等等,使用MFCC DTW, GMM和其他工具来分析提取的特征转换和最终合成片段去看歌剧。

直接算法与其它算法相比,具有更好的性能的自然程度的合成和参数修改的范围,所以直接算法也是选择合成的京剧。

再次,让上述10测试人员执行MOS得分上面的复合效应。结果如表所示5。

根据测试结果,可以看出主观测试结果达到平均为3.7分,表明设计基本上完成了京剧的合成。虽然京剧通过合成系统往往起源于京剧,它仍然是听觉上不同于真正的京剧。

6。结论

在这项工作中,我们提出了三种小说生成模型对京剧合成框架下的直接算法,GMM和氮化镓。客观指标和主观用户研究表明,该模型可以实现京剧的合成。鉴于最近的热情在机器学习艺术的启发,我们希望继续我们的工作通过引入更复杂的模型和数据表示有效地捕获底层旋律结构。此外,我们觉得可以做更多的工作在发展中更好的一块的质量评价指标;只有这样我们能够训练模型,真正能够构成京剧演唱艺术作品与高质量。

数据可用性

[。京剧的wav)数据用于支持这项研究的结果已经存入(zenodo)存储库:[http://doi.org/10.5281/zenodo.344932]。可在使用的之前报道的直接算法http://www.wakayama-u.ac.jp/ kawahara / STRAIGHTadv / index_e.htmll。要求从可用的代码kawahara@sys.wakayama-u.ac.jp。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由(1)国家自然科学基金委重点资助。61631016;(2)交叉项目”研究3 d音频空间和基于虚拟现实全景互动”,没有。3132017 xng1750;(3)学校项目资金没有。2018 xng1857。

引用

1. d·施瓦兹的“基于语料库衔接合成”,IEEE信号处理杂志,24卷,不。2、92 - 104年,2007页。视图:出版商的网站|谷歌学术搜索
2. y . j . Cheng黄,c .吴”HMM-based普通话歌唱语音合成使用定制合成单位和问题集,“计算语言学和中国的语言处理,18卷,不。4、63 - 80年,2013页。视图:谷歌学术搜索
3. l .盛说话人转换方法研究华南理工大学博士论文,2014年。
4. y杨中国的语音转换系统[硕士学位论文],北京交通大学,2008。
5. Hasim和等等。,“Fast and accurate recurrent neural network acoustic models for speech recognition,”https://arxiv.org/abs/1507.06947。视图:谷歌学术搜索
6. 唐,语音转换技术研究基于GMM模型,9卷,2017年。
7. j . Bonada和x Serra合成性能抽样和歌声的光谱模型,”IEEE信号处理杂志,24卷,不。2、67 - 79年,2007页。视图:出版商的网站|谷歌学术搜索
8. m·w·梅肯l . Jensen-Link j . Oliverio m·a·克莱门茨和e·b·乔治,“唱歌基于正弦建模、语音合成系统”学报1997年IEEE国际会议音响、演讲,和信号处理,ICASSP。第1部分(5)1997年4月,页435 - 438。视图:谷歌学术搜索
9. h·顾和z林”,普通话歌唱语音合成使用安颤音参数模型,”《2008年国际机器学习与控制论(ICMLC)会议昆明,页3288 - 3293年,中国,2008年7月。视图:出版商的网站|谷歌学术搜索
10. a . De Cheveigne和h . Kawahara,“阴,语音和音乐的基本频率估计,“《美国声学学会杂志》上,卷111,不。4、1917 - 1930年,2002页。视图:出版商的网站|谷歌学术搜索
11. c . Lianhong j .侯r·刘et al。“嗯的合成参数基于音高,唱歌”学报》5日联合会议上和谐人机环境,西安,2009年。视图:谷歌学术搜索
12. w . Wanliang和l . Zhuorong“生成对抗网络的进步,”杂志通讯39卷,2018。视图:谷歌学术搜索
13. 格拉汉姆·古德费勒,j . Pouget-Abadie m . Mirza et al .,“生成敌对的网,”诉讼进展的神经信息处理系统,第2680 - 2672页,2014年。视图:谷歌学术搜索
14. a·雷德福l·梅茨,美国Chintala”与深卷积生成对抗网络无监督学习表示,“https://arxiv.org/abs/1511.06434。视图:谷歌学术搜索
15. 可翻译的代表学习信息最大化生成敌对的网,。
16. 答:阮et al .,“合成的首选输入神经网络中的神经元通过深机组,”https://arxiv.org/abs/1605.09304。视图:谷歌学术搜索
17. 格拉汉姆·古德费勒et al .,深度学习美国剑桥,麻省理工学院出版社,质量,2016年。视图:MathSciNet

版权

版权©2018王XueTing et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。