研究客观评价基于深度学习的录音音频恢复网络

文摘

历史上有严重的失真问题音频和视频数据。针对音频数据修复的特点,智能技术的音频评估探讨。传统的音频主观评价方法需要大量的个人面试和评估,测试人员的主观听觉偏差和样本空间数据有限的影响实验的准确性。基于深度学习网络,本文设计一个客观历史音频和视频数据质量评价系统和评价系统的性能和音频信号质量从特征提取的角度和网络参数的选择。实验表明,该系统具有良好的性能在这个实验中;预测结果和主观评价的相关性和分散指标很好,0.91和0.19。

1。介绍

1999年,蒙古包等人介绍了忘记原始LSTM门的基础上,添加被遗忘的门后,模型有能力清除无用的历史信息。

2000年,蒙古包& Schimidhuber et al。1)认为,如果你想要更准确的使用历史信息和输入数据,存储单元本身也应该参与多个门的控制。因此,他们窥视孔连接,存储单元作为输入的各种门。

2005年,格雷夫斯等人提出的&。施密德胡贝尔表示LSTM模型通过使用一个完整的训练反向传播方法。LSTM的实现过程可以更可靠,因为增加梯度检测步骤。2009年,拜耳提出不同的LSTM模型以提高模型的稳定性在处理一些上下文敏感的序列问题。

2014年,sak等人为了减少LSTM模型的参数的数量的multi-memory模块,一个线性降维操作添加LSTM后输出。和等人Doetsch改善LSTM在脱机手写识别的性能数据集通过引入新的参数不同盖茨的激活功能。曹et al。2LSTM)提出了一个简化版本,格勒乌(封闭的复发性单元)。格勒乌单元只有两个门,重置和更新登机口。然而,经过几组对比实验,发现尽管格勒乌参数少,多个任务上的性能是LSTM相似。

2。LSTM理论

2.1。LSTM的基本思想和工作流程

2.1.1。遗忘的信息

忘记门的作用是控制函数神经网络的一些不必要的信息积累之前遗忘。具体地说,它的输入是一个网络的输入Xt在特定的时间和一个输出之前的网络元素,1,它的输出是一个值在0和1之间,用于与前面的网络元素。国家Ct-1乘以,如图1。

这个过程可以用下面的公式:

2.1.2。更新状态

一旦网络控制程度的忘记前面的“记忆”,下一步是控制信息存储在每个网络元素的数量。这一步包含两个部分:首先,使用一个输入通道(图中的乙状结肠层)来控制信息更新;接下来,使用双曲正切层来创建一个“候选”向量 ,用于添加到当前的网络状态的单元,成为它的一部分,如图2。

上述过程可以用下面的公式:

2.1.3。决定输出

在LSTM,每个网络细胞首先执行一些“过滤”操作当前电池状态,然后输出结果作为输出。具体地说,当前单元状态输出部分由乙状结肠控制层,然后前一个阶段的结果是由双曲正切层和处理乘以乙状结肠的输出层;从而我们可以获得一个网络的输出隐藏层单元,如图3。

上述过程可以用下面的公式:

2.2。LSTM的变体结构

在研究的蒙古包和。施密德胡贝尔表示使用的结构3)如图4。从图可以看到,这种结构增加了结构称为“猫眼”最初的基础设施,以便每个门结构可以连接到当前单元格的状态。

工作流的结构表达如下:

另一个结构考虑结构的两个相互关联的盖茨忘记盖茨和输出。与所有之前的结构不同,不再考虑结构的状态控制和更新单独的被遗忘的信息,但只有前,这只表明结构输出单元状态值后忘记了无用的信息。其结构如图5。

上述过程可以用下面的公式:

在研究[4),赵结构,提出了一个更有活力的LSTM变体格勒乌,这结合了忘记门和输出到一个更新登机口也融合网络的隐层和国家细胞。曹已经应用RNN网络结构研究机器翻译,叫做RNN编码模型。编码器负责编码符号序列为一个固定长度的向量表示,和译码器负责将公式转换为另一个符号序列。他使用这个编码模型作为附加的功能,结合传统的对数线性模型来达到更好的翻译效果。结构如图6。

表达的操作如下:

3所示。系统实验和分析

3.1。系统组成框架

如图7,整个框架的语音质量评价系统,可以分为四个阶段:预处理阶段,特征提取阶段,培训阶段,系统评估阶段。

从图可以看出,该系统首先进行预处理的演讲,包括预加重、重叠的帧,窗口,和语音活动检测的步骤,然后由人工处理过的数据提取特征提取,使用GFCC系统。和MFCC特征与对照组的引用。LSTM的特性数据训练神经网络,和分类的样本作为分类的标签。训练后的网络模型,样本空间的语音样本的质量评估(分类结果)并与样本的标签,以评估系统的性能。

系统的每个模块是在下面详细描述。

3.1.1。预处理模块

预处理模块主要包括语音信号预加重、窗口和子帧和语音活动检测。其中,信号预加重,取消额外的波兰人的声门的激励,增强语音信号的高频部分,因此平滑分析频谱的语音信号,并提供便利和声道参数;窗口是把整个语音信号分成几个短的片段,从而满足假设短时语音信号是稳定的,在每一帧的长度是25 ms,和重叠时间是10毫秒;语音活动检测是利用短时能量结合短时零率作为标准来评估是否语音帧一帧信号,通过移除沉默,数据语音信号的响应特性是更重要的,提高准确性和语音质量评价的后续过程的可靠性。语音活动检测的具体流程如图8。

其中,呃,El、古银、Zl,分别显示帧短时能量和过零率阈值。

3.1.2。特征提取模块

本文选择演讲特性是传统的MFCC特征和改进GFCC特性。两个特征的提取过程在下文描述和比较。

与GFCC特性相比,MFCC使用三角形滤波器与n中心频率分布在梅尔频域滤波器频谱能量,叫做梅尔过滤器银行。这一过程的操作主要是平滑的谱中所起的作用,消除谐波,并突出原始语音的共振峰,通过这种方法突出了核心信息的原始信号和消除不同语调的影响干扰信息;另一个区别是使用对数压缩在压缩。

两个压缩函数的比较如图9。

3.1.3。网络训练模块

在这个实验中,训练语音碎片特征提取后,我们送他们到神经网络与LSTM结构。和网络单位圆的数量是400,隐层集成的特征矩阵的输入,然后进入LSTM神经单位培训;的基础上最后一层:LSTM神经单元,Softmax获得的概率分布,最大尺寸的概率被选中作为最终分类预测。

3.1.4。系统评估模块

评价体系可以分为两类:评价的神经网络结构和训练的结果,我们主要从网络参数,通过实验对不同的参数,我们可以选择网络参数的最佳值组;特征选择评估方法,我们主要从特征提取,通过不同字符数据的训练,来比较不同特点的不同效果的质量评价。

其中,前者认为参数包括学习速率,辍学和网络层,和评价指数是最终正确的测试集上的网络;后者主要比较GFCC MFCC和评价指数的相关系数(Karl-Pearson)和均方根误差(RMSE)。这两个参数是用于描述之间的距离和波动程度,客观系统的语音质量评估和给定的主观质量分数。以下是简要介绍这些索引。

(一)正确的速度。我们单独的一些示例数据到一个测试样本集,不参与网络培训,最后只是用于测试网络模型的泛化和鲁棒性。具体来说,我们将每个样本的质量分数网络预测与实际的质量分数,并计算相同数量的样本的比例在整个测试集,然后获得测试集的准确性。正确的速度越高,更多的网络参数设置与培训任务。

(b) Karl-Pearson系数。表达式如下:

代表了主观质量评价得分由人类的耳朵,和代表的预测质量评价得分系统, , 代表的平均价值 , 分别。N代表样本的数量。R的范围这是衡量之间的相关性预测质量分数和实际的主观评分。

(c) RMSE。均方误差的RMSE主要用于测量系统的估计精度。表达式如下:

每个变量的含义是一样的那些公式(8)。在实践中,大多数0.5阈值被认为是区别:RMSE小于该值时,系统精度高,主观评价是较小的,否则,准确性较低。

3.2。声音库和实验环境

3.2.1之上。声音库

我们得到300块老电影的声音从电影博物馆,包括语音,音乐,唱歌,声音汽车声音,战争的炮火,乐器,六个类别,每个类别包含50段。每段音频是10年代长,电影资料馆的修复人员提供我们之前和之后的相同的音乐音频(恢复),和质量评价的分数。

3.2.2。实验环境

实验环境下构建Tensorflow神经网络框架。Tensorflow是一个开源的基于数据流图的数值计算软件库。流图中的节点代表数学运算,而边缘代表连接的多维数据数组的操作(它被称为张量在Tensorflow)。谷歌Tensorflow,最初由大脑开发团队机器智能研究机构,这是机器学习和深层神经网络的研究和发展,现在已广泛应用和推广。在这个实验中,我们选择研究Tensorflow 1.01版本。

3.2.3。参数调整

(一)学习速率设置。在网络训练过程中,权重更新按照下列公式:

学习速率扮演一个角色在决定重量和更新的速度。如果设置太大,很容易导致体重超过最优值和最优值附近摆动。如果设置过小,将导致较低的网络培训。因为标准梯度的问题,很容易落入局部最优解。

(b)辍学。辍学优化是一种提高网络泛化能力和减少过度拟合。辍学通过设置参数,使网络训练过程的隐藏节点输出的概率值0,与此同时,当使用反向传播算法来更新权重,相连的节点权重不参与更新操作。一个形象的比喻是:“杀死”随机网络中隐藏节点,其余节点将变得更有效率和更可靠。

专门为多层,LSTM网络结构,只有辍学行为层和层之间在同一时间,在不同的时间和不适用的辍学生步骤之间同一层。在这个实验中,我们首先设置辍学参数更多的中央,然后逐渐扩展到极端值。根据不同的结果,我们确定最合适的辍学参数值。

(c) LSTM的层。使用多层LSTM可以提高网络的学习效果的样品特性,但它也带来了负面影响,增加计算和运行时间,并且不能提供重要的训练网络的结果。在这个实验中,网络层的初始选择三个,实验1 - 7的范围内进行。它将选择最优参数值根据培训结果。

4所示。实验结果评估

4.1。网络参数

控制变量的方法被用在这个实验。首先,我们把一些研究深度学习设置网络参数;然后通过固定所有剩余的参数和参数在一定范围内,重复培训实验;最优参数值后,我们比较下一个参数,并保持最佳参数设置前的值。比较实验结果后,试图找到最优参数集适用于网络。数据分析过程如下。

以下4.4.1。学习速率

学习速率的选择范围是[10 - 2,210 - 6]。我们把正确的网络速度测试设置为网络训练的最终衡量质量的基础。与此同时,我们结合变化的过程中训练集训练准确率分析他们。表1和图10学习速率的变化之间的关系和测试集的准确性的图表和曲线。

比较之后,可以发现,与学习速率逐渐改变从大到小,正确的测试集经验逐渐增加然后减少,和2之间的最优学习速率身手和2尤其这个赛季。

数据11和12比较和分析了不同学习速率下训练集;和测试正确的利率的变化在整个培训过程和做一个简短的分析和解释。

正确的变化率,相比之下,整个培训过程可以发现,当学习速率远远大于最优值,正确的训练集和验证集的速度波动,这表明该算法搜索最优解的最优值,和解决过程中结果最优值附近波动;学习速率远低于最优时,训练集和验证集正确率很低,表明学习速率太小,算法最优值的收敛过程太慢,导致培训不足以使算法找到最优解;学习速率是在最优值附近时,正确的训练集和验证集的速度较高,收敛速度更快,在图可见11和图12。

数据13和14比较和分析损失函数值的变化在不同的学习速率在整个培训过程中,做一个简短的分析和解释。

通过对比变化的价值损失函数在整个训练过程中,可以发现以下:

当学习速率远远大于最优值,损失函数值训练集和验证集的大波动,下降趋势不明显。它表明该算法太修改和产生大振荡搜索最优解时。

当学习速率接近但仍大于最优值,损失函数值训练集和验证集的小范围波动,训练开始迅速下降,很小的进步是由最后的训练。这可能是由于过度的训练这样的学习速率。

学习速率是在最优值附近时,损失函数值的变化曲线平滑,迅速降低,最后下降点值较低。这表明训练过程是收敛的。

当学习速率小于最优值,损失函数的值下降缓慢,最后下降更大。这表明学习速率太小,和最优值的算法的收敛过程太慢,所以培训不能使算法找到最优解。

结合上面的分析中,最佳的学习速率是最后选为5这个赛季。

4.1.2。辍学的参数

在网络层是4和学习速率是5这个赛季,辍学参数类似,结果如表所示2。

训练集和验证集在训练过程中数据所示15和16。

从图可以看出,辍学参数的增加,神经元的数量瓦斯“死亡”在网络逐渐减少,和数据的学习能力逐渐加强,这是反映在正确的训练集和验证集的速度更快地达到最优值;结合测试结果表中,当参数值是1(也就是说,没有—神经元网络),网络是略过拟合,同时,当参数值是0.3/0.4(也就是说,有超过一半的放弃神经元)的概率,学习能力的网络数据特性略有减弱。一般来说,当所选择的值在0.6 - -0.8的范围值,它可以最大限度地优化网络性能,避免过度拟合。参数的最优值最终选择0.7。

4.2。特征选择

GFCC和MFCC参数提取被训练为特征,不同的订单,结果如表所示3(每个结果的最高价值)。

通过对比表中的数据,我们可以总结如下:性能的相关系数,当MFCC特征被添加在中频(6 - 7订单),系统性能有明显改善,高频部分的相关系数显示收效甚微。从最小均方偏差,增加的顺序MFCC特征系数,最小均方偏差逐渐降低。当加入高频部分(订单8日至13日),促销是最明显的。比较不同的特性,我们可以发现,相关和均方最小方差显示GFCC特性优于MFCC特征。这表明前者压缩使用Gammtone过滤和立方根,非常好的改善后者和更好的模拟人耳的生理特点。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

本文由国家自然科学基金委重点资助。61631016;由高档项目没有。CUC18A016-1;赞助的项目没有。2018 xng1857;赞助的项目没有。CUC18QB46。

引用

1. f . a,的蒙古包和j。施密德胡贝尔表示“网时间和计数,复发”诉讼IEEE-INNS-ENNS国际联合会议上的神经网络(IJCNN ' 00)科莫,3卷,p。6日,意大利,2000年7月。视图:出版商的网站|谷歌学术搜索
2. k .赵b . van Merrienboer c Gulcehre et al .,“学习短语表示使用RNN Encoder-Decoder统计机器翻译,”学报2014年会议上实证方法在自然语言处理(EMNLP)1734年,页1724 -多哈,卡塔尔,2014年10月。视图:出版商的网站|谷歌学术搜索
3. 约飞和c . Szegedy“批量标准化:加速深层网络训练通过减少内部协变量转变,”美国第32机器学习(ICML 15)国际会议上2015年7月,页448 - 456。视图:谷歌学术搜索
4. 美国好时,s .乔杜里·d·p·埃利斯et al .,“CNN对大规模音频分类架构,”学报2017年IEEE国际会议音响、演讲和信号处理(ICASSP)新奥尔良,页131 - 135年,洛杉矶,2017年3月。视图:出版商的网站|谷歌学术搜索

版权

版权©2018丛金等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。