文摘

经济全球化与中国持续增长的社会经济水平趋于国际化,中国的关注英语已显著提高。然而,国内英语教学水平是有限的,因此不可能纠正学生的英语发音和做出合理的评估,这样口语训练有一定的缺点。然而,国内外计算机辅助语言学习系统的重点是单词和语法的练习,和评价指标不全面。针对英语发音变化的复杂性,传统的语音识别是很难识别讲话速度和提高其精度。此外,加强国内学生的英语发音,深度研究了非线性网络结构来模拟人类大脑分析模型建立了语音识别梅尔频率倒谱特征参数的人耳和深度信念网络模型。在这篇文章中,传统的计算机语音评估方法是全面改善,和一组高质量的语音识别系统的语音识别方法。针对上述问题,需要学生为研究,证明本文采用的方法可以给学习者准确发音质量分析报告,并指导和纠正自己的语调,提高学习效果,和实验数据验证了改进语音识别系统模型比传统模式识别能力。

1。介绍

随着全球化和中国的国际化,中国人民对学习英语也很容易生长的需求。然而,由于中国声乐的特点不同于英国,中国没有一个英语学习的环境,缺乏优秀的英语教师。由于影响的时间、位置和其他因素,传统的课堂教学已经不能满足英语学习的需要。目前,仍有伟大的英语教学中存在的问题;例如,教师描述太一般,和学生的主观能动性不能充分发挥,在学习和英语学习已经成为教育领域的研究热点之一。随着计算机的发展,语言教学方法的进步,计算机辅助语言学习(1)提供了可能性来解决这个问题。这种技术允许在没有时间或地区学习者学习,可以给学习者及时和尖锐的评价和指导,也可以帮助学习者找到差异以不同的方式和标准的发音。允许学习者反复听,比较并纠正发音错误,提高语言学习效率。

研究的目标是结合计算机技术,特别是语音识别和评价技术,与当前语言教学方法,进一步建立一个电话系统。一些著名的国际大学研究机构正在进行相关研究,如在美国卡内基梅隆大学、日本东京大学、英国剑桥大学。麻省理工学院和剑桥正在共同努力,发展口语交际语言学习项目(SCILL),旨在建立一个会话系统为学习者提供会话练习。WebGrader由斯坦福大学使用语音识别引擎[2)和得分技术得分为第二语言学习者的发音练习。这个对话系统允许学生练习英语口语在线英语学习,促进交流。语音质量评价的研究在中国自动化研究所、清华大学、微软亚洲研究院等机构开展相关内容的研究,取得了良好的效果。调用的核心是高精度的语音识别是语音评价的重要基础。DTW,嗯,安是经典的主流方法,每种方法都有其优点和缺点。

近年来,DL的发展(3)、双相障碍(4),有条件现金转移支付(5)和质量评估技术取得了快速的进步。DL起源于领域毫升(6),旨在建立和模拟人类大脑的深层神经网络(款)进行分析和学习。款可以多层深传输数据通过人类大脑神经元。因此,学习英语SRT基于DL可以极大地提高声音方面的能力,提高获取信息,提高用户体验。

目前,随着国际市场的兴起,高校英语口语的培训不断加强。因此,口语的研究中遇到以下问题:大多数人仍然选择语言应答器和MP3播放器,学习英语口语。然而,这些方法可以进行语音识别,他们是有限的语音查询和跟踪功能。另外,受制于技术因素,国内外一些电话系统主要专注于单词的学习等等。评价指标作为评价,可以给一个精确的分数。受限于自己的水平是不够的,对于他们很难发现自己的错误并纠正他们的总分1分。口试评价而言,当前的口语测试仍然是基于主观的将强,不同的标准,和缓慢的手动评分。由于评分专家的不同的经历,不同的状态相同的专家评估相同的声音会有偏见。英语语音识别系统模型构建本文主要使用深层神经网络语音识别可以自动识别语音。

为了解决这些不足,DL选择应用程序,和语音识别模型构建了基于DBN (7]。语音质量已得到改进,和一个合理的语音质量评价模型建立了考虑多参数指标及其权重如语音语调,声音速度、节奏和音调。最初的成就的研究可以应用于人机交互英语口语的学习和培训。它能给学习者更直观的和有用的评估,提供建议,给错误的发音。它可以快速引导和激发学习者学习英语。结果在英语口语教学中有助于解决这些问题。此外,STR可以改善英语语音的发音方面的言论传播,和收集的原因也更加清晰。每个音节的发音在英语中可以清楚地收集,和言论的音质和音色可以保证在传输的过程中。

2。语音信号的预处理和特征提取

2.1。SRT的基本原则

SRT是其中最流行的文本标题,因为它简单的规范可以轻松地创建和修改。老的目的(8是解码功能流语音识别和获得相应的词序列 ,找到 。它包括以下主要模块:特征提取、声学模型,语音字典、语言模型。一般来说,很难直接通过搜索最优词序列的特性,所以转换是基于贝叶斯标准。 在哪里 生成声学特征吗对于一个给定的单词序列 ,这是声学模型需要估计的概率。在识别模型,如果需要识别和提取,语音特征识别程序需要输入到系统完成特征提取。是观察到的单词序列,这是由语言模型要解决的问题,和语音识别系统的建设是转化成模块化的声学建模,建模语言,单词序列解码,等等。传统的语音识别框架如图1。(1)SSP AFE: SSP (9)需要进行预处理,提取特征参数。一般来说,特征提取的过程是独立于训练的识别模型和系统的测试。根据以往的研究经验,特征参数提取的言论可以通过一系列的数学过程完成。常见的语音特征参数是线性预测倒谱系数和MFCC。MFCC参数模拟人耳的听觉特性。在大多数情况下,MFCC是最常用的。(2)声学模型(10):嗯是一个非常受欢迎的语音识别的声学模型。状态跳转模型符合语音信号的短期稳定,所以唔可以连续语音信号模型。在GMM-HMM模型中,观察序列的概率是GMM的输出,然后观察序列的可能性程度得到嗯,然后,最优序列路径是通过解码算法。随着研究的不断深入研究,我们也用款和嗯声学模型,在这款代替GMM观察生成的概率特征,嗯是用来描述语音信号的动态特性。模型已被证明是可行的,广泛应用于语音识别系统。(3)语言模型(11]:M-Gram是在语音识别研究中最常用的。语言模型基于RNN语言模型RNNLM逐渐引入语音识别。这个模型可以模拟悠久的历史信息,具有更好的性能与语法。然而,在大词汇量语音识别任务,用RNNLM代替语法会增加,因为计算时间,整个系统的识别效率会降低。(4)解码搜索:分数后的声学模型是通过声学模型,语言模型结合相关算法得到最终的识别序列。例如,维算法是用来解码HMM系统,还和其他一些模型使用聚类搜索来获得最优序列。

2.2。语音信号的预处理

在语音信号预处理之前,它必须preweighted、框架、窗口、端点检测。这样做是为了消除谐波的影响在语音信号的质量,这是由于人类语言器官。SP影响演讲的效果,但是一个流畅的语音信号可以提供更好的参数。提高声音质量可以解决覆盖问题通过减少干扰因素,提高硬件的质量。

2.3。语音特征参数的识别

语音识别技术或功能,使一个程序或系统来处理人类语言。它主要用来把口语转化为计算机文本。语音识别的目的是让机器终于理解人类语言的口语自然,声音的形式在计算机的数字信号。很明显,将数字信号直接理解的计算机将使整个模型计算巨大。声音信号转换为维度,可以减少语音的特征参数,同时,确保最大限度的保留有用的信息。语音功能有更好的识别特征,方便语音识别系统的建模,对环境有一定的抗干扰能力。MFCC (12)是一个倒频谱特性参数基于临界频带中提取人耳的效果。在许多研究中,MFCC参数及其差异通常是用来模拟语音识别任务。

图2描述了MFCC特征参数的提取结构。完整的演讲分为相等的长度和相邻帧的框架。为了使重叠的部分相邻帧信号平稳过渡,汉明窗函数用于窗口信号。然后,使用快速傅里叶变换变换。然后,梅尔三角形滤波器是用来计算信号,然后,对数的梅尔的频谱信号。最后,通过DCT MFCC参数。MFCC参数反映语言的静态特征。通常,在得到MFCC参数的动态变化的言论被计算的区别,描述和识别系统的性能提高了结合静态和动态方法。例如,MFCC可以获得演讲的时间长度,然后把它分成N语音段的识别根据演讲的长度。

3所示。研究语音识别模型

3.1。神经网络的概念

神经网络(13)可以被视为仿生因为神经网络设计是根据人类的大脑神经计算和决策的功能。神经网络主要用于分类器。神经网络计算一层一层地根据输入特征量,最后输出信号识别。学习神经网络本身具有的功能。在训练阶段,它可以学习不同的独特的特征根据训练样本和样本进行记忆;在测试样品,当遇到类似的样品,它可以区分样本的类型根据“内存”,所以神经网络需要大量的完整的样品,并能正确识别新样品通过不断学习和记忆。它可以改善神经网络的泛化。在学习的过程中,如果训练样本是不够的,它将导致underfitting,实际的分类效果会很差。如果训练样本是单身或训练过度,过度拟合。过度拟合网络训练样本的识别率高,性能优良,测试样本的识别率较低。

不同类型的神经网络有不同的应用场景。常见的神经网络包括BP神经网络(14),卷积神经网络(15),小波神经网络(16),径向基网络(17),和自组织神经网络(18),其中BP神经网络主要是分类;卷积神经网络主要用于图像识别。尽管神经网络广泛应用于工程,如指纹识别,人脸识别,身体和生物识别,它仍然无法讨论具体学习逻辑理论,如如何学习和记忆体重或根据某些函数值变化和如何提高神经网络的隐藏层的数量。在工程中,神经网络的参数主要是调整,最好的方法是由根据识别的结果。与工程复杂性的增加,将会有越来越多的相关参数,和相关的参数调整的任务将会逐渐增加。

人工神经元(19可以通过以下公式表示:

在这里, 代表了神经元的输入;代表了连接强度(连接重量)我th输入;神经元的偏见;是神经元。因此,对于人工神经元是一个多输入非线性结构。

3.2。BP神经网络

人工神经网络,也被称为神经网络,是一种基于生物神经网络的数据处理模型,为计算和改变其结构根据外部信息,主要是通过调整网络训练输入数据和模型的重量,所以它有能力最终解决实际问题。

目前,各种神经网络模型提出了在学术领域,包括径向基函数网络(20.],Hopfield网络[21),不需小脑模型(22),而BP神经网络。本文研究BP神经网络。BP神经网络通常是多层,中长期规划和另一个相关概念是,多个隐藏层。中长期规划强调了神经网络的结构,而BP神经网络采用BP算法调整网络体重在一个多层网络的前提下。在大多数情况下,他们通常指的是同一个网络。

3.3。深度学习神经网络

深层神经网络被定义为与多层感知器(MLP),通常是大于2。图3描绘了一个神经网络的一个输入层、一个输出层,和三个隐藏层。神经元相邻层之间连接的重量。通过输入 ,重量 ,和偏差这一层,下一层的输入可以通过使用激活函数。

误差反向传播(BP)方法是深层神经网络。通过计算每个重量的偏导数和损失函数的偏差,每个参数的下降梯度,然后更新参数的梯度。

深度神经网络可以在许多不同的方式由不同隐层结构元素和相邻层之间不同的连接方式。在语音识别任务,RNN及其变体CBLSTM取得了良好的业绩,并已经广泛使用。

RNN连接前馈神经网络的隐层的元素。当计算隐层节点的输出,其计算结果依赖于前一个节点的计算结果。图3描述了RNN结构:

隐藏层RNN self-connected扩大隐藏层。和分别连接输出层和隐层。所有节点共享的连接权值。当前节点的输入,即特征参数向量获得当前语音信号帧,隐藏层的计算公式和输出如下:

隐藏层self-connection RNN的优点是通过扩展,网络可以获得任何长度的序列。此外,不同的演讲长度不一致。它提供了一个非常灵活的语音信号的输入模型通过使用隐藏层self-connection RNN的。

3.4。研究基于DBN的语音识别

深的核心信念网络是一层贪婪的学习算法,然后使用反向传播算法来调整网络网络模型得到更好的性能。实验结果表明,多层感知器的重量初始化对应于这个网络模型。

深玻耳兹曼机(DBMs)可以通过使用一个无监督贪婪的分层技术方法。如图4(即。,the Bayesian belief network does not connect the layers between nodes) to approach the visual layer, layer by layer error propagation, and contain the farthest part used from the visual layer, we can obtain the deep belief network speech recognition model (DBN). In essence, RBM training can obtain the global optimal initial parameters, so as to improve the network performance [23,24]。

3.5。语音识别的内容

如图5首先,语音模拟信号数字化,声音信号收集的个人电脑的声卡。根据奈奎斯特采样定理,在模拟/数字信号转换的过程中,当采样频率大于最高频率的两倍在信号,得到以下公式:

采样的数字信号可以在演讲中充分表达信息。正常的语言通常是50∼5000赫兹,和本文设置采样B kHz包括preweighting和窗口。预处理语音信号采集。识别的语音功能,可以识别模型包括听觉特性,因为语言的最终目的是被人类听,和语言也有特定的音色特点。最后,选择语音功能是被设计的语音识别模型。

4所示。多参数评价发音质量

4.1。过程评估的发音质量

法官的声音质量分为主观评价和客观评价,如图6。

客观评价是主观评价的预测和评估,因此主观评价的准确性直接影响性能的客观评价。只有当专家评估测试语音的语音质量真正的和可靠的,在此基础上,进行机器的评价,客观评价更有意义。为了得到一个真正的和可靠的专家评分,有必要建立一个适当的语音质量评价标准根据应用程序需求。

根据不同的情况下,本文使用两种客观评分的方法来计算分数。(1)二次曲线拟合方法主要用于单个语音功能的验证实验。具体过程如下:目标之间的距离计算训练样本和言论的引用是使用语言的训练样本库,然后,计算了二次拟合曲线的参数使用曲线拟合方法根据最小方差的原则。根据二次拟合曲线的参数,主观和客观的映射进行测试,和相应的客观失真测量之间的关系和主观评估金属氧化物半导体。 在哪里a, b, C二次拟合曲线的参数是通过培训,是目标距离值,是MOS主观评分的客观估计得到的二次拟合曲线,然后呢变形条件的总数。(2)BP计分法主要针对本文的综合评价系统,也就是说,使用BP算法来计算测试演讲的目标分数。

4.2。质量评价指标

近年来,中国英语学习者的总体水平的一项重大突破发音,尤其是单音节的发音的(vowel-consonant),如后面的元音和改变。这主要是由于该国的投资在教育资源和英语学习者的热情。因此,对大多数英语学习者来说,他们可以更好的掌握英语单词的发音。但在现实生活中,句子的节奏的关键是英语流利。许多学习者遇到瓶颈后掌握单个的发音听起来,因为他们发现他们可以发音听起来很标准,但仍能表达英语的中国味道。这个群体不仅包括初学者也很多中级学习者,英语专业,甚至一些人使用英语很长时间了。在一个句子,韵律是一个非常重要的因素。每一种语言都有自己的韵律。

语音质量的评价主要包括语音语调、语音长度和声音的节奏。在评价的过程中,音素和单词主要是评估的语调。句子和段落不仅要检查发音本身的内容也确定句子的真正意义在很大程度上。句子和段落的发音质量评价时,我们需要考虑韵律信息全面,如演讲者是否能更准确地把握句子的关键信息,句子是否不重要,声音的长度是否合适。换句话说,当评估英语句子的语音质量,良好的语音质量不仅需要完成,没有发音错误但也需要说话速度,口音,和准确性。因此,本文运用语调和韵律来评估质量的演讲。

从语言学的角度来看,韵律,也称为节奏,指的是组织的音素高于段的水平。它是一个系统的组织,组织各种语言单位在话语话语或相关的块。韵律的实现不仅可以传达语言信息,还副语言的和非语言的信息(包括重点、重点短语分组),以及情感、态度,词汇歧视,和其他功能。因此,英语发音的质量密切相关,其节奏。

韵律特征,也被称为超音段特征,主要指的是速度,节奏,和语调等组成的动态模式,强度和持续时间。本文运用演讲速度评价和成对变异频率基本语调评价和指导英语演讲质量。

4.3。评价模型的多参数的发音质量

不同群体(比如大学生和商人)有不同的要求,学习英语口语。根据评估的语音语调、速度、节奏、语调,和其他质量指标达到通过英语口语的大学生为研究对象,综合分析各种指标。综合素质评价,应该考虑每个索引的重量之间的关系,以及多参数评价模型和方法,建立大学生英语发音质量评价发音质量合理和客观。

4.4。演讲评价实验

演讲评价实验的目的是验证英语演讲的性能质量评价模型和方法。摘要一致性比率和PCC是用来表达手动评估。

一致性比率是指样本大小的比例,这是符合机器评价和非自动的评估。具体计算方法如下:

邻一致性比率之间的比率是手动评估和相邻样本和总样本的总和,“相邻”的定义是一个级别的区别机器评价和人工评价。具体计算方法如下:

两个变量,这是表达的 ,两个变量之间的线性相关,值范围是什么 。绝对值越大,相关性越强。一般来说, 表示很弱相关, 表示很弱相关, 表明中等相关, 显示很强的相关性 显示很强的相关性。具体计算方法如下:

5。实验仿真结果和分析

5.1。可靠性分析的人机语音质量的评价

从图可以看出7偏差的样本数量的手动评级和机器的测试集在每个分数部分保存在一个合理的范围。作为一个整体,这个分布的评级模式样本符合一般测试的性能分布特征,并从数据分布和数据量,机器评级满足试验的一般要求评级。然而,从微观的角度来看,手动评级和机器评级仍有不同之处。手动评级较高的分数,和机器评级将“严格”。

5.2。语音识别实验结果的分析

与其他模型相比,本文使用了西班牙的阿拉伯数字,其中包括8800年阿拉伯数字语音数据(88人10阿拉伯数字语音发音,每个数字重复10次)。6600发音的第一个66受试者作为训练集,和2200年发音最后的22名受试者作为测试集。实验软件matlab82013a。

同样的UCI机器学习知识库,阿拉伯语口语数字数据集合,Nacereddine Hammami,一种新的模式模式树的分布(TDA-GTS)基于树结构和模式树分布的一种新模式(TDA-MWST)提出了基于再生树结构。与传统的CDHMM CDHMM相比,识别效果改善。黄Wentao提出了最小KASWT重量值,并与BP_Adaboost算法相比,其识别效果显著提高。

从图可以看出8,DBN模型的识别率为97.32%,这比上面的模型。因此,本文建立的DBN是合理的和有效的,可以进一步用于语音质量评价。

5.3。人工评价实验

为了便于计算,根据描述的方法,获得240年的成绩报表后10个句子的24名学生,分数与人工评价如表所示1和图9。

总共得到了210个样本,包括34个一级样品,2二级样本,0第三级样品。结果表明,机器和人工的符合率是87.63%,和相邻的符合率为99.79%。

率评价方面的演讲,我有185个样本和手动评估,48个样品一年级不一样,也没有样品的二或三年级差异;这表明一致性的机器和人工语音率评估是83.21%,邻一致性率高达99.99%,皮尔森系数是0.527,这表明,演讲摘要EM是可信的。

方面的结果,有212个样本在同一水平,31日样本在第一个层面上,4样品在第二个层次,没有第三个层次的差异。结果表明,机器和人工的一致性比率是86.89%,相邻的一致性比率是98.63%,皮尔森系数是0.556。

在语调方面,有184个样本相同级别的我和手动评估、39样品与第一水平是不一样的,只有3样本与第二层次是不一样的,也没有样品的第三个层次是不一样的。这表明机器和手工语调评价的一致性比率是81.36%,和相邻的一致性比率高达99.12%。结果表明,语调评价方法是非常重要的。

总之,评价方法的语调,节奏,语调采用本文是可靠的和可以进一步应用于英语演讲的建设质量评估模型。

5.4。测试结果的评价模型

本文评估250句11句子的25个学生。实验结果如图所示10。机器有200个样本的评价和人工评价相同的级别,28个样本1级,2级和3级之间没有区别(见表2)为特定的数据。

根据表2语调是最重要的,其次是节奏和语调,速度是最重要的。在获得上述实验结果,我们与发音专家进一步沟通讨论的可靠性提出了多参数语音质量评价模型。专家认为,语调是最重要的指标来评估英语发音的质量,这就需要准确的内容,和发音错误主要表现说话者的感情色彩,提高声音的旋律,使声音更接近生活的现实。

6。结论

基于中国经济的全球化,英语已经成为一种流行的语言。然而,由于中国口音英语被认为是“中式英语。“然而,传统的语音识别算法DTW,嗯,和安是不够全面的,因为这些语音识别模型忽略语音质量会在传输过程中损坏。因为大多数计算机辅助语言学习系统在国内外关注语法和单词的积累,发音的重要性被忽略,发音缺乏评价指标作为评价的基础,以便更好的纠正学生的发音,提高口语技巧。此外,传统的口语测试有很强的主观意志,只是基于手动评分,因此它不能被公平。针对各种问题,本文加强传统的语音识别技术需要考虑许多因素如语调,语调、速度和节奏,进一步改进传统的语音识别技术的缺陷。摘要表,它可以清楚地得出结论,可以考虑多参数的发音质量评价,可以给学生准确、有效、客观的评价和指导,提高学习者的英语口语学习效果,实现一个质的飞跃[25]。

数据可用性

没有数据被用来支持本研究。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的科研促进教学的主题的信阳农业和林业大学(没有。kj - 2021038)。