文摘

检测的过程语言音频剪辑的一个不知名的演讲者,不管性别,说话的口气,和不同的年龄议长,被定义为口语识别(下跌)。相当大的任务是识别的特征可以区分语言清晰和有效的。模型使用的音频文件,并将这些文件转换成光谱图图像。它应用卷积神经网络(CNN)将主要属性或特征来检测输出。的主要目的是检测语言,英语,法语,西班牙语,德语,爱沙尼亚,泰米尔语、普通话、土耳其语、汉语、阿拉伯语、北印度语,印度尼西亚语,葡萄牙语,日语,拉丁文,荷兰语,葡萄牙语,Pushto,罗马尼亚、朝鲜、俄罗斯、瑞典语,泰米尔语、泰语和乌尔都语。进行了一个实验在不同的音频文件使用Kaggle数据集命名口语识别。这些音频文件组成的话语,他们每个人横跨在一个固定的持续时间10秒。整个数据集分为训练集和测试集。预备的结果给出一个整体精度98%。广泛的和准确的测试显示88%的整体精度。

1。介绍

口语识别(滑)是认识到语言被匿名演讲者演讲的音频剪辑。人类是最错误的语言识别系统(1]。有多种实现口语识别创建多语言语音识别前端系统、自动客户路由呼叫中心、监控、和web信息检索(2]。滑系统有三个主要部分,数据收集、删除功能,和语言的分类,如图1。开发和评估一个语音识别系统的一个重要的可访问性是一个合适的数据库(3]。

提出了不同的方法来找出问题的自动语言识别的声学语音学的方法(1,4]。鼓励在深度学习领域有授权人员使用甘斯语言识别鲁棒性的无监督和semisupervised任务(5]。支持向量机(SVM)分类器上不适合简短的话语,让更少的准确性(6]。传统语言识别系统支持矢量i系统处理任务,这是效率低下(7]。

解决上面提到的问题,log-Mel光谱用于生成的声音(音频片段,可以记录或存储特定的音频发音的频率。有效的和快速的,此外,我们可以应用卷积神经网络(CNN)技术对不同的语言进行分类。这项工作已经完成了利用光谱技术使用深度学习作者[8]。许多研究人员正致力于图像使用深度学习创作和图像识别技术,让好的结果和更好的准确性在2 d (9,10d (2.5),11),和3 d (12,13域。有一个挑战与不同性别识别口语,其他年龄段,各种口音。在背景噪声的音频剪辑,所以很难识别语言。深度学习CNN技术提出了画出属性。图2显示的各个阶段提出了口语识别框架。预测是由一个模型,它可以很容易地识别分类在拟议的框架。1小说深上优于模型提出了应用卷积神经网络(CNN)画出从图像属性。2该模型分析了不同深度学习和机器学习技术在四个数据集。3该方法不同于其他先进的方法对各种评价指标和显示了与不同的技术。

形成工作如下:部分2代表了一个探险的口语识别使用CNN的概念。部分3讨论过去的研究在语言识别领域。部分4讨论了模型的体系结构原始波形和log-Mel声谱图图像。部分5代表了实验结果。节6、后果和结果进行了讨论。最后,部分7总结了纸。

2。背景

本节讨论的初步概念口语识别使用CNN,谱图和多项朴素贝叶斯。

2.1。口语识别使用CNN

口语的过程识别使用CNN技术使用原始音频信号的谱图作为输入一个卷积神经网络(CNN) (8,14]。口语识别数据收集和预处理的训练阶段。我们的主要重点是预处理,转换音频话语在光谱图图像。在那之后,切块入数据训练和测试阶段。此外,我们应用CNN来提取特征。培训完成后,测试数据集用于验证。基于模型的预测精度计算性能验证阶段。

2.2。代的光谱图

表示频率的谱图是指在图像所包含的一个信号。从时间序列信号的频率产生的信号数据点使用快速傅里叶变换(FFT)。快速傅里叶变换(FFT)可以投入时间序列数据来计算频率的大小固定的时刻。时间序列数据的过程是第一个窗口的,通常在小块,和FFT数据保存在一起,形成光谱图图像,使我们看到频率提高速度。

自从工作产生声音(音频剪辑或话语的数据,那么数据再生成梅尔·色,称为色图像。的转换频率f赫兹类型米梅尔·图所示3和4:

2.3。伯努利朴素贝叶斯

伯努利朴素贝叶斯伯努利分布使用离散数据和它的工作原理。伯努利朴素贝叶斯的主要特征是,它只接受特性等二进制值或真或假,是或否,0和1,成功或失败,等等。当他们处理二进制值,让我们考虑的p”和“成功的概率问”失败的可能性问= 1−p为一个随机变量的X在伯努利分布: 在哪里的x以二进制形式”是0或1。伯努利机器学习朴素贝叶斯分类器是基于

3所示。相关工作

文献[15提出了一种基于深度学习口语识别系统。它结合了款,我向量来提高效率。每一个隐层与ReLU函数包含2560个神经元。他们使用将softmax激活函数在最后一层。它比较和款我向量在两个不同的数据集:LRE′09年和谷歌5米盖语料库。这两种方法,他们未能达到良好的结果。他们也比较性能与平等的错误率(曾经),在那里他们平均有9.58%使用款模型。文献[16)提出了一个方法,可以提高泛化识别短位语言使用三重态熵损失在CNN的帮助;他们结合熵损失(移动电话)和三联体损失通过他们推广使用它的数据和斯拉夫语言。他们使用ResNet50 pretrained模型和使用将softmax函数在最后层。它使用一个亚当优化器的学习速率(LR) 10的军医,使用32的批量大小,ridge-based正规化,以减少过度拟合。他们所取得的最高精度在78%使用三联体的损失。他们三个一组损失比叉熵损失,但他们未能实现良好的性能。

文献[17)提出了一个无监督neural-based模型可以用于口语识别和可以减少分布方差属性和分类器的训练和测试数据集。它提出了最优运输(OT)方法测量的分布差异。时间延迟神经网络(TDNN)框架是用来确定训练集和测试集改编的。文献[18)提出了一个深层神经网络模式识别的斯拉夫语言或语言是相似的。他们创建了模型与两个参数:段水平特征提取器和语言分类器。模型使用CNN与128、256和512年过滤器有5、10和10在每一层每一层1步。他们使用两种技术,基线盖子和健壮的盖子。在基线盖子,他们得到了53.25平均精度,在强劲的盖子,他们得了87.32平均精度。文献[19)提出了一个框架,结合使用CTC CNN和LSTM系统损失函数训练模型。在这方面,音频剪辑转换成声音,进一步CNN应用于提取特征,并进一步LSTM从先前的层用于存储数据。语音信号是在16千赫采样窗口大小200 ms,和窗口与100 ms的步伐。该方法给出了精度在74%到76%之间。

文献[20.)提出了一个胶囊识别语言识别系统的网络框架。在CapsNet卷积层共有128内核的大小(9,9日1)和步长为1 ReLU函数。它把CapsNet分成两部分:编码器和译码器。第一个4层代表了编码器,过去的3层代表了译码器。他们的准确性达到91.80%和5秒钟使用CapsNet音频片段的方法。文献[21)提出了各种特征选择方法如前k选择、提出了特征选择和消除递归特性,因此该模型能有效地工作。在第一阶段,完成预处理,消除了标点符号、表情符号、链接、标签、url,然后删除不重要单词停止使用英语单词,然后删除冗余数据的数据集。top-k特性方法执行;与其他方法相比它选择550特性。文献[22)提出了一种递归神经网络传感器(RNN-T)语音识别和语言识别。他们用两种语言对:英English-Hindi。编码器LSTM RNN-T框架使用5层1024单元和2解码器LSTM层1024户;512 - d嵌入层被用作译码器的输入。离散裂缝网络(DFN)有512个隐藏的神经元,连同双曲正切和softmax功能。

文献[23)提出了一个技术,将与声学水平表示与嵌入在自动语音识别,使错误率减少50%。他们用64 - d log-Mel特征提取器培训25 ms窗口10 ms的重叠。第一个3 LSTM层组成768单位,进一步传递给俱乐部的所有数据层和softmax功能。最后,他们用semisupervised技术来提高模型的精度和良好的结果。文献[24)提出了语言识别信号相结合的方法。他们使用了深度学习模型结合的信号识别器和基线,它使用低级的声信号。它有助于减少出错率从5.50%提高到4.30%。他们有11个不同的模型和使用ReLU工作,辍学,亚当,批处理规范化,以及各种其他属性得到好的结果。文献[25)提出了一个系统的声学模型和上下文感知模型。他们创建了模型与卷积4层128户,4层完全连接1024台,1完全连接层512户,1时间池层平均值和标准偏差,与1024台1完全连接层,最后softmax函数是使用单位1。在这个框架下,他们有97.0%的准确率。文献[5)提出了一个条件甘斯分类器框架语言识别、选择甘斯是一个更好的选择在大型数据集,给出了很好的结果。2×2用于穿孔upsampling 5×5 Conv。1,双曲正切,和一个输出(49)双曲正切。在这个框架下,他们已经达到了97%的准确率。表1总结了以往的研究,特性,正如上面所讨论的结果。

4所示。提出了口语识别框架

本节讨论的动机和口语识别框架。

4.1。动机

各种先进的结果取得了各种音频分类任务通过使用log-Mel谱图的原始音频、特性等音频话语转换成图像(8]。CNN给一个优秀的性能在这些特性分类(14]。工作的动力来自这些研究。计算时间为音频转换成多光谱图像,给我们一个新的方向发展计算效率和更准确的语音识别技术。

4.2。提出了口语识别框架

提出基于深度学习口语识别框架:这个框架在设计、音频话语转换成声音(基于他们的频率和时间。在这之后,一个卷积神经网络(CNN)应用于图像提取的特征分类。最后,将softmax激活函数是申请multilanguag分类。

4.3。预处理

在预处理阶段,数据增加用于解决类不平衡问题。数据增加减少过度拟合,作为规范当训练模型。数据的帮助下,它可以通过添加一些修改的数据量增加现有数据的作物,旋转,翻转,剪切等效果。增加数据的使用是好的在使用转移学习模型适用于更多的数据和预测效果很好。

4.4。描述的功能

每个音频的时间是10秒(大幅)采样率为22050,16位的位深度,和通道1,每个音频文件是一个免费的无损音频编解码器(FLAC)音频样本。数据集分为两个目录:火车,它包含(73080)样品,然后呢测试中,它包含(540)样品,用三种语言英语,德语,西班牙语。一些音频转换应用,如音高、速度、和噪音。它包含90原始扬声器的男性和女性的声音。

4.5。模型描述

在模型中描述,它描述了框架的所有模型实验目的:一)一个适当的池层总是遵循每一个回旋的层。它有助于包括属性和不断的爆炸模型小而高效。b)每个卷积一层一层是紧随其后的是辍学,ReLU,批处理规范化。批处理标准化负责学习的收敛表示。c)最后,使用致密层,它作为模型的输出层。

4.6。模型特点:2 d事先

表2提出了一种具体的逐层hyperparameters解释模型的不同。

4.7。模型特点:字嵌入

表3提出了一种分层技术的解释模型和hyperparameters的细节。

上面的字嵌入模型是由Keras pretrained模型用于语言识别的实验。第一步是下载停止使用nltk图书馆;数据集之后,有22种语言像阿拉伯语,中文,荷兰语,英语,爱沙尼亚,法国、印度语、印度尼西亚、日本、罗马尼亚、朝鲜,拉丁文,波斯,葡萄牙语,Pushto,俄语,土耳其语,瑞典语,泰米尔语、泰语、乌尔都语和西班牙语。每一种语言都包含1000行数据集。在完成预处理,然后进一步将数据分为训练和测试集。然后,字嵌入模型应用于数据集在输出层;softmax因为有22类使用。这个模型,实现精度为95%。

4.8。朴素贝叶斯模型细节:伯努利方程

这种方法使用了伯努利朴素贝叶斯机器学习技术来识别语言从一个给定的数据集。在一个预处理步骤中,所有的数据首先被分成X和Y然后使用一个标签编码数据编码器图书馆。后,执行数据清理所有的句子转换成小写。朴素贝叶斯方法应用,需要29.7秒适应模型和给了我93.0%的准确率。表4使用朴素贝叶斯显示了执行的指标。

5。实验结果和讨论

本节包含结果和讨论不同的技术。所有的细节关于使用数据集,hyperparameter设置评价指标,计算时间的分析提出不同的方法。

5.1。数据集

实验不同的技术是使用四个数据集,实现口语识别(30.)、语言识别数据集(31日],常见的声音Kaggle [32),Mozilla共同语音数据集(33),表中描述5。

口语识别(30.]数据集包括73080 540训练样本和测试样本与三种语言:英语,德语,西班牙语。它包含男性和女性的录音。音频文件有自由无损音频编解码器(FLAC)扩展。语言识别(31日]数据集包括22000个训练样本22语言:阿拉伯语,中文,荷兰语,英语,爱沙尼亚,法国、印度语、印度尼西亚、日本、韩国、拉丁文,波斯,葡萄牙语,Pushto,罗马尼亚,俄罗斯,西班牙,瑞典语,泰米尔语、泰国、土耳其和乌尔都语。所有数据都存储在一个CSV文件,1000行/语言。常见的声音Kaggle [32]数据集包含354785音频样本,进一步分为六个文件夹有16个主要语言:美国英语、澳大利亚英语,英国英语,加拿大英语,菲律宾,香港英语、印度和南亚,爱尔兰英语,马来西亚英语、新西兰英语、苏格兰英语,新加坡英语,南大西洋,南非,威尔士英语、西印度群岛、百慕大群岛;所有语言都是存储为mp3文件。它包含男性和女性的录音。Mozilla常见的声音(33]数据集包含四种语言,爱沙尼亚语、泰米尔语、土耳其语、普通话,检查模型的鲁棒性。它包括23842份音频样本,进一步分为训练样本和测试样本。它包含男性和女性的录音。这个数据集可用于音频剪辑和TSV文件。

5.2。Hyperparameter细节

该方法的属性表表示6。试验和错误的方法是在运行使用卷积神经网络(8,14),字嵌入Keras [34,35),和朴素贝叶斯36- - - - - -38]。选择hyperparameter也定义为一个np完全问题[39,40]。有效的选择hyperparameters可以实现更好的结果(41,42]。在CNN,时代将是60,和批量的大小是32 ReLU作为激活函数。辍学(43,44亚当优化器使用。在输出层,将softmax函数(45使用)。在字(词)嵌入,Keras pretrained模型。使用它的时代是25,和分类熵损失与亚当优化应用。伯努利伯努利朴素贝叶斯分类器是用核函数实现。

5.3。绩效评价指标

评价指标用于实验检查模型的性能。精密,召回,F1的分数和精度如表所示7。

接受者操作特征(ROC)曲线是一个图表示分类模型在不同分类阈值。这些曲线绘制ROC的两个参数或属性:假阳性率(玻璃钢)和真阳性率(TPR)。

在图5,语言识别的多级ROC曲线。这个口语识别Kaggle数据集包含三种语言:德语,英语,西班牙语。同样,ROC曲线也都是这样的语言识别Kaggle数据集,其中包含22个语言:英语,阿拉伯语,法语,印地语,乌尔都语,葡萄牙语,波斯语,Pushto,西班牙语,韩语,泰米尔语、土耳其语、爱沙尼亚、俄罗斯、罗马尼亚、中国、瑞典语,拉丁语,德语,荷兰语,日本和泰国。

6。结果与讨论

提出工作讨论各种方法达到最先进的结果用四个不同的数据集音频、和第一集包含三种语言,第二个数据集包括22种语言,和第三数据集包含16种语言。所有可用Kaggle Mozilla和第四常见的语音数据集包含四个语言和Mozilla网站上是可用的。在图像域,二维卷积神经网络获得98%的准确性。CSV文件的另一个数据集,字嵌入使用pretrained模型获得95%的准确性。与伯努利朴素贝叶斯方法,我们获得了93%的准确率22-language数据集。使用支持向量机和随机森林分类器模型实现82.88%和72.42%的准确率16-language数据集。

6.1。错误分类

世界上各种语言属于印度波斯和欧洲的家庭。在这个群,语言是分为三个部分:日耳曼,浪漫,和斯拉夫。我们的模型把这些语言和相同的单词;例如,“猫”这个词在英语,法语“用”字,“凯特”字在荷兰,和“强烈”,德国都有相同的声音和发音;因此,它是非常困难的对于一个模型来理解。我们的模型混淆俄罗斯(俄文)和法国(Fr),因为他们有类似的口音;许多单词都采用从法国到俄罗斯,所以很难给出准确的结果。

6.2。分类模型的性能:混淆矩阵

在本节中,模型显示在图的性能6,使用一个多级分类混淆矩阵代表三个类的英语,西班牙语,德语。预计在这个矩阵,对角元素一样的真正价值而nondiagonal元素没有适当分类的模型。在x设在有真正的标签,以及y设在,预测标签。

在图6,语言识别的多级混淆矩阵口语识别Kaggle数据集,它包含三种语言:德语,英语,西班牙语。同样,混淆矩阵也都是这样的语言识别Kaggle数据集,其中包括22种语言:英语,阿拉伯语,法语,印地语,乌尔都语,葡萄牙语,波斯语,Pushto,西班牙语,韩语,泰米尔语、土耳其语、爱沙尼亚、俄罗斯、罗马尼亚、中国、瑞典语,拉丁语,德语,荷兰语,日本和泰国。

6.3。绩效评估

表8代表各种口语识别技术的性能比较使用CNN,朴素贝叶斯、字嵌入,支持向量机,逻辑回归,VGG16, ResNet50,随机森林分类器。口语识别包含三种语言训练和测试文件夹包括音频剪辑的不同的语言。使用CNN,获得的精度100%,效果很好和更好的实现更好的精度,召回,F1的分数。语言识别数据集包含22个语言一个CSV文件中包含多个句子的语言。通过使用朴素贝叶斯和字嵌入技术,94%和95%,但获得的精度比CNN技术效率较低。共同的声音Kaggle数据集包含16种语言使用SVM和随机森林分类器技术。精度达到82.88%和72.42%,这已经足够好了。Mozilla常见语音数据集包含四个语言使用VGG16和逻辑回归技术。获得的精度是81.30%和84.30,效果很好。

6.4。收敛性培训和验证

本节主要是使用各种优化训练和验证模型精度比较。在图7(a), RMSprop优化器和五个时代给好的结果。在图7(b),使用纳丹优化器与五世及其性能和相对于其他优化器不太好。在图7(c),使用一个SGD优化器与五世和性能比纳丹优化器更好一点。在图7亚当(d),使用优化器和五个时期表现的也不错,给好的结果。

7所示。结论和未来的范围

有两个领域的论文的贡献口语识别。首先,我们使用图像分类识别语言的深度学习架构从生成的图像从音频。强大的性能可以通过使用相对较短的文件用最小的预处理。我们相信,这个模型可以扩展到更多的语言,只要足够了。这种方法实现了98%,给我们好的结果的准确性。其次,我们利用伯努利朴素贝叶斯方法与22种语言。语言识别数据集需要多一点时间与CNN模型拟合数据。这种方法给了我们93%的准确性。进一步,我们另一种方法适用于这个数据集,通过Keras pretrained模型嵌入。这是一个比朴素贝叶斯更快和更准确一些。 This approach achieved an accuracy of 95%.

log-Mel色的性能可以通过删除另外精制从音频噪声。有可能改进的数据增加可用的数据使用不同的方法如音高变化,作物,旋转,翻转,添加随机噪声,和改变音频的速度,和各种各样的方法。这些帮助使神经网络更健壮的修改可能存在于真实世界的场景。通常会有进一步观察或检查的各种特征提取技术常q变换和快速傅里叶变换及其对语言识别的影响。这些都是具有对卷积神经网络的性能产生积极的影响。

数据可用性

的数据支持本研究的结果可按照客户要求定制。

的利益冲突

作者宣称没有利益冲突。

确认

作者想感谢塔伊夫大学的研究人员的支持(不支持项目。TURSP-2020/239),塔伊夫大学,塔伊夫,沙特阿拉伯。