基于移动电话音频宣布检测和识别对于听力障碍的人

文摘

自动语音通知系统广泛应用于公共场所,如交通工具和设施,医院,银行。然而,这些系统不能使用,有听力障碍的人。这给他们的生活带来很大的不便。摘要音频声明的方法检测和识别为听力受损的人提出了基于智能手机和手机应用程序(应用程序)是发展,以银行为主要应用场景。使用这个应用程序,用户可以注册系统警报数量,然后开始检测音频公告使用智能手机上的麦克风。对于每个音频公告发现,演讲在识别和文本是显示在屏幕上的电话。当用户输入数量,警报将由振动。音频宣布检测,方法基于音频段分类和后处理,提出了利用支持向量机分类器训练音频公告和环境噪声中收集的银行。公告语音识别,语音识别引擎使用GMM-HMM-based声学模型和开发一个基于有限状态传感器(置)语法。声学模型训练音频的演说中收集的银行,和语法是人为根据使用的模式自动语音通知系统。 Experimental results show that character error rates (CERs) around 5% can be achieved for the announcement speech, which shows feasibility of the proposed method and system.

1。介绍

声音是一种最自然和人类重要的通讯方式1]。发挥着越来越重要的作用,为我们的日常生活带来巨大便利。作为实例,自动语音通知系统广泛应用于公共场所如运输车辆和设施,医院,银行。例如,如今在中国,每一个客户在银行得到一些他/她的到来,等待他/她的服务,直到音频声明包含计数器的数量告诉他/她。然而,这些系统不能使用,有听力障碍的人。显然,这给他们的生活带来很大的不便。虽然有时音频声明访问通过短信通知显示在屏幕上,它仍然是不方便听力受损的人需要一直以来关注屏幕,这是累人的,可能导致信息的丢失。

公告还可用于听力受损的人,无线传感器网络或短信使系统是采用通过其他方法,而不是提供提醒的声音(2]。这些系统的缺点是额外的系统需要部署在应用程序场景中,这往往是困难和昂贵的。

在本文中,我们提出一个基于移动电话解决方案,避免了在公共场所部署额外的系统。手机上安装一个应用程序(app)可以自动检测和识别音频公告,提醒用户在手机振动和文本。系统中有两个主要挑战:检测的音频公告在音频中收集真实的公共场所和识别的语音音频公告检测。

音频检测的声明可以看作是基于内容的音频分类的任务,它本质上是模式识别的一个难题。音频分类主要有两个问题:音频特征的选择和分类器的选择3]。选择的特性,Pfeiffer et al。4)提出了一个理论框架,它使用一系列的知觉特性自动音频内容分析。李等人。5)研究了143音频特性的影响,表明cepstrum-based特性,比如Mel-frequency cepstral系数(MFCCs)和线性预测cepstral系数(LPCCs)比短期和光谱特性更有效的音频分类。基于特征融合(6和自适应方法7在音频分类]也有用。用于音频分类的分类器(8陆,et al。9使用支持向量机(SVM)分类音频分为五类:沉默,音乐,背景声音,纯粹的演讲者的声音,噪音和扬声器的声音或音乐,这是类似于杜鹃算法(10]。

自动语音识别(ASR)技术研究了几十年,在许多实际的应用程序使用。早些时候ASR系统隐马尔科夫模型(HMM)用于声学模型。近年来,深的应用神经网络(款)11)显著提高语音识别的准确性。神经网络如卷积神经网络(cnn) [12)和递归神经网络(RNNs) (13,14)使用,证明是有前途的15)和端到端语音识别方法(16,17(CTC)[]使用联结主义时间分类18和关注19,20.)也提出了进一步提高性能。据报道,尽管DNN-based方法优于HMM-based系统,需要大量的训练数据训练款。有关手机的应用程序,也有许多开放的云服务的语音识别。iFLYTEK,例如,在中国,百度Unisound,和其他公司提供方便的远程接口的语音识别手机上的应用程序可以调用。然而,这些服务主要关注语言通用域和低噪声环境和可能产生的演讲表现不佳等特殊场景远场音频公告在嘈杂的公共场所21,22]。

摘要音频声明的方法检测和识别为听力受损的人提出了基于智能手机和一个Android应用程序开发,以银行为主要应用场景。使用这个应用程序,用户可以注册系统警报数量,然后开始检测音频公告使用智能手机上的麦克风。对于每个音频公告发现,演讲在识别和文本是显示在屏幕上的电话。当用户输入数量,警报将由振动。音频宣布检测,方法基于音频段分类和后处理,提出了利用支持向量机分类器训练音频公告和环境噪声中收集的银行。公告语音识别,语音识别引擎使用GMM-HMM-based声学模型和开发一个基于有限状态传感器(置)语法。声学模型训练音频的演说中收集的银行,和语法是人为根据使用的模式自动语音通知系统。实验结果表明,角色错误率(cer)演说可以达到5%左右,显示了该方法的可行性和系统。

2。系统概述

摘要音频声明的方法检测和识别提出了听力受损的人。方法的基础上,我们开发了一个基于移动电话系统,即。,an Android app that can remind hearing-impaired people of audio announcements containing specified keywords, e.g., numbers. The current version of the app mainly focuses on the scenario of banks, although the proposed method can be used for almost all public places with audio announcements.

提出系统的框架如图1。用户接口接收用户输入关键字,例如,一个数字),开始监测关键字。在监测、状态信息显示,当检测到的关键字,用户界面通过振动将通知用户。关键字的监测是通过实时检测和识别的音频公告环境音频收集的手机。对于每个音频公告发现,执行关键字匹配文本之间的音频公告和用户输入的关键字来决定是否检测到关键字。

更详细的过程提出系统的流程图,如图所示2应用程序的屏幕截图和说明了在图3。开始启动应用程序后,用户设置关键字监控,通常他们被分配数量到达银行时,如图3(a)。然后,手机开始不断采集音频数据和存储数据缓冲池。同时,系统开始检测的音频公告使用缓冲区中的数据。每一次,固定大小的音频数据处理。如果检测到音频公告数据,包含的演说的音频数据输入到公告识别模块,这是一个语音识别引擎训练专门为音频公告。宣布识别模块将音频转换为文本,与指定关键字匹配的文本。如果匹配成功,振动将触发通知用户,如图3(c),考虑到匹配失败可能是由于错误的语音识别,监测期间,每个音频宣布发现的识别结果也显示在手机屏幕上,如图3(b)。使用此辅助信息,用户可以更好地了解现状,可能纠正语音识别错误本身使用上下文知识。

系统的核心是音频公告的自动检测和识别。提出了基于机器学习的方法检测和识别任务,将下面几节详细讨论。另一方面,数据收集和关键字匹配的方法相对简单,不会进一步描述。

3所示。音频宣布检测

音频公告的程序检测如图4。

音频数据收集和存储在缓冲区首先被分为25帧长度的女士,没有框架的转变。然后执行预处理包括预加重和汉明窗口和音频特征提取每一帧。特性采用13 MFCC系数,短时间的能量,和零交叉率。因此,15-dimension特征向量提取每一帧。

基于分类方案用于音频宣布检测。每一帧进行分类,分类执行段0.5秒,因为段之间可以更独特的音频公告和背景噪音和segment-level分类更为高效。每20帧,这是相关的音频段0.5秒,组合成一组帧,帧的特点结合到300 -维vector中。然后输入到分类器vector。

至于分类器,支持向量机(SVM)采用RBF内核由于其广泛的使用在基于内容的音频分类。音频数据收集的SVM模型训练的银行。音频公告从音频和手动分割作为正样本,和其余的音频数据没有音频通知被视为负样本。由于音频公告相对较少,1/5的负样本是随机选择的,用于培训。在训练阶段,8倍交叉验证执行调优参数。

通过使用SVM分类每0.5秒的音频,每0.5秒的片段的概率是一个音频声明可以获得。然后,后处理来决定执行的起始和结束时间音频宣布基于概率。在我们的观察中,我们发现所有的音频在银行在6秒内公告。因此,采用滑动窗口6秒。每一次,12相邻组帧用于分类,和12个概率 ,我= 1,…,12日。的平均概率值然后计算 如果大于预定阈值,6秒段作为一个音频评判公告。

图5显示了一个示例的后处理。横坐标表示时间(秒),纵坐标表示的概率值。每一个点的概率表示相应的0.5秒的音频段音频公告。红线表示的开始和结束时间的预测音频公告,和绿色线表示地面真理贴上由人类。

4所示。音频宣布承认

获取音频公告后,演讲在他们需要意识到收益用于关键字匹配的文本。由于高噪音,尤其是,遥远的距离集合音频收集在公共场所如银行、通用的语音识别系统,重点收集的语音关闭麦克风不能使用。我们已经试图利用语音识别的一些云服务。然而,非常贫困的识别结果(实验结果将在以下部分),甚至一些语音识别引擎返回null的演讲。因此,我们构建了一个音频语音识别引擎声明自己在银行,使用开源工具卡尔迪。

建立一个音频语音识别引擎的挑战主要在于缺乏数据公告。因此,我们收集27-hour 5银行的音频数据。总共995音频数据包含公告。虽然仍然是小数量与其他语音语料库相比,它应该注意到的演讲音频声明是有限的词汇和几乎固定的表达模式。因此,连续语音识别系统与一个小词汇和简单的语法可以使用收集的数据。

由于少量的训练数据,模型基于深层神经网络并不合适。采用传统的HMM-GMM模型。在训练阶段,训练数据分为帧25帧长度和10 ms帧女士的转变。十二MFCC特征提取每一帧,在短时间内的能量,形成13-dimensional向量。一阶和二阶分化之后,终于获得39-dimensional特征向量。本词典使用的有48首字母和元音音素。mono-phone和tri-phone-based模型都是训练,训练状态tri-phone模型使用决策树聚类的绑定来减少的状态。Baum-Welch算法用于训练和定向搜索的维特比算法是用于解码。

场景,如银行、医院、交通工具和设施,音频公告主要是自动生成并遵循固定的模式。例如,银行在中国,音频公告通常喜欢“客户A0017,请到柜台8”。因此,在我们的工作中,根据公告的模式定义的语法是在银行和语音识别系统中使用的语言模型。语法表示为一个有限状态传感器,如图6,卡尔迪的使用OpenFst定义的工具。

5。实验

5.1。实验设置

手机收集的实验数据是音频数据在5银行属于三个不同的公司。数据存储在16赫兹,16位,mono PCM WAV文件。信息的数据表1。

音频宣布检测的任务是检测音频和音频公告给音频公告的时间界限。在实验中,这个任务的输入音频文件中收集的银行,和输出的起始和结束时间音频公告的所有文件。可能有多个或没有音频公告一个音频文件。训练集是由前4银行和所有音频测试集包含音频在第五银行。测试数据由50个音频文件没有音频通知与公告和10个文件。音频公告的开始和结束时间在测试数据手动贴上“地面真理。如果地面真值之间的偏差和检测时间小于给定的阈值,检测被认为是正确的。我们计算召回率、精确率和F1值评价检测的整体性能。

语音识别,分析不同的数据收集网站的影响,两个实验是由使用不同的数据集。第一个训练集由770音频文件,每个包含一个音频公告。这些音频收集在四个不同的银行,而测试数据包含132音频文件收集在不同的银行,即第五。802年第二训练集由音频文件中收集所有的五家银行,和第二个测试数据包含100个音频文件收集也同样的五家银行。训练数据和测试数据不包含相同的音频,甚至在同一天音频收集在一个银行。字符错误率(CER)和句子错误率(SER)是用来衡量语音识别的准确性。展示当前通用的语音识别引擎的不可行性,三种云服务的普通话语音识别,即百度iFLYTEK, Unisound,也被用来识别测试集。

5.2。实验结果

对音频公告检测,实验结果如表所示2,在那里宽容阈值的起始和结束时间偏差应小于。可以看出一个F1值为0.895,高召回率(94%)可以实现秒的宽容。事实上,语音识别模块不需要精确的时间界限的演讲和言论可以处理与背景噪音。因此,语音识别的秒的宽容就足够了。该方法的一个优势是它的高召回率,因为在应用程序场景,小姐的声音宣布将使系统无用,而用户可以在一定程度上容忍一些假警报。

音频消息识别的实验结果如表所示3。可以看出mono-phone模型优于tri-phone模型。这可能是由于少量的训练数据。对于两个不同的数据集,表现差别并不是很大,CER在第一数据集更低,这意味着系统足够健壮的在银行中没有使用训练数据被收集。mono-phone模型,CER达到约5%,显示了该方法的可行性和系统。至于通用语音识别服务,cer非常高,ser接近100%。这是因为引擎主要关注演讲收集的数据关闭麦克风说话,不能处理远场演讲收集由一个手机麦克风。

6。结论

本文介绍了一种新颖的系统,在移动电话上运行。有听力障碍的人所使用的系统可以避免丢失音频通知他们关心的是在公共场所。音频的方法声明检测和识别,提出了一个Android应用程序开发,以银行为主要应用场景。音频宣布检测,方法基于音频段分类和后处理,提出了利用支持向量机分类器训练音频公告和环境噪声中收集的银行。公告语音识别,语音识别引擎使用GMM-HMM-based声学模型和开发一个基于置语法。实验结果表明,角色错误率(cer)演说可以达到5%左右,显示了该方法的可行性和系统。未来的工作包括延长系统使用更多的公共场所和改进关键字匹配模块。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作在一定程度上是由北京自然科学基金(4172058)。

引用

1. B.-H。Juang和s . Furui”自动识别和理解口语的第一步自然人机交流,“IEEE学报》,卷88,不。8,1142 - 1165年,2000页。视图:出版商的网站|谷歌学术搜索
2. d . Chander和m . v . Sireesha客运汽车警报系统,方便盲人导航,2004年。
3. l . Lu周宏儒。张,h .江“音频分类和分割,内容分析”IEEE音频、语音和语言处理,10卷,不。7,504 - 516年,2002页。视图:出版商的网站|谷歌学术搜索
4. 美国菲佛,s·费舍尔和w .由“自动音频内容分析”学报》1996年第四届ACM国际多媒体会议1996年11月,页21 - 30,。视图:谷歌学术搜索
5. i . k . d . Li Sethi:克里斯汀娜和t·麦基,“通用音频数据进行基于内容的检索、分类”模式识别的字母,22卷,不。5,533 - 544年,2001页。视图:出版商的网站|谷歌学术搜索
6. h . k . Palo m·n·莫汉蒂和m·钱德拉”高效特性为情感语音分类组合技术,”国际语音识别技术杂志》上,19卷,不。1,第150 - 135页,2016。视图:出版商的网站|谷歌学术搜索
7. k . Khaldi A.-O。Boudraa, m .突厥语族的“有声/无声的语言基于分类的自适应滤波的语音增强经验模式分解,“信号处理专业,10卷,不。1,第80 - 69页,2016。视图:出版商的网站|谷歌学术搜索
8. s . Baghel s . r . m . Prasanna, p·古”分类的多说话人语音和单扬声器正常语音喊道,“学报2017年IEEE地区10会议,TENCON 2017马来西亚,页2388 - 2392年,2017年11月。视图:谷歌学术搜索
9. l . Lu周宏儒。张,s . z李“基于内容的音频分类和分割利用支持向量机,”多媒体系统,8卷,不。6,482 - 492年,2003页。视图:出版商的网站|谷歌学术搜索
10. w·史和x的粉丝,“演讲基于布谷鸟算法和支持向量机分类,”第二届IEEE国际会议上计算智能和应用,ICCIA 2017,页98 - 102,中国,2017年9月。视图:谷歌学术搜索
11. d . Yu和l .邓自动语音识别激飞伦敦有限公司,2016年。
12. d . Palaz m . Magimai-Doss, r . Collobert”分析CNN-based语音识别系统使用原始的演讲作为输入,”美国第16届会议国际言语交际协会,INTERSPEECH 20152015年9月,页11 - 15号,德国。视图:谷歌学术搜索
13. h . Sak a .高级k . Rao et al .,“学习声学帧标签与复发性神经网络语音识别,”40 IEEE国际会议上声学学报》,演讲,和信号处理,ICASSP 2015,页4280 - 4284,澳大利亚,2014年4月。视图:谷歌学术搜索
14. h·h·索尔陶成功制造出廖,h . Sak”神经语音识别器:Acoustic-to-Word LSTM大词汇量语音识别,模式”2017年Interspeech学报》上,3707 - 3711页。视图:出版商的网站|谷歌学术搜索
15. j . Tebelskis使用神经网络语音识别,西门子公司,1995年。
16. d . Amodei s Ananthanarayanan, r . Anubhai“深演讲2:端到端在英语和普通话语音识别,”机器学习的国际会议,第182 - 173页,2016年。视图:谷歌学术搜索
17. d . Bahdanau j . Chorowski d . Serdyuk p . Brakel y Bengio,“端到端引起大词汇量语音识别,”学报》第41届IEEE国际会议音响、语音信号处理,ICASSP 2016,页4945 - 4949,中国,2016年3月。视图:谷歌学术搜索
18. 坟墓,s·费尔南德斯、f·戈麦斯和,的j。施密德胡贝尔表示“联结主义时间分类:标签不分段序列数据与复发性神经网络”学报》第23届国际会议在机器学习,ICML 2006,页369 - 376,宾夕法尼亚州匹兹堡,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
19. d . Bahdanau c Kyunghyun y Bengio,”神经由共同学习对齐和翻译,机器翻译”在国际会议上学习Representa-tions,2015年。视图:谷歌学术搜索
20. n . w . Chan Jaitly、问:勒和o . Vinyals,“听着,参加和法术:大词汇量的语音识别的神经网络,”学报》第41届IEEE国际会议音响、语音信号处理,ICASSP 2016,页4960 - 4964,中国,2016年3月。视图:谷歌学术搜索
21. n·摩根和h . Bourlard“连续语音识别,”IEEE信号处理杂志,12卷,不。3,24-42,1995页。视图:出版商的网站|谷歌学术搜索
22. b . m . j . leinNoise-Robust语音识别,2003年。

版权

版权©2018勇阮等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。