文摘
正常人和聋人之间的通信是全世界最困难的日常生活的一部分。一个正常人很难理解一个单词的失聪的人在他们的日常生活。与聋人交流,不同国家形成了不同的符号语言使交流更容易。在巴基斯坦,对聋人来说,政府开发乌尔都语手语与失聪的人交流。体育教练和专家很难提供无处不在的社会,所以我们需要这样一个电脑/手机系统聋人标志符号转换成语音和书写字母,正常的人可以很容易地失聪的意图。在本文中,我们提供了一个基于图像处理和深度学习乌尔都语符号语言的典范。Python 3中实现该模型,并使用不同的图像处理和机器技术捕捉视频和符号转换成声音和乌尔都语写作。首先,我们得到一个视频从聋人,然后模型作物帧图片。然后,个人照片等符号象征被认为如果聋人显示符号,然后模型识别和显示他/她想告诉的信。OpenCV等图像处理技术用于图像识别和分类而TensorFlow和线性回归用于训练模型在未来表现得聪明。 The results show that the proposed model increased accuracy from 80% to 97% and 100% accordingly. The accuracy of the previously available work was 80% when we implemented the algorithms, while with the proposed algorithm, when we used linear regression, we achieved the highest accuracy. Similarly, when we used the TensorFlow deep learning algorithm, we achieved 97% accuracy which was less than that of the linear regression model.
1。介绍
因为很多人与生俱来的缺陷,我们都不是完美的。我们不能忽视他们在社会中由于各种各样的问题。即使政府配额为残疾人预留。研究人员正在试图开发数字解决方案来克服的局限性与特殊的角色,使他们能够参与社会功能(1]。一切都在我们的世界是有缺陷的,唯心主义没有在其中的位置,尽可能多的科学数据和统计数据证明。同样,人既不完美也不理想,有些人天生比别人不同。从那时起,他们一直被称为“残疾人。“他们是不同的,但他们每个人都有他们自己的需求。耳聋影响估计全世界有7200万人(2),包括大约1000万人在巴基斯坦。有不同的沟通方式聋人世界各地。视觉传达是用来传递信息的时间。一般来说,一些新的种类的商标、语言和符号语言被世界各地收养。不需要纸或铅笔,聋人社区和更广泛的社区可能有效地使用各种符号语言交流。不同的国家,例如美国,都有自己的符号语言,如美国手语,英国手语,西班牙手语,可能语言世界各地的迹象。还有比眨眼符号语言,和许多种类的美国手语(ASL)是利用在沟通。大约有六十位的符号语言,承认和练习3]。美国手语是一个全面的和复杂的语言,根据国家耳聋和其他沟通障碍研究所(NIDCD)。手势、面部表情和肌肉运动,都是这样的例子。这不是一个简单的手势在英语翻译;它还可以处理语法和发音规则,以及不同种族和方言。此外,有几个报告在各种语言中,包括中国、美国、印度,显示大量的工作已经投入世界手语识别系统。当地和地区语言和文化符号语言的演变中起着关键作用,因为他们在任何语言的进化,无论来源。另一方面,许多专家质疑为什么没有常见的手语签署国(4]。是相同的在想为什么没有一个公认的语言在世界各地。巴基斯坦聋人手语已经被巴基斯坦沟通彼此间(PSL)。它遵循语言规范,就像所有其他的符号语言,它包含了语法,字母和单词,手势,和复杂的句子,就像说乌尔都语。它也有自己的一套符号和不断变化的语法,就像地球上所有其他符号语言系统(5]。由于其在时间增长,PSL已经演变成一个全面的语言。乌尔都语是巴基斯坦的官方语言,是许多人在南亚。在乌尔都语中,使用最广泛的书写系统Nastaliq和Naskh。Nastaliq风格通常被使用在乌尔都语古代文学和新闻。波斯语、普什图语、旁遮普语,俾路支,对民族语言和Seraiki采用Nastaliq写作风格。乌尔都语属于印欧语系。自成立以来,印欧语系的语言起源于印度乌尔都语。在印度次大陆,现在最常说的语言之一。乌尔都语是印度的23种官方语言之一,巴基斯坦的两种语言之一6]。此外,迪拜讲乌尔都语拥有一个庞大的团体。它是世界上绝大多数的居民。这是乌尔都语的书面版本,开发基于阿拉伯脚本和波斯的脚本。乌尔都语写从右到左,就像阿拉伯语。符号语言形成了独特的支柱聋文化作为一个实际的通信方式为聋人世界各地。其他症状被听众无法沟通口头上由于残疾或障碍,如增强和替代交流,或其家庭成员都充耳不闻,如失聪的孩子成人。通过picture-to-speech技术,那些失聪或重听,以及盲人可以受益于这项工作。对盲人来说,计算机识别图片中的一个角色,翻译可以救命的声音。乌尔都语,阿拉伯语和波斯语不同,有更多的单独的字母。 Urdu’s script is more complicated than Arabic or Persian. The Sind Welfare Association of the Deaf presented the fundamental structure of the Urdu alphabet for deaf people as shown in Figure1。同样,在图2,信德省福利聋人协会为聋人提供了数字系统的基本结构和实现它在大多数的学校。在图3,协会为聋人提供结构对英文字母用两只手同时在图4,协会提出了使用单手英文字母的符号语言。在这种情况下,手势识别已经证明是有用的,帮助聋患者与我们更有效的和有效的。识别的标志已经花了很长时间和精力世界各地。乌尔都语的符号语言,然而,没有这样的工作已经开展。大约020万巴基斯坦人失聪或重听缺乏辅助和康复技术。手势可以分为两类。静态手势的手,身体和脸不会移动。不改变的信号被称为静态信号(7]。
可感知的动作发生在一组时间,表演者在静态运动身体协调。手指和手的位置识别和检查一个接一个(8]。其他符号语言,如英国手语(声波测井),美国手语(ASL),阿拉伯语手语(ArSL)和西班牙手语(SSL),在全球不同地区的使用9]。每一种语言演变的迹象。一般来说,用手语手势由理论虚构的手势,如拇指,这个词经常用于“好吧,”或特定的符号语言的原则。每个单词拼一次。
识别手势或手的动作,两个基本的方法是使用[10]。有两种方法:一种是基于计算机视觉,它使用一个图像评价技术的歌手图像转化为文本,另一个是基于机器学习。
穿装备传感器手套(11是第三种方法。手语识别的现状(SLR) 30多年在语音识别技术由于各种各样的原因。二维视频数据的捕获和检测远比线性分析更复杂的音频信号,这是一个关键的原因。信德省福利聋人协会为残疾人提供了标准的字母,将作为乌尔都语使用者的标准。在图3,协会或双手系统用于聋人交流与他人没有任何错误的指示或犹豫。他们提供手语交流的英语单词等如果聋想说“人”,然后他将提供M的符号标志然后签收n,失聪的人通过这种方式,可以用健康的人分享他的想法。所有这些符号语言需要计算机系统识别这样的符号和缩写/说正确的话代表聋的。在图4福利协会为聋人提供了标准的单手英文字母。而不是使用双手英文字母,如果任何聋人没有一个单手的手,他想要交流,然后是标准体系等残疾人交流健康的人。此外,口头交流的词汇和语法功能尚未完全调查,并不是普通的条款都可以访问。此外,没有标准定义等指标。在1990年代早期,手语的分类和识别的研究达到了一个顶峰。收集数据的技术是至关重要的识别各种单反的关键方面研究[12]。许多研究了对数据手套或网络手套提取机械的特点和nonmechanical组件的信号由于严重依赖传感器单反系统。不幸的是,使用这种传感器是签名者不方便和限制。此外,由于高成本的传感器,传感器单反系统不可行的部署。重量和容量管理变化在改变照明和障碍在人群中,动态异常,和单反系统建立的特征提取阶段,另一方面,也极大的影响研究。对各种单反的主要特征进行分类工作,人口抽样方法是至关重要的。很多研究采用电子手套或网络收集数据手套的机械和nonmechanical组件症状由于大量依赖传感器单反系统。这些传感器的使用,另一方面,是签署繁琐,严重限制(13]。此外,传感器的实际实现单反系统是有问题的,因为高成本的传感器。另一方面,由于他们的体重和人群,动态异构环境,和能力来控制分配阶段的变化在不同的照明和局限性,有远见的单反系统令研究人员(14]。单反的解决方案的标准特征自动使signer-dependent行动,这意味着所有签名者前教育和病人一起工作。签名者独立,也称为cross-signer验证,需要规范的特性来消除保兑人互动。特定的签名和相机之间的界线是很少明显,是签名和放大的货币(15]。单反的早期阶段比作语音识别,它们集中在症状。虽然已经建立了几个单反方法识别连续短语,简称识别精度字典使用上皮运动之间的符号仅仅是90%。现在研究人员正在致力于开发一个基于图像的系统可以接收直播照片和告诉或写聋哑人使用的手语字母。
1.1。贡献
(我)在本文中,我们提出了一个基于图像的符号语言分类和识别模型来捕获的图像的符号聋人和识别它然后告诉数量以书面和声音。(2)该模型是加载到系统,然后加载配置或设置参数,如最大数量的手和置信水平。加载文件索引的名称来显示人类可理解的输出在屏幕上。打开计算机视觉,得到图像来自文件或摄像机(提要)生活。然后,框架是准备检测和识别。(3)我们使用Python 3语言编程,计算机视觉,TensorFlow,和Keras检测的图像,和开放计算机视觉,TensorFlow, Keras,熊猫,sklearn模块培训。(iv)该模型准确地检测和识别歌唱语言乌尔都语字母。以下是论文的结构的崩溃。部分2致力于一个文献之回顾。问题是部分中概述3。建议的解决方案部分所示4。仿真和方法论提供了部分5,结果是部分覆盖6。论文的讨论和结论部分中包括7。
2。文献综述
残疾人或特殊人员如聋人不能与正常人交流效率。因此,肢体语言可以帮助残疾人交流。在手语,一些种类的运动与利用各种形状(16]。同样,语言随地理标志,和目前有138认可的符号语言。英美手语是基于英语,而中国和印度的标志语言也越来越受欢迎。因为手语是关注形式和概念在语言、文字词汇和语法基础上,符号语言语法主要是基于书面和口语语法。因此,两种语言有着不同的语法结构。信息技术对人类生活产生巨大的影响。帮助人类解决各种挑战,许多技术,技术和工具已经发明了(17]。信息技术已经被用来克服沟通差距聋人和听力的人。这些基于it技术背后的想法是帮助失聪的人更有效地与人交流障碍,反之亦然。这些基于it技术在克服这种通信鸿沟可能是有用的。许多发达国家解决误解的问题聋与正常的人通过使用信息技术(IT)。通过使用它,大多数的误解的问题有效地解决在这个现代(18]。在巴基斯坦,没有这样的软件或其他技术解决乌尔都语聋人和正常人之间的沟通。结果,我们需要这样一个基于计算机的系统与聋人沟通,减少人类的参与在聋人的理解日常生活活动。使用通俗文学,人口减少对巴基斯坦的聋人和推荐沟通差距,找到基本流程构建一个架构框架基于信息技术编程,也可以帮助聋人之间的桥梁和该国的公共19]。手机计算、手势控制的环境中,和云技术是现代科技的所有部分。人工智能技术,如跳跃运动Kinect,谷歌眼镜,跳跃运动控制器用来捕捉手的姿态和其他残疾人体的部分(20.]。如前所说,技术进步可能杠杆来帮助失聪的人。为失聪儿童沟通是一个大问题,因为他们无法与社会互动,因为他们无法正常说话。失聪学生学习环境的教育机构为听力学生不一定是一样的。因此,肢体语言是最有效的方法之一为失聪的人沟通。签名的谈话不能理解一个专家或同事使用手控界面,导致失聪和公众之间的沟通挑战[21]。聋人和正常人之间的沟通是现代研究的最终目标。传感器、小玩意和基于图像的方法都是利用。人机交互,机器人技术,基于游戏的学习,和登录软件识别系统都在最近的研究受到更多的关注。项目,并为语言识别系统。电脑视觉社区使用各种程序和算法22]。努力已经由该领域的研究人员的聋人和正常人之间的沟通。如此,大多数的结果是最好的算法/软件等研究领域的手势识别和残疾人交流19]。游戏鼓励用户参与一个虚拟环境,让他们在小说和愉快的方式学习手语。它被认为是一种语言的葡萄牙手语(23)使用手语信号整合类似目标和目的。ISL翻译系统和印度手语(ISL)学习手语翻译装置照片或连续视频图像捕获(公众)使用麦克风或USB相机,可以解读为一个应用程序。设想,得到表达式将翻译,扩展和传播。图像捕获、识别的二进制类型的手,发现形状和函数中变量方法和解释的过程。消息显示,内置的形式发送到接收者的GUI程序。这迫使正常个体自由交谈与聋人24]。使用基于图像的方法,使用前缀符号语言转换利用一个基于计算机的系统。有不同程度的成功,这翻译项目有一个特殊的就业提供。在[25),作者提出了符号语言等不同的国家美国、希腊、南非、阿拉伯国家,西班牙,意大利,日本,荷兰,英国。当涉及到正确的人听不到,手语(LS)是一种宝贵的资源。东光学运动的另一个名字是招标的方法。这种策略被那些不充分理解。语言作为交流的主要方式。每个国家都有自己的一套符号。中国、美国、印度和巴基斯坦,例如,语言都有自己的标志。印度手语和巴基斯坦手语是两个不同的符号语言。许多发展中国家举行的研讨会。为了填补这个缺口,他们组织各种项目活动,包括信息技术。 For those who are deaf and people who are not deaf, several surveys have been undertaken throughout Central and South Asia. Nonetheless, this approach is being investigated in Pakistan because there is no systematic information on it. In [18),作者提出了语法、内容和交付工具用于巴基斯坦失聪的残疾人沟通为主要沟通语言结构的基础上进行。然而,迄今为止的的主要点了。本研究的目的是讨论需要解决的困难,关闭之间的差距和聋人社区。他们为建设一座桥提供几点建议。手语是一组不同的规范比口语和书面语言。手语是一种用于交流沟通。它是建立在形式,书面语言是建立在某些基本词结构和语法规则26]。信息技术对我们的生活有着重大影响;我们使用个人创建的许多项。在印度,特殊劳动已经完成为非凡的个人铺平了道路。他们遇到的最大的挑战是他们无法与别人交流。人有了虚拟的角色或有效的语言(27]。巴基斯坦学者也致力于开发不同的残疾人辅助技术障碍,如感觉手套和美国手语(音译19]。上面的自动化设备,称为“说,”是建立促进公众和那些影响之间的沟通。作者采用人工神经网络来接收感官信息利用手套的建议方法。这项技术利用了24个英文字母和两个标点符号由作者。因此,失聪的人使用该软件可以使用它来沟通(28]。作者做了一个类似的研究聋和残疾人个体之间的联系(29日与手套),配备传感器,检测信息通过口语手指运动。这是一个方便的程序,该程序将字母(文本和演讲30.]。作者采用两跳运动设备技术创建字母在巴基斯坦手语。火车的“通信模块”是一个模块一个翻译系统,而其他使用跳跃运动设备收集信息。的作者(31日)开发出一种设备,将物理信号数字数据和问题必要的指令为聋人。小工具使用符号来传输数据到电脑联盟。这是一种视觉艺术,一直在利用巴基斯坦之前,如聋人的手套。在巴基斯坦,有很多努力做失聪的人与普通人的愿望。的作者(32创建了一个名为一个模糊分类器的工具。手套是用于识别手指,这仪器显示的聋人的症状或颜色操作。这种方法的准确率是95%。许多学者正试图桥之间的差距聋人和听力,和作者的18)建立了一个基于机器学习模型,可能作为理解ieee沟通的基础。结果,作者提出了一个模型,失聪的人在巴基斯坦,帮助他们在英语和乌尔都语翻译文本或在巴基斯坦手语18]。作者提出的一项研究[10)与生产工具的目标来帮助残疾人障碍以及构建一个程序让聋人与其他聋人进行正常的讨论。手语作为文本输入,确保对方能理解它。的作者(33)使用GoogLeNet pretrained ILSVRC数据集架构,这是基于卷积神经网络和使用美国手语数据集从梅西百货商店。萨里大学的就业转移学习。他们创造了一个实体模型识别字母和与新工作。完全可概括的翻译可以为任何创建美国手语的出版物。深传感器技术迅速普及,其他仪器使用在这个过程中,已证明是成功的,比如彩色广告像定做的手套。它的目的是使识别过程更简单和更有效率。根据(34),某些信号单元简单的分类和识别。迄今为止,自动手语识别系统没能利用今天的深度检测技术。以前,只有单一的摄像技术应用。有简单的像素基本图片数据集没有深度和轮廓信息,尽管使用CNN美国手语字母的分类图像运动有了一些成功33),但利用GoogLeNet架构师已经训练(35),一个重复的深层结构。连续的手语识别使用卷积神经网络。我们已经设计了一个循序渐进的解决方案。如何教育我们的深层神经网络的结构是重点。卷积神经网络(cnn)和递归神经网络(RNNs)已经取得了显著的进展在信号36)和标志识别(37]。在信号识别、动态平凡的依赖性学习产生了显著的结果(38]。
作者使用图像处理和机器学习技术产生了一个详细的文献评价乌尔都语符号语言在39]。基于[40,41和前面的文献评估,以下领域的困难乌尔都语手语仍有待解决:(我)基于图像处理和深度学习计算机系统所需的聋人与正常通信的人的社会。(2)我们有一个短缺的人乌尔都语手语专家谁能参与之间的中间实体聋和正常的人。(3)移除物理专家和执行工作由计算机或其他电子设备,我们需要一个高效的智能系统来理解和与聋人沟通人类社会的改良。
3所示。制定和差距分析的问题
等在文献综述(39],作者提出,没有这样的电脑系统语言乌尔都语标志,能够让聋人和正常人之间的通信。因此,在本研究中,我们打算工作这样的计算机系统,可以帮助聋人的通信正常。在巴基斯坦,所使用的语言乌尔都语信号是聋人,但一般人不了解他们的沟通,作为符号语言并不是研究的每一个人。所以,我们打算提出此类系统,选择失聪的符号,由计算机来理解这个词的声音正常。
4所示。建议的解决方案
失聪的人在镜头面前,展示了象征他/她想要交流,然后相机捕捉标志的图片并将其发送给另一台机器,图像处理技术用于分类和识别图像。识别后,深度学习技术是未来通信用于训练模型并将其发送到主CPU的预处理。
论文的在这一节中,我们提供一个详细的解释提出了模型的流程图和图表的帮助下。
在图5,该模型。如图所示,该模型是基于Python 3、图像处理模型“开放的计算机视觉,”和深度学习模型,如线性回归”和“TensorFlow”使用卷积神经网络。预处理后,图像显示所需的值,聋人想交流。用于发展提出以下实体模型如图5。
4.1。卷积神经网络(CNN)
我们用卷积神经网络模型。卷积神经网络是一种前馈神经网络处理输入栅格结构,通常用于评估视觉图片。事先是另一个名字。识别和分类项目,采用卷积神经网络。人工神经元的多层卷积神经网络。人工神经元的数学函数,计算各种输入和输出的加权和激活值,就像生物一样。每一层的事先创建大量激活地图当你输入一个图片。的重要方面使用激活地图图片突出显示。每个神经元需要一个补丁的像素作为输入,增加他们的颜色值的权重,将它们添加在一起,然后通过激活函数运行它们。基本特征如水平、垂直和对角线边缘往往被CNN的第一层(或底部)。
第一层的输出发送到第二层,中提取更复杂的角落和边缘特征的组合。每个神经元的行为决定于它的重量。当给定的像素数据,CNN的人工神经元挑出大量的视觉特性。基本特征如水平、垂直和对角线边缘通常被CNN的第一层(或底部)。第一层的输出发送到下一层,中提取更复杂的角落和边缘特征的组合。层识别等高级特征对象,脸,和更多的进步进一步卷积神经网络。CNN模型如图6。下面隐藏层由CNN使用体系结构分类和识别图像或文本。
以下4.4.1。褶积层
这是最初阶段获得有用的信息从一个照片。卷积操作是由许多过滤器卷积层。每一个图像被视为一个像素值矩阵。同时,我们得到我们想要的结果形象。
4.1.2。ReLU层
修正的线性单元ReLU略。提取的特征图之后,他们必须搬到一个ReLU层。ReLU进行中的元素程序,设置所有负面的像素为零。它使网络成为非线性,结果是一个纠正功能映射。
4.1.3。汇聚层
池是一个将采样过程,降低了特征映射的维度。创建一个混合特征映射,现在地图纠正功能是通过一个池层。池层采用不同的过滤器来识别图像的各个方面,包括边缘、角落,身体,羽毛,眼睛,嘴。
4.1.4。完全连接层
前馈神经网络是完全连接层。完全连接水平网络的最后一层。最后池或卷积的输出层,这是夷为平地,然后送入完全连接层,是完全连接的输入层。我们使用ResNet CNN模型方法。
4.2。ResNet
残余神经网络(ResNet)房型等人介绍了一个新颖的架构与“跳过连接”和功能重批正常化。这样跳过连接也被称为封闭的单位或者封闭的单位和复发有很强的相似性应用于RNNs最近成功的元素。由于这种技术,他们能够训练神经网络与152层虽然仍低于VGGNet复杂性。它达到3.57%的前5名错误率比人类层面的性能在这个数据集。AlexNet有两个平行的CNN行训练与交叉连接在两个gpu, GoogLeNet初始模块,ResNet剩余连接。图书馆CCN叫做ResNet用于训练符号语言模型来获得更好的结果。图7显示了图像ResNet架构提取和分类。
4.3。相机
相机是一个可视化工具捕获图像。镜头由一个密封的盒子(相机的身体)和一个小洞(孔),允许光捕获到光敏面在最基本的层面上(通常照相胶片或数字传感器)。调节光线落在感光表面,相机使用各种各样的方法。相机的镜头集中的光线进入。光圈可以做得更小或更大。的时间长度感光表面暴露在光线是由快门机制。在摄影艺术,钢铁形象相机是必不可少的工具。摄影、数码影像和图片印刷图像之后可以重新创建。电影、摄像和摄影的创作体裁的电影摄影机。
4.4。编程语言
Python编程语言,我们利用。Python是一种流行的通用编程语言具有很大的灵活性。Python是一种面向对象的编程语言,使其适用于快速的应用程序开发。Python的基本句法价值很容易理解,这降低了软件安全的成本。Python模块和包支持,促进项目模块化和代码重用。Python语言和大型标准库为所有主要平台可免费源代码或二进制格式。
4.5。开放的计算机视觉
作为一个提供基于图像处理模型,我们采用开放的计算机视觉。打开计算机视觉是一家集编程功能主要是用于实时使用的计算机视觉。总之,这是一个图像处理库。它主要是用来执行所有与图像相关的操作。包括2500多个复杂的算法在图书馆,包括全方位的传统和现代机器学习和计算机视觉技术。
4.6。TensorFlow
采用TensorFlow深学习模型。TensorFlow是图形的框架和分析复杂的复杂性。多行被称为张量模型是必要的。它是一个工具TensorFlow培训。深上优于PSL数据集是用于研究和发展在同一时间。
表1显示了研究中所使用的缩写。
5。仿真和方法论
实现由计算机乌尔都语符号语言符号的概念,我们使用Core i5与Windows笔记本电脑10。我们使用8 GB内存和256 GB的SSD卡。乌尔都语符号语言提供了不同的符号作为输入的数据集训练模型。作者使用基于python编程环境和嵌入式图像处理和深度学习OpenCV和TensorFlow等技术。NumPy IDE是用于编程设置。NumPy代表“Numerical Python”,是一个Python模块。这是用来计算数值。两个数据集作为数字系统信德省福利协会提供的符号和字母符号用于聋人。它有许多对数处理操作,包括分化和整合。多维数组用于存储信息符号语言在计算机内存中。 The model is imported into the system, followed by the setup, which includes parameters such as the maximum number of hands and the confidence level. To display the human-readable output on the screen, a file with a name index is loaded. Open Computer Vision comes now and gets images from files or cameras (live feed). Then, the frame is prepared for detection and recognition. The model detects and draws the landmarks on that frame. The prediction model takes these landmarks as input and outputs the prediction as class id which is then later matched with the index of name file. Table2拟议的模型,用于仿真设置和参数引用(38- - - - - -40]。
表2用于模拟设置的评估和实施提出了系统。编程语言定义和提供;如果有人想进一步研究领域的工作,那么他/她就可以知道所使用的编程语言的研究。其他的Python库用于拟议的研究提供了表2。该系统完成后,我们对模型实时视频图像,图像显示在图6被吸引。如图8,该模型评估基于实时节目视频,当我们显示,乌尔都语手语符号,提出模型识别符号和实时的基础上他们以书面形式提供。
6。结果
此外,我们在不同的模拟运行,训练模型,以下结果如图9- - - - - -12。
如数据所示7- - - - - -10,该模型准确地认识到乌尔都语手语符号形式现场视频,因此它可以告知,该模型是一种有效的模型对聋人和正常人交流。此外,提出了评估的准确性和提供以下数据。
如图13,该模型与线性回归的精度是100%,而使用TensorFlow,精度97%,一些照片没有被正确的人。
与最新的工作相比,我们提出的模型执行很好,因为以前的工作提供了准确性高达80%,我们提高了准确性高达100%,而该模型可以很容易地乌尔都语符号语言符号转换成声音和字母。在图14,RMSE拟议的模型。当模型最初开始了训练,均方根误差是高的,而一些迭代后,误差降低,如图14。
7所示。结论
在本文中,我们提供了一个基于图像处理和深度学习乌尔都语符号语言的典范。Python 3中该模型实现和使用不同的图像处理和机器技术捕捉视频和符号转换成声音和乌尔都语写作。首先,我们得到一个视频从聋人,然后模型作物帧图片。然后,个人照片等符号象征被认为如果聋人显示符号,然后模型识别和显示他/她想告诉的信。OpenCV等图像处理技术用于图像识别和分类而TensorFlow和线性回归用于训练模型在未来表现得聪明。结果表明,该模型精度从80%增加到97%和100%。以前工作的准确性为80%,当我们实现了算法,而算法,当我们使用线性回归,我们取得了最高的精度。同样的,当我们使用TensorFlow深学习算法,我们达到了97%的准确率低于线性回归模型。在未来的工作中,我们需要实现和开发一个手机模型帮助聋人在正常的社会。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者宣称没有利益冲突。
确认
这个项目是由计算机科学与工程系,大学文科孟加拉国(ULAB)达卡,孟加拉国