文摘
为了使计算机能够理解人的手势通过摄像机和做出相应的反应,通过深入研究,提出了手势识别技术在自然人机交互。自然人机交互技术与音乐相结合的性能,利用计算机建立手势,音乐是在一个虚拟环境。实验结果表明,虚拟钢琴有14个钢琴键。为实现钢琴的性能,这是每个钢琴键;一旦钢琴键大于设置值,就叫m_Wave.Load()来发出声音。根据CWave类的面向对象的vc++ MFC类库,创建一个对象类CWave m_Wave。然后,根据m_Wave.Load CWave类的()函数,实现声音的连接。它成功地解决了音乐爱好者的问题,丰富了人们的精神生活,具有一定的实用性和可伸缩性。
1。介绍
人机交互技术是人类和计算机之间的交互1]。这一技术正日益成为人们生活的一个重要组成部分;特别是,计算机和信息技术、智能技术、生物技术、和其他技术领域发展迅速,如图1。虚拟技术在1990年代开始;最新的发展是先进的人机交互技术,是一种有效的模拟现实世界的人类活动。先进的人机交互行为,包括技术,如听、说,和把握。它是一家集各种技术,如人工智能、计算机图形学、人机界面和网络技术(2]。虚拟技术是一个技术具有重要意义;是很重要的国防、军事、航空航天、医疗、教育、制造业、艺术、娱乐,甚至人们的日常生活,都有很大的联系和影响。计算机视觉也是一个主题领域的前沿知识。在过去的30年或40年的发展,它已经应用于重要的领域,如机器人导航、工业检测、医学图像处理(3]。它已成为一个重要和广泛的应用学科在人们的日常生活中,国民经济,国防科学技术研究等领域。超过85%的人类感知外部信息是通过视觉获得的。因此,在虚拟现实技术的应用,视觉沟通已成为最重要的感官互动链接在虚拟现实技术中,自然和视觉技术已经成为一个重要的支持技术,虚拟现实(4]。在早期的虚拟现实技术研究,计算机图形学的先驱,伊万·萨瑟兰在达摩克利斯剑系统,实现3 d立体显示;空气中的悬浮物体与人眼观察,这是很明显的。现在很多主流虚拟现实系统支持视觉技术没有例外。虚拟现实技术的视觉交互,使用非接触的方法,例如,镜头,等等,观察用户的操作,实现人机交互,已经成为一个越来越有前途的3 d交互技术(5]。
2。文献综述
音乐是人类心灵的语言。每个国家和每个国家都有自己的独特和美妙的音乐。经过几千年的发展,音乐已经发展成为一个系统的、完整的、多样化的学科。李等人发现,为了播放音乐,需要接受一定的培训和指导(6]。朱镕基等人发现,在这个极其丰富的物质生活和精神生活的时代,越来越多的人喜欢音乐,喜欢玩音乐,通过音乐表达他们的感情。在传统的音乐表演中,人们通常得到各种美妙的音乐演奏各种乐器(7]。汗等人发现,由于经济,由于种种原因,如演奏技巧和类型的工具,很多人不能得到他们最喜欢的工具。作者建议把计算机gesture-driven技术与音乐表演过程;用户只需要进入虚拟场景,手掌左右移动来模拟拔琴弦,就可以玩各种色调的基本尺度:做什么,再保险、mi, fa,洛杉矶,si,做。这些基本尺度连接让美妙的音乐,没有直接接触各种乐器(8]。金等人发现,这种方法不仅满足音乐爱好者对音乐表现的需要,而且还解决了演奏各种乐器,造成的不便和具有较高的实用性和现实意义;它可以应用到一些娱乐场所以及音乐学院,音乐博物馆,和其他地方9]。特拉弗等人发现,电脑趋势识别技术是一种新型的自然人机交互。有别于传统machine-centered人机交互方法,自然人机交互是多媒体和多模互动技术,更强调以用户为中心,利用计算机控制技术,符合自然的沟通习惯,和为用户提供一个自然和有效的人机通信接口(10]。郑等人发现的过程中自然的人机交互系统的研究和开发,human-virtual设备接口成为研究中心的一个重要组成部分。特别是近年来,随着计算机技术的迅速发展,研究新的人机交互技术符合人机沟通习惯变得非常活跃,也取得了可喜的进展11]。Joglekar等人发现,其中,计算机手势识别技术是一个自然、直观、易学易懂的人机交互方式(12]。佩雷特等人发现,在手势识别的过程中,人类的手直接用作计算机的输入设备,和人类和计算机之间的通信将不再需要一个中间媒介;用户可以简单地定义一个适当的手势来控制周围的机器(13]。中发现,当前计算机手势识别技术主要用于多通道用户界面、术后康复,虚拟环境交互,非物质文化遗产保护,盲目的手语识别等等(14]。在音乐领域的数字化和虚拟性能,手势识别也有伟大的可用性和优势。莫和太阳发现手势识别技术应用到虚拟性能技术,虚拟的表现音乐可以实现,允许更多的音乐爱好者从事音乐表演和研究[15]。
3所示。方法
虚拟技术实际上是一个人机交互技术,它是一种先进的人机交互技术(因为它需要在一个纯粹的自然的方式和多通道交互信息)。虚拟现实系统虚拟技术的应用的具体体现;它是由各种传感器、输入和输出设备和电脑虚拟场景,虚拟技术的系统实现虚拟对象组成。常见的虚拟现实系统具有三个基本特征,即“Immersion-Interaction-Imagination”;Burdea在1993年提出了“精神技术的三角形,如图2。
沉浸是操作员在虚拟现实系统中,与计算机生成的虚拟环境交互时浸;交互是输入和输出设备之间的交互和虚拟环境;和想象力是各种基于计算机模拟的“想法”。
这三种特性是虚拟现实系统的基本特征,强调人类在虚拟现实系统的作用。在过去,人们只能从外部观察结果的计算和处理计算机系统,这样人们可以走进虚拟场景,沉浸在环境创建的计算机系统。在过去,人们只能使用键盘、鼠标,与一维数字化信息在计算机环境中;现在人们使用虚拟现实交互技术,能够使用各种传感器与不同信息环境进行交互。人的目的是,在虚拟现实系统中,信息处理系统由计算机和其他设备以尽量满足人们的需求,而不是迫使人们为这些计算机系统服务。的感觉,人们可以通过虚拟现实系统,感觉尽可能接近他们在现实世界中得到什么。让人们沉浸在虚拟现实系统中,通过虚拟现实系统,我们可以感觉不能在现实世界的经验。突破物理空间和时间的限制,避免涉及危险的生活,它使虚拟现实系统已经“超越现实的虚拟性。”的基本手段和根本目的构建一个虚拟现实系统,它是利用高性能计算机软件和硬件和集成各种先进设备,以达到一个操作者身临其境的沉浸感,具有完美的交互功能的虚拟现实系统(16]。目前,在世界各地的国家,研究人员正努力和尝试17]。
一般来说,建立一个完整的虚拟现实系统,整个部门有必要的硬件和软件在硬件方面,如跟踪系统可以检测算子的头,手,身体,和其他位置的信息。力反馈系统能提供力量和触觉;音频系统,可以提供良好的;图像生成和显示系统能产生三维立体图像;和跟踪系统,提供视野,正如作者所做的。在软件方面,通常有一个软件支持环境,还有工具集,可以生成虚拟场景和虚拟对象;它还可以接收各种高性能的传感器信息功能(例如,头盔跟踪信息,视觉图像处理信息,等等)。能够生成和显示三维图形(如虚拟手,虚拟钢琴,等等);今天随着虚拟现实技术的发展,已经取得了很多适用的结果,和虚拟现实技术与市场推广;逐渐的多维信息空间,它可以提供一个虚拟现实系统的应用程序环境。 Future virtual reality technology will be like other current science and technology; it has become the most common and best method and tool for human beings to understand and transform the world [18]。(1)如果分解从系统的角度来看,虚拟现实系统主要包括虚拟现实场景观测系统,虚拟现实场景生成和加速显示系统,高性能计算机处理系统、音频系统、跟踪系统、触觉和力反馈系统,如图3:
关闭虚拟现实系统不直接与现实世界的互动,和任何操作没有直接影响现实世界(19]。封闭的虚拟现实系统由三部分组成:建模模块、三维模型库,和交互模块。建模模块可以使用知识库,模式识别,人工智能,和其他技术来构建模型,通过三维动画虚拟场景的可视化仿真,通过声音和声音模拟生产。三维模型库的组件的3 d表示现实世界中,从而构成对应的虚拟环境。交互模块包含几个子,如传感器、信号检测和控制,和信号反馈和控制。人类可以通过传感器检测到运动,然后是虚拟环境可以由控制子模块;同时,反馈给人们运动的感觉,触觉、力,等等。封闭的虚拟现实系统的组成如图4。
开放的虚拟现实系统;然后就可以形成一个反馈闭环传感器和真实的世界;因此,虚拟环境的目的可以用于现实世界的直接操作和远程操作。传感器设备包括上述视觉传感器设备和听觉和触觉系统传感器。
考虑到虚拟现实系统硬件设备,虚拟世界往往是创建和使用各种应用程序和工具箱,和一个接口实现与虚拟世界20.]。绘画是一个过程,创建一个感官形象,描述了软件生成一个虚拟的世界,属于虚拟环境,构建虚拟世界和虚拟场景和虚拟对象。首先,必须建立其虚拟对象的模型;创建虚拟对象时根据各种工具,如CAD、OpenGL,等等,生成虚拟双,可以在虚拟场景;然后它们作为单独的文件存储在模型库。在虚拟现实技术,虚拟场景和虚拟对象的建模和渲染一直是研究的重点;这也是主要的核心问题。目前,世界是在虚拟环境的建模问题。主要有两种解决方案:一个是基于几何的建模和绘制(图形)基于传统计算机图形学;第二个是基于图像的建模和渲染3 d环境的基于图像采样。 Both methods have advantages and disadvantages. Each object in the virtual environment contains two aspects: shape and appearance. Model files used to store geometric models in virtual environments should be able to provide information on both. At the same time, it must meet three common indicators of virtual modeling technology: interactive display ability, interactive manipulation ability, the ability to easily construct, and the requirements for virtual object models. Open GL is a common tool software for drawing virtual devices; the author’s virtual scene and virtual hands, as well as the virtual piano, are drawn with Open GL. Open GL is a set of graphics rendering algorithms, providing a standard cross-platform programming interface. It is easy to implement various transformations, shading, lighting, textures, interaction operations, and animations of models in Open GL, but it can only provide modeling functions of basic geometric elements, which makes the modeling of complex models relatively difficult. 3D graphics modeling tools such as 3DMAX can be used. It is convenient to establish various complex special body models, but it is difficult to carry out program control. After the complex model is established, it can be easily controlled and transformed in Open GL.
作者作品的硬件环境是奔腾四处理器的个人电脑,一种颜色CCD相机,一个CG300 Daheng抓帧器,CAS-GLOVE数据手套和一个虚拟软件平台开发的中国科学院。软件开发工具vc++ 6.0,和系统组成图如图5。
软件开发接口和虚拟世界的原理图,如上所示,虚拟系统的组成原理,这个部门的软件开发平台,它由以下模块:(1)初始化(OpenGL,通信端口等)模块:完成自动初始化之前运行。(2)控制模块:整体控制系统操作和每个模块之间的协调和安排。(3)通信模块:组织计算机通过串口与DSP控制器通信。(4)绘图输出模块:控制虚拟手的实时绘制。(5)数据处理模块:传感器从计算机的串口发送信息,转换成弯曲角信息。(6)力反馈输出模块:设置力反馈模式和输出端口。(7)校准模块:使用前校准数据手套和确定的最大/最小弯曲角度传感器。(8)数据采集模块:后的传感器信息数据手套是由DSP信号处理,这是发送到计算机的串行端口。(9)角校准模块:在调试阶段,它是用来校准每个弯曲角的值。
它们之间的互连图所示6。
作者,原系统软件平台的基础上,表明视觉目标跟踪和识别系统的引入使系统从收集到的视觉图像处理信息;融合对象参数的虚拟场景,它可以有效地实现实时的跟踪运动定位视觉下的虚拟对象。流程如下:相机捕捉帧的目标图像采集卡,图像信息从模拟信号转换为数字信号,数字信号是发送给虚拟软件平台进行处理。数据手套的数据通过PC串行通讯端口传输数据到虚拟世界的虚拟手在虚拟平台,数据手套的传感器数据传输到虚拟的手。作者的工作是使用一个摄像头和一个抓帧器以获得所需的图像信息虚拟的三维空间定位,图像处理、目标识别颜色,状态过滤;然后根据图像质心和距离信息,实时跟踪的坐标和状态的手在愿景下,根据实时跟踪、虚拟钢琴上方的虚拟手移动来实现虚拟钢琴表演。一个典型的视觉系统的工作过程如图7。
一般来说,在视觉系统中,我们通过摄像头采集图像;相机可以把光信号感觉转换成相应的电信号。这个电信号发送到电视屏幕上,和摄取图像可以提供。这些图像通常被称为视频图像。当摄像机作为视觉系统的“眼睛”,当摄入的图像发送到“大脑”计算机处理图像的识别要解决的第一个问题是如何将视频图像转换为计算机可以处理的数字图像。目前在图像输入和数字化,常用的方法是一个CCD相机+图像采集卡(掠夺者)21]。相机获得的模拟视频图像,图像采集卡完成了模拟/数字转换(广告),数字化的视频信号。可以看出,普通的愿景是由三部分组成:相机,抓帧器和计算机。
视觉系统工作在整个生产过程中,特征提取,图像分割,图像识别的核心任务,为了快速有效地执行这些任务,我们可以利用独特的功能图像的设备系统中,适当调整捕获的图像的数量和质量。这一过程属于图像的预处理,如去噪、滤波、直方图平均,等等。为了不同的目标从图像背景,找到目标之间的差异和不属预定目标的过程称为特征提取。有很多方法来提取图像特征;两个主要的是基于图像的亮度特性和基于图像的纹理特征;brightness-based特征提取方法包括直方图特征提取。texture-based特征提取方法是特定方法更灵活,比如特定的目标图像的轮廓特征,该地区增长的目标图像,分形方法的图像分割和合并,等等。根据一些特征差异的不同提取目标,图像的区域部门称为图像分割。图像分割的方法有很多,其中最简单的图像分割是图像的关键;也就是说,所有像素在图像分为两类:目标和不属预定目标的。 If the point corresponding to the target pixel is set to 1, and the other pixels are set to 0, then the image of the target area is white, and the other areas are black. Initialize the human-computer interaction process, mainly complete the process of image preprocessing, feature extraction and image segmentation, and some parameter selection or parameter passing. Like: Modify the parameters of the chromaticity and brightness of the frame acquisition card through the man-machine interface; the capture effect of the image can be changed. Another example is using a keyboard or a mouse to draw a target image area in the image.
图像采集系统是第一步在机器人视觉系统的工作;这也是一个步骤,对后续处理的效果有着重要的影响。
采集图像的质量是好是坏;它的正确性直接影响最终的图像处理和三维重建的结果。它包括相机,抓帧器、计算机、图像采集软件。它的主要功能是将模拟视频信号通过视觉传感器实时转换成数字图像信号,并直接传送图像的计算机显示和处理,或将数字图像传输到一个专用的图像处理系统,进行实时视觉信号的前端处理。
颜色空间三维线性空间,任何一种颜色的光一定亮度,都是一个点或一个向量空间,这个空间的颜色空间。现代色彩理论指出,一个人的知觉的任何颜色可以由三个单色加权颜色的红色,绿色和蓝色;因此,这三个单色的颜色红、绿、蓝被称为三原色。这是三色原则;我们的颜色阈值进行三维颜色空间。有许多类型的颜色空间;更常用的是Hue-Saturation-Intensity空间(他的),YUV空间,红绿蓝(RGB)空间。
当我们选择的三原色红、绿、蓝与明确的光通量三维颜色空间的基础上,它构成了RGB颜色空间。但是RGB色彩模式是容易受到光照效果。在视觉颜色识别,颜色识别是通过不同的颜色标记。然而,在运动场上不同位置的光照强度变化很大,使R,G,B在不同位置的颜色值差异很大。这样,颜色不能由一组阈值,判断识别程序的健壮性也是不可能的。它的颜色空间模型如图8。
HSI颜色空间模型是一种颜色表示系统对应于人类感知的特点;定向安排颜色的觉醒,这是非常有利于提取颜色信息。他的颜色模型,H(色调)颜色色调的基本特征,相应的主波长的光;年代(饱和)饱和,表明是一个颜色与白色混合的程度,即颜色的纯度;和我(强度)是光强度,光的亮度。他的颜色空间模型如图9。
欧洲使用的YUV颜色模型空间电视系统(PAL格式)。在正常情况下,摄像机捕获的彩色图像信号,分色后,放大,和校正,获得RGB信号,转换后的矩阵变换电路,获得亮度信号Y和两个色差信号r y和时序。最后,发送方编码亮度信号和色差信号分别发送在同一个频道。
与RGB空间,恒生指数和YUV彩色空间代表了在二维谱;第三个维度是用来表示颜色的强度;例如,在溪,H和年代代表颜色信息,我代表强度。在YUV,U和V代表颜色,Y代表强度。因此,这两种颜色空间,与RGB模式相比,更适合场合的光强度的变化。在实际应用程序中,RGB信号可以转化为HSI信号或YUV信号。为了做到这一点,坐标变换是需要找到一个简单些的颜色空间;它可以排除的影响照明和提取nonluminance信息的颜色。
除了需要目的,颜色空间模型的转换必须遵循一定的原则。
首先,可逆性的转换,有彩色空间模型年代和D。如果有一个转换D=f(年代),必须有 ;转换f可以是一个色彩空间模型之间的转换年代和D。
第二,无损转换,因为RGB空间是一组整数取得的样本量化器,任何转换和从RGB空间必须可逆转换从整数到整数。
对他的转换RGB:
RGB转换为YUV:
RGB图像从相机获得转换为YUV值在程序中。这是一个公认的转换公式:
4所示。实验和讨论
收集的图像DH-QP300图像采集卡在实验中选择是彩色图像,通常由图像处理程序,都要求要处理的对象是一个灰度图像;之前应该是彩色图片转换为灰度图像图像预处理(22]。
彩色图像是通过混合红(R),绿色(G),蓝色(B)不同比例的原色。灰度是制作的过程R,G,B组件的一个颜色相同的值。的值范围R,G,B是0 - 255,所以灰度图像只能表示256种颜色。
有三个主要的灰度处理方法:最高法:使的价值R,G,B组件值等于最大的3;也就是说, 最大的方法会导致一个非常明亮的灰度图像。平均法:使的价值R,G,B组件等于三的平均值;也就是说, 平均的方法产生一个柔和的灰度图像。加权平均方法:指定不同的值R,G,B组件根据重要性或其他指标,使三个值的加权平均;也就是说,
其中, , ,和的权重是R, G, B组件,分别。 , ,和取不同的值;加权平均法形式不同的灰度图像。实验和理论推导证明= 0.30,= 0.59,= 0.11;也就是说,
可以获得最合理的灰度图像。
根据图像处理的目标要求,有必要把图像变成灰度级图像只有两个;也就是说,图像的关键。让图像的灰度值范围f(x,y在()(一个,b),二值化阈值设置为T(一个≤Tsb);然后,对二值化的一般公式
是一个二进制图像;通常,我们用1来表示对象(黑色区域)和使用0表示背景区域(白色区域)。有很多方法可以选择阈值T;它决定了二进制图像的质量。根据阈值的选择方法T图像二值化的方法有很多,如模式法和阈值法。例如,模式的方法是,当灰度直方图双峰性,对象的灰度和背景,一般来说,他们是附近的两座山峰,硅谷的中心点可以作为阈值;调用此方法模式的方法。然而,在现实中,灰度直方图不是很顺利,而且会有一些小疙瘩生成的局部最小值,这将造成很大的不便,自动判断(23]。更简单的方法是首先平滑灰度直方图,然后选择价值或以选择灰度为中心来检查的两个点k;使用这两个点来判断所选的灰度值,最大值还是最小值点。这样的处理方法会产生一些噪音,但它不会产生巨大影响的判断。
根据指针图像,图像数据进行处理,并且流程如图10。
形成的关键图像分割图像后,根据作者的需求,目标区域的颜色值设置为255,背景区域的颜色值是0,和它的中心点是目标的质心;计算方法是
然后,确定手的质心的位置:
其中,我和j像素的数量的行和列的像素的数量确定手部,分别。
如图,d是距离目标图像的相机,h是高度视觉下的目标,H目标图像的高度,D是实际场景平面的距离中心的相机,f是相机的焦距,所以距离d目标图像的相机可以由以下公式反映,目标和相机之间的距离:焦距=的高度的目标:目标图像的高度,如以下公式所示。
根据上面的公式,我们可以计算 。在这个公式,我们可以测量h,我们也可以获得H根据目标图像分割的信息收集,我们还计算出的值f焦距的计算方法作者的相机焦距f;使用的是设置相机的视角16图像如图11;根据图中所示的三角形11焦距是计算使用公式是2579f= 384 / tan8。根据实际的固定相机高度,图像分辨率 。
其中,每个虚拟手关节的运动关系和其他部件,它可以用数学公式来解释,因为拇指的运动的数学模型,食指,中指,无名指,小指是相似的,作者只解释了腕关节,腕关节的基础上定义的坐标(X0,Y0,Z0);它的X0-axis点在前臂掌骨的食指。的Z0-axis平行于旋转轴的腕关节,和Y根据右手法则0-axis定义。定义了腕关节坐标系WR在腕骨(XWR,年,ZWR)米是周围的腕关节的旋转角XWR轴,什么时候φ= 0°、手掌和前臂在一条直线,和基本坐标系手腕坐标系统是一致的。由此,齐次变换矩阵的腕关节坐标或者说是基本坐标可以推导出:
视觉图像的像素坐标和距离信息的虚拟手,在3 d世界的映射信息,是图像的坐标点信息和距离信息,转换为虚拟世界坐标系统根据坐标变换。根据前一节的知识,点(x,y)都是像素坐标,坐标点,反映了图像二维阵列收集到内存中,是一个二维坐标点,如图12是图像的坐标系坐标。
引入视觉目标跟踪虚拟软件平台,介绍了具体工作的介绍,和理论分析了图像位置和距离和深度反思。根据六组手势,特征值,作为一个固定的姿态模板;因此,通过设置虚拟手势的识别,实现相应的钢琴键发音,达到本文研究工作的目的(24]。
5。结论
根据作者想要实现是使用单眼CCD相机拍照的目标,收集到的图像发送到计算机进行处理,得到对象的特征信息,利用相机成像的原理,提供信息的虚拟对象的位置和深度。因此,作者第一次意识到图像采集和处理的硬件建设;的基础上开发工具包提供的图像采集卡、图像采集是实现通过使用vc++编程,收集图像的预处理和图像分割,图像的特征信息,和颜色平面跟踪是实现。视觉采集和图像处理引入虚拟现实开发平台,并与原系统数据信息的集成实现。现场反映了数据手套的状态信息。虚拟钢琴有14个钢琴键;实施钢琴表演,每个钢琴键;一旦钢琴键大于设置值,就叫m_Wave.Load()来发出声音。根据CWave类的面向对象的vc++ MFC类库,创建一个对象类CWave m_Wave;然后根据m_Wave。Load () function of the CWave class, the connection of the sound is realized. This work involves visual images and virtual reality technology and involves a lot of knowledge content. The research time and the level of knowledge acquired are limited, only for basic knowledge and visual applications under the virtual reality system, make tentative learning and exploration, so there are some deficiencies in the realization of the work of this paper. Because the camera used is often unstable, the captured image will be discolored and disturbed by noise; it has a bad influence on the image processing work. Because the image plane segmentation adopted by the author is relatively simple background, it needs to be improved for complex background. In addition, there are still inherent deficiencies in the image feature information of monocular vision; it is faced with the occlusion problem when the three-dimensional object rotates. Since the author is in the process of mapping the image feature information to the virtual scene, the target image distance reflection information under monocular vision is calculated according to the image pixels, so the depth reflection in the virtual scene can only take a similar value, and the accuracy is not high.
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突的任何金融机构关于报告的材料在这个手稿。
确认
本研究支持的改革和探索音乐教育技能实践课程在OBE和SPOC同构、中国。