文摘

本文研究了摄像机成像原理,分析了相机校正和转换模型。基于张诤友的摄像机标定方法,一个单眼和双眼相机自动校准方法是多通道视觉平台上开发的。相机参数的自动校准使用主机的人机界面实现。基于双目视觉的原理,提出了可行的双目目标点的三维定位方法和评估提供双目在简单环境中目标的三维定位。基于多通道视觉平台设计,图像采集,预处理,图像显示,单眼和双眼自动校准,双目三维定位实验。此外,分析了定位误差,双目视觉模块的有效性验证来证明我们的方法的鲁棒性。

1。介绍

物联网机器人(IoRT)允许物理设备智能监控各种事件,从多个来源收集数据,融合他们提取有用的特性(1]。IoRT使用本地和分布式智能来确定最佳的行动方针。基于这一情报,采取各种行动和对象的实际操作。IoRT允许物联网(物联网)和机械设备交叉通过提供先进的机械特性。IoRT使得实现先进的概念和新颖的应用程序和在行业感到它的存在,企业和其他行业。基于计算机视觉的概念IoRT作品。虽然计算机视觉的研究已经取得了相当大的进展,也有许多争议。根据三维重建由马尔学院的愿景是一个信息处理的过程获得外部世界的描述,即,恢复三维场景图像特征,如边缘点、轮廓,线条,曲线,纹理,灰色的水平,和颜色。的功能也从单个或多个二维图像,然后用来识别,定位,分析三维场景(2,3]。事实上,图像恢复的逆过程往往导致的不可解性或不稳定角的光流场约束方程由于一些病态问题的场景。许多作品进行了这个问题,但是到目前为止,没有真正成功的实用系统。

超过70%的外部信息受到人类是通过视觉获得的。为模仿产品,实现和推广家庭服务机器人的视觉系统是特别重要的4,5]。首先,视觉传感器具有低成本、丰富的信息,和高可靠性。其次,智能服务机器人的环境通常是一个非结构化的室内环境。视觉可以为机器人提供丰富的环境信息,从而达到导航、识别、控制和其他任务。作为一个通用的机器人视觉平台,系统应该有丰富的和普遍的通信接口,以方便信息的交换与各种机器人控制主机(6- - - - - -8]。系统应该有强大的处理功能,因为视觉信息的数据量非常大,为处理器和视频处理的要求是非常高的。除此之外,系统还应具有良好的软件和硬件扩展功能,便于系统功能的扩展。

在1980年代末和1990年代初,一个行为和面向应用的目的论学校出现。提出了主动视觉和定性视觉的概念。它说,更积极的愿景是有目的的,追求的目的。一些场景中的对象需要定量分析,而其他人只需要定性描述(9- - - - - -11]。他们一起完成任务,根据特定的目的。这个观点被批评“重建”学校,它认为“目的论”使用特定任务的限制,以避免和处理事实问题。其次,主动传感技术获取现场数据有许多问题,如单一功能和大噪声的影响,导致其限制的使用场合和对象。另一方面,从最初的遥控机械手的智能机器人与某些智能,机器人已经经历了半个世纪,形成一个独特的信息,能源和材料转换功能系统的机器人。

机器视觉在最近已获得重大关注。事实上,机器视觉作为机器人感觉单位外部信息,它的理论和方法,离不开机器人的大规模系统需求讨论(12- - - - - -15]。在本文中,我们解决所有这些问题和担忧。本文的主要贡献如下:(1)我们开始讨论架构的通用智能机器人和机器视觉研究中针对不同的观点在这个上下文。在分析一般性和特殊性,提出了一个通用机器视觉的研究层次模块化结构方案,和视觉集成传感器支持该系统。(2)使用实验结果,我们证明的有效性和可行性设计3 d机可视化智能机器人体系结构。

剩下的纸是组织如下。节2,我们现在所需的平台设计一个机器人视觉系统。节3,我们将讨论实现双目相机的3 d视觉位置。节4,实验过程和结果分析进行了讨论。最后,本文的结论和未来的研究方向提供了部分5。

2。平台设计的机器人视觉系统

图像可以根据他们的描述属性分为两类:内在和nonintrinsic。前者是指代表的客观特征的图像场景和现场与观察者和收集器的性质,例如,最常用的深度图像,每个像素值代表像素之间的距离和相机。后者的物理量不仅现场相关,而且观察者和收集器的性质以及周边环境(16- - - - - -18]。一个典型的表现是灰色图像。每个像素反映了接收到的光的辐射和反射的观察者。上面提到的完成视觉任务是解决这个问题的恢复从nonintrinsic图像内在特征。noneigenvalue图像的成像过程是一个堕落的转换的过程,很多的物理场景是混在noneigenvalue图像信息,但这些信息并不完全迷失了方向。总有很多图像中的冗余信息,和各种处理技术(如距离变换)可以用来消除退化和“恢复”的内在特征。为了恢复现场,有必要直接收集内在图像或nonintrinsic含有立体图像信息。这样,某些图像采集设备(成像设备)和一个特定的图像采集方式(成像模式)是必要的。在接下来的部分,我们首先讨论设计一个图像采集设备系统架构。

2.1。图像采集装置的设计

辐射成像设备是由外部刺激(可见光的辐射等)转换成电信号,然后这个信号响应转换成数字信号,可以用电脑处理。有两个函数的图像采集设备。一个是接受激发,另一种是模拟信号的转换。有很多种图像采集设备,通常包括视频源和视频采集。当然,数字技术使人们有可能将这两个函数集成到包装设备,如数码相机硬件(19]。考虑到成熟,优势,技术和环境适应性,摄像头和采集卡的结构组成仍采用目前在移动机器人视觉系统(上半年图1)。图像捕捉卡的硬件将带来更大的灵活性和性能改进。一般来说,显卡集成用户转换、信号放大、滤波、和其他信号的处理。随着技术的进步和制造业的发展,一些卡片还集成功能,通常由软件完成,如直接压缩成一个特定的数据格式(如MPEG4)甚至矩阵运算,这将大大加快数据处理。

目前,充电源设备主要用于视频设备。是一种固态摄像装置可以通过电荷存储、传输和读出。阅读噪音低的优点,大动态范围和高响应灵敏度。随着技术的不断进步,其分辨率逐渐改善,和颜色恢复正变得更为现实。这是一个高成本效益的成像设备。CCD的工作原理是,物体反射光线,传播的镜头。镜头聚焦于CCD芯片。根据光线的强度,CCD积累相应的费用和定期排放产生电信号代表图片(20.]。经过滤波和放大,生成标准的复合视频信号通过相机的输出终端。CCD相机的是主要的传感组件。它有高灵敏度的特点,失真小,寿命长,防振、防磁的,体积小,没有残留的影子。CCD光可以改变成电荷,电荷存储和传输,取出存储电荷改变电压。因此,它是理想的镜头元素。这是一个新设备,而不是传统的摄像管传感器。因为颜色信息的丰富性和重要性,我们使用彩色CCD作为图像收集器。图像采集流程如图1。

导入视频数据的采集卡是过程或混合的视频和音频输出从其他数据源的数据进入计算机,将它们转换为数字信号的处理和存储这些信息。这个模拟数字转换芯片进行收购或相关软件在视频采集卡,以便采集卡可分为实时采集卡和nonreal-time采集卡。根据数据源,它可分为三类:数字采集、模拟收购,和数模收购。考虑到多个视频源需要构建立体视觉,多通道采集卡将更加可行。如上所述,数据压缩是极其重要的在这种情况下。因此,采集卡具有以下功能:硬件压缩,1卡多路传输,实时模拟的收购。

2.2。系统结构

在我们建议的方法,成像主要取决于位置和运动的三个来源,视频源和风景。最简单的部分是单眼成像,它使用一个视频源从现场拍照在固定位置。由双目立体视觉的感知距离的方法暗示。两个视频来源用于获取同一场景的图像在一个位置。视差产生的两个图像之间是用来帮助找到视频来源和对象之间的距离,实现三维信息的感知。原则上,它是基于三角测量。因此,实现的具体方法并不局限于使用两个摄像头作为视频的来源。例如,也可以使用一个摄像头来拍摄同一场景的图像在多个位置,并使用超过两个摄像头图像从不同地点同一场景。

让我们分析和比较常用的立体成像方法。首先,阐述了双目视觉的一般原则。图2是一个最简单的例子。

在这个图中,和是左右摄像机的镜头中心,它们之间的距离是什么b(称为基线),和摄像机之间的焦距f。在这里,P是表面的对象。上的投影点两个摄像头是统治者,之间的距离P和中央的两个摄像头的镜头d的垂直线和地平线是和 ,P的地平线的垂直线是B,以及扩展之间的交点和中央线的镜头C。通过这种方式,很容易得到对象点和相机之间的距离从两双三角形:和 , 和 。

很明显,d有关b和 ,其中一个叫做视差由P两看飞机。视觉系统,b和f是已知的,所以实现测距的关键是获得视差,即达到对应的投影点之间的空间中的一个点左右图像,图像配准的过程。

双目成像的原理很简单,但是图像配准仍然是一个困难的问题。立体匹配是立体视觉中最困难和重要的一步。当一个三维场景投影到二维图像,同一场景的图像将会非常不同的在不同的观点,许多变化和不可预测的因素,如光照条件下,噪音,场景的几何形状,和相机的特点,集成到一个单一的图像彩色/灰度值。相反,这是一个病态问题,确定三维信息从单一图像彩色/灰度值,而到目前为止还没有解决好。双目为对应点注册有一个很大的搜索空间,这通常是复杂的。因此,提出三目的注册方法,也就是说,采取三个图像对象的同时,以增加注册和简化注册的约束问题。

接下来,我们讨论了光位移成像和结构光成像。前者的基本原理是,同一场景的亮度不同照明条件下不同,所以物体的表面取向可以通过光移动图像,这是不同于其他几个技术,所以绝对不能获得深度信息,但可以获得物体的表面形状的描述。因为我们的移动机器人在未知环境中移动,很难控制移动光源,我们不认为这种技术。后者是解释的表面形状由投影模式收集风景。这个方法可以解决光源和收购和旋转的风景。它也可以解决风景和移动的光源和收购的风景。随着科学技术的进步,特别是各种新型传感器的出现,更意味着获得距离出现。如果一只眼睛在双目视觉被激光源、光源产生一系列的点或线激光照射物体表面,和照明部分是由感光相机记录的,可以直接获得深度信息。然而,其他物体的表面信息将被忽略。机器人视觉信息采集系统的原理图如图3。

三目的和multiocular成像,包括多个摄像头的标定,主要用于三维重建在虚拟现实人机交互等领域。对于移动机器人,他们的环境的不确定性会带来许多不可预知的因素。与此同时,一些环境信息的处理也需要一些实时要求(如避障)。因此,太复杂成像方法将有许多实际应用的局限性。因此,一般的移动机器人系统采用双目视觉信息的成像。然而,对于未知的环境中,机器人面临的任务不仅是确保他们可以安全地避开障碍物和移动平稳,但也获得尽可能多的环境信息以实现识别未知的过程。真正的客观环境是三维,重建三维环境自然成为认知的一个重要方面。因此,我们也足够重视这个函数在我们的系统。显然,现有成像方法无法满足在未知环境中移动机器人的视觉系统。多个成像方法的结合将是一个值得考虑的事。 Considering the above-mentioned imaging methods and system requirements, we decided to construct a visual platform by combining binocular imaging and monocular imaging, in order to make full use of the advantages of various imaging methods. Redundant design methods will lead to the avoidance of using a single method as far as possible, while information fusion and flexible combination of imaging methods will bring higher reliability, flexibility, and fault tolerance.

3所示。实现双目相机的3 d视觉位置

在本节中,我们讨论的3 d视觉位置双目相机。首先,我们讨论双目相机校正的实现部分3所示。1其次是双目三维定位目标点的部分3所示。2。

3.1。实现双目相机校准

双目视觉是指同时成像领域的重叠部分的两个摄像头。匹配算法获得的图像位置相同的空间点在两个相机。匹配算法的基础上,实现三维场景的位置根据两摄像机的内部参数和空间位置和态度之间的关系两个摄像头。双重目标确定的任务是确定两个摄像机的内部参数和相对位置之间的关系和态度两个摄像头。两款相机的内部参数可以通过执行单一目标标定算法,以及它们之间的空间相对位置和姿态的关系可以通过改变两个摄像机的外部参数相同的位置校准目标。

当目标设置在一个特定的位置,从世界坐标系的变换矩阵左眼的相机(即。外部参考矩阵的左眼的相机)R₁,从世界坐标系的变换矩阵右眼相机(即。外部参考矩阵的右眼相机)R₂]。然后,之间的关系 点在世界坐标系中 正确的相机坐标系和坐标 坐标在左摄像机坐标系统满足以下公式:

双方都能得到相同的 :

同一点的坐标变换关系左右摄像机可以获得如下: 也就是说,位置和姿态变换矩阵左、右摄像机 。

双目自动校准软件的过程如图4。

3.2。实现双目三维目标点的定位

根据摄像机成像的分析转换和目标点的三维定位的原则,重点和目标点的两个摄像头可以转换成相同的坐标系统通过一系列的坐标变换。在本文中,我们选择将它们转换为摄像机坐标系的左眼的相机,然后用这四个点建立成像光的两个方程。通过求解这两个方程组成的方程组,可以得到目标点的坐标的坐标系统。然而,由于以下原因,这种方法在实际应用几乎不可行:(1)首先,有一定的差距实际相机和摄像机简化模型,和相机满足理想的相机模型实际上是不存在的(2)其次,相机校正的过程中,由于摄像机模型的简化,数码影像的离散化和数值解的计算过程中引入的错误,它几乎是不可能的两个转变成像射线相交线(3)最后,即使两个成像射线相交,这是一个相对困难的问题直接解决的方程参数改变在任何时候通过数字方法

基于上述原因,为了实现目标的三维定位,本文采用的方法恢复两个成像射线,使用的方法解决点常见的垂直的线段的空间非均匀直线来近似代替目标点的位置,并给出了常见的垂直的线段的长度计算的可信的误差范围。在解决问题的过程中,成像的一般方程左边的相机设置如下:左相机的成像光不能通过摄像机坐标的原点XY平面的摄像机坐标系与此同时,和左相机的成像光线必须通过摄像机坐标的起源。

同样,光成像的一般方程正确的相机设置为

的参数 的一般公式是由图像的坐标点,专注点的坐标转换为左眼的相机。

根据解析几何的理论,算法解决常见的垂线的长度和两条直线的中点坐标可以通过编写C语言代码实现。双目三维定位算法的软件流程如图为目标点5。

本文研究了摄像机成像原理,分析了相机校正和转换模型。基于张诤友的摄像机标定方法,一个单眼和双眼相机自动校准方法是开发一个多通道视觉上平台,实现自动校准相机的参数调用下主机的人机界面。基于双目视觉的原理,提出了可行的双目三维定位方法的目标点,和算法实现的程序编译为实验提供基础的双目在简单环境中目标的三维定位。

4所示。实验过程和结果分析

在本节中,我们首先讨论图像采集和预处理之后,单眼和双眼相机的标定。

4.1。图像采集和预处理

本文设计的多通道视觉平台最多支持四通道视频输入。图像采集和预处理的实验来验证系统的输入输出接口控制的有效性和系统的双核架构的能力来协调工作。实验中使用的软件结构的单通道图像采集和预处理,如图6包括三个部分:PC用户界面程序,嵌入式系统管理程序的胳膊,预处理算法在DSP程序。

程序的执行过程,当一个预处理算法指令按在电脑上的用户界面,电脑发出相应的控制命令字符串嵌入式系统通过串行端口。接到命令字符串后,嵌入式系统管理程序上运行的ARM处理器启动视频采集线程依次通过修改全局控制变量。控制CCD摄像机获取图像,并将图像存储在相应的内存空间,开始算法调用线程,调用相应的预处理算法的DSP处理器执行程序,实现相应的收集到的图像预处理,控制视频后端显示处理图像的电视。之后,通信控制线程监控网络端口和串口的指令,决定是否向主机传送处理过的图像根据指令状态的网络端口,改变了预处理算法,或者终止的处理程序根据指令串行端口。

4.2。单眼和双眼相机的自动校准

如图7,单眼和双眼相机的标定算法自动校准测试运行在PC和嵌入式图像采集系统运行的模式。它接收主机的指令提供单一或多通道图像信息收集的主机和显示视频信息电视摄像机。

在个人电脑用户界面,按单一目标或双目标定按钮开始校准程序。然后,根据提示信息显示在电脑的用户界面,校准目标的立场和态度可以改变,这样系统可以获得10有效完成校准标定图像的情况下确保整个校准目标的视野。标定结果显示在人机界面。同时,系统将校准结果存储在文档形式和节省10校准JPEG格式的图像。为了评估的结果自动校准算法,10校准图像自动校准与标定校准中使用MATLAB工具箱。校准结果的比较如表所示1。

与MATLAB工具箱的校准结果相比,焦距校准的误差约为5%,与图像中心的偏差基本上是零。自动双目标定的结果如表所示2和图8。

实验表明,该自动校准方法是可行的。校准值的有效性需要进一步验证了三维定位实验。

4.3。双目三维定位实验

如图9,双目三维定位实验系统类似于图像预处理实验系统,它由三个部分组成。三维定位算法在DSP上运行,处理结果显示在电脑通过网络通信的用户界面。

双目定位算法对错误十分敏感Z沿光轴方向()。对比位置输出和测量数据如表所示3和图10。

的可靠性提出了双目定位实验,验证了三维定位方法和双目自动校准的结果的有效性是间接证明。定位结果和实际测量结果之间的误差在2米的范围小于10厘米。更大的错误主要发生在的范围Z坐标小于50厘米,大于150厘米。错误的主要来源有两个方面。一方面,有一个差距定位方法建立的数学模型和实际的摄像机成像模型。定位模型算法本身是敏感的Z方向错误,导致一个更大的错误当Z坐标大于150厘米。另一方面,由于错误引起的图像失真在相机成像在测距模型,不考虑切向畸变的图像有一个更大的对结果的影响Z坐标更小,这将导致更大的错误Z坐标是小于50厘米。

5。结论

使用人类智能系统,结合人工智能和计算机视觉的理论和方法,本文提出了一种可重构移动机器人智能系统的视觉部分并研究相应的结构的硬件和软件水平。现有工作的基础上,采用函数展开法逐步提高每个模块,这样就可以达到预期的效果的支持下一个大的系统结构。相机的成像原理研究,相机校正的转换模型进行了分析。根据张诤友相机标定方法,single-binocular相机的自动校准方法是建立在多通道视觉平台,和相机自动参数在人机接口实现。一个可行的双目目标点的三维定位方法提出了基于双目视觉的原理,以及算法的实现提供了双目三维定位目标在一个简单的实验环境。最后,图像采集、预处理、图像显示、单引号和双眼睛自动校准,双目三维定位试验研究通过实验结果和评价。分析了定位误差验证双目视觉模块的有效性。

数据可用性

所有数据可以要求获得相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了学院的机械工程、太原科技大学、山西。