每只眼睛是由三个互补双眼外肌肉,如图 1(一)。每只眼睛的运动是旋转的全球眼插座的头骨。因为最小的翻译在其运动,眼睛可以被视为一个球形关节方向定义为三个轴的旋转(水平、垂直和扭转)。但在我们的模拟器的实现和发展,没有翻译为简单起见我们把眼球运动。

内侧腹直肌转眼睛向内,从而向外横向腹直肌。因此,它们形成一对控制眼睛的水平位置。在收缩的两内侧腹直肌和腹直肌外侧,另两对肌肉的行为更加复杂。当眼睛集中在轨道,上级伪劣腹直肌的主要效应是旋转或旋转。然而,当眼睛是倾斜的水平轨道,这些肌肉也有助于扭转,眼睛的转动视线决定取向的视网膜上的图像。

上级伪劣斜的主要作用是把眼睛向下和向上当眼睛不偏离水平位置。上直肌和腹直肌。此外,这些肌肉还确定眼睛的垂直方向。

光滑的追求眼球运动缓慢旋转的眼睛来弥补任何运动视觉目标,因此采取行动减少目标的视网膜图像的模糊,就会出现这种情况。我们实现平滑的目标跟踪,通过视觉反馈不断调整目标的图像(视网膜图像)。

SPM的运动学特征和眼球运动的机制非常相似 29日]。都有一个三自由度球面运动和旋转地球是球体的中心。SPM也有结构紧凑、优良的动态性能,精度高,所以三自由度SPM符合结构设计的仿生眼复制的眼球运动。

眼球被看作是一个球体,旋转中心旋转。灵感来自眼球运动的机制和主动机器视觉,我们提出一个新的基于SPM仿生眼的原型,它是由一个eye-in-hand系统如图 1 (b)。

因为眼睛是自由旋转在三维空间中,眼球视网膜图像能保持稳定的小窝时跟踪移动目标。在我们的工作中,我们提出了两个要点结构性需求启发人类的眼睛:(1)相机中心必须位于中心的“眼球”,以确保图像平面的角度旋转的两个不同位置之间保持相同的“眼球”;(2)眼球运动的过程中,除了“眼球”不能超过任何机械组件的平面的中心范围尽可能确保当发生“眼球”的运动时,他们不会阻止相机的视线,不干扰机器人的脸。

人眼伏尔,前庭神经系统的信号与速度,由半圆管编码,用于驱动头的眼睛在相反的方向运动。刑事和解在前馈模式下操作,因此需要校准,以确保准确的调零头的运动。简单的“three-neuron弧”,加上眼睛的相对简单的力学,长期以来的刑事和解有吸引力的模型实验和计算神经科学家试图了解小脑的功能。废除整个视网膜图像运动,前庭信号必须被处理的神经回路补偿动眼神经的工厂的机械性能。因此,VOR汽车工厂赔偿的一个特定的例子。水平和垂直和头部角度和线性运动激发的适当组合六眼外肌肉在三维空间中。

球面并联机构由一个上层和一个基地,通过三对相同的运动子链如图 2。在每一个链,有一个固定的转动关节 z 我 和两个自由转动关节 x 我 和 y 我 连接近端与远端和远端链接链接到上层,分别。所有转动关节的轴线相交于一个共同的观点 O 这称为旋转中心。飞机穿过点 O 并成为与基地称为球面中心平面,也视为眼球的清单的飞机。 α 1 , α 2 , β 1 , β 2 , η 这种机制的参数,在哪里 α 1 和 α 2 低的结构角链接和上链接, β 1 和 β 2 是half-cone角上平台和基础,然后呢 η 是初始状态的结构扭转角的平台和基础,也就是说,最初的扭转角。

图 2演示了我们的SPM平台的运动学,SPM的运动方程是由( 30.] (1) θ ˙ = J α 1 , α 2 , β 1 , β 2 , η , ϕ x , ϕ y , ϕ z ω , 在哪里 θ ˙ = θ ˙ 1 , θ ˙ 2 , θ ˙ 3 是角速度向量输入电机的, ω = ω x , ω y , ω z 是角速度向量上的输出平台,然后呢 J 是雅可比矩阵决定由机械参数吗 α 1 , α 2 , β 1 , β 2 , 一个 n d η 和眼球的姿势 ϕ x , ϕ y , 一个 n d ϕ z 。 α 1 和 α 2 是较低的链接和上链接的结构角度,分别。 β 1 和 β 2 基础和上层平台的角度。拟议的PTZ平台也有类似的运动学人眼,如图 3。

颜色直方图是一个共同的目标模型的统计不同的颜色在整个图片的比例没有关心每个颜色的空间位置。因此,它不是旋转而敏感,而是适用于非刚性的或容易变形建模目标对象。目标基于该模型容易受到背景类似的颜色分布或其他干扰,从而导致目标跟踪失败。在这篇文章中,我们改进粒子滤波算法基于一种新的目标模型,spatiogram [ 31日),将像素坐标信息添加到传统的颜色直方图和使用SKL度量。二阶spatiogram可以描述如下: (2) h b = n b , μ b , Σ b , b = 1 , … , B , 在哪里 B 间隔的总数和吗 n b , μ b , Σ b 每个区间的概率是,坐标的意思是,和协方差矩阵,分别。它们可以使用公式计算如下: (3) n b = 1 N ∑ j = 1 N δ j b , μ b = 1 N ∗ n b ∑ j = 1 N x j δ j b , Σ b = 1 N ∗ n b - - - - - - 1 ∑ j = 1 N x j - - - - - - μ b x j - - - - - - μ b T δ j b 。 B 在目标区域内像素的总数, x j = x j , y j T 的坐标位置吗 j th像素, δ j b = 1 表示, j 像素是量子化的 b th间隔,而 δ j b = 0 表明, j 像素是量子化的其他间隔。

为了将spatiogram应用于目标跟踪,我们需要选择一个方法来衡量之间的空间直方图的相似度度量目标和候选目标。我们选择SKL-based相似系数的相似性度量来衡量目标spatiogram h b = n b , μ b , Σ b 和候选目标spatiogram h ′ b = n b ′ , μ b ′ , Σ b ′ 。

给定一个spatiogram h b = n b , μ b , Σ b 中,我们使用一个高斯分布来描述每个部分中的所有像素的空间分布。的分布 b 部分可以被描述为 (4) f b x = 1 2 π Σ b 1 / 2 经验值 ⁡ - - - - - - 1 2 x - - - - - - μ b T Σ b - - - - - - 1 x - - - - - - μ b , 在哪里 μ b 是所有的平均值坐标的像素 b th间隔和 Σ b 是指的是协方差矩阵的坐标的像素 b 时间间隔。

KL距离高斯分布 f b x 和高斯分布 f b ′ x 可以得到一个封闭形式的解决方案是使用以下公式计算: (5) K l f b ∥ f b ′ = 1 2 日志 ⁡ Σ b ′ Σ b + T r Σ b ′ - - - - - - 1 Σ b - - - - - - d + μ b - - - - - - μ b ′ T Σ b ′ - - - - - - 1 μ b - - - - - - μ b ′ , 在哪里 d 是空间维度(spatiogram, d = 2 )。同样,我们可以得到KL距离高斯分布 f b ′ x 和高斯分布 f b x : (6) K l f b ′ ∥ f b = 1 2 日志 ⁡ Σ b Σ b ′ + T r Σ b - - - - - - 1 Σ b ′ - - - - - - d + μ b ′ - - - - - - μ b T Σ b - - - - - - 1 μ b ′ - - - - - - μ b 。 SKL距离两个高斯分布的 f b x 和 f b ′ x 是 (7) 年代 K l f b ∥ f b ′ = 1 2 K l f b ∥ f b ′ + K l f b ′ ∥ f b , 年代 K l f b ∥ f b ′ = 1 4 T r Σ b ′ - - - - - - 1 Σ b + T r Σ b - - - - - - 1 Σ b ′ - - - - - - 2 d + 1 4 μ b - - - - - - μ b ′ T Σ b - - - - - - 1 + Σ b ′ - - - - - - 1 μ b - - - - - - μ b ′ 。 一般来说,相似的范围 ( 0 1 ] ,相似 ψ b 每一对的spatiogram可以被描述为间隔 (8) ψ b = 经验值 ⁡ - - - - - - 年代 K l f b , f b ′ 。 因此,基于SKL spatiogram距离的相似性可以计算的 (9) ρ h , h ′ = ∑ b = 1 B n b n b ′ ψ b = ∑ b = 1 B n b n b ′ 经验值 ⁡ - - - - - - 年代 K l f b , f b ′ 。

根据( 11),我们可以得到 (10) ρ h , h ′ = ∑ b = 1 B n b n b 经验值 ⁡ - - - - - - 1 4 T r Σ b - - - - - - 1 Σ b ′ + T r Σ b - - - - - - 1 Σ b ′ - - - - - - 2 d + 0 = ∑ b = 1 B n b 经验值 ⁡ - - - - - - 1 4 d + d - - - - - - 2 d = ∑ b = 1 B n b = 1 。

这表明基于对称spatiogram的KL距离的相似性度量方法确保对象最相似的目标。

当图像中目标识别,视觉反馈跟踪控制策略提出了控制仿生眼植物机制来减少跟踪误差函数,也称eye-in-hand视觉伺服( 32, 33]。因为SPM之间的相对距离和移动目标很大,如果误差函数定义在任何3 d参考坐标系,粗估计之间的相对姿态SPM和移动目标可能导致移动目标的视野,同时调整SPM伺服机制,也影响姿势达到收敛后的准确性。在我们的项目中,使跟踪控制更健壮和稳定,我们定义了一个跟踪视觉传感器坐标系误差函数,这是由( 32, 33] (11) e t = 年代 t - - - - - - 年代 ∗ , 在哪里 年代 t 和 年代 ∗ 是所需的测量和跟踪移动目标的质心的位置对图像平面,分别。在我们的工作中,我们设置 年代 ∗ = ( 0,0 ] T 一个常数,捕获的图像的质心。

PTZ视觉系统的基础上,建立坐标系,如图 3。假设物体的运动是未知的;我们如何控制PTZ平台的运动,使运动物体的投影是固定在图像平面的中心,在充分考虑动态效应的“眼球”?为了使 z 设在相机坐标系配合的目标通过调整相机的姿势,我们必须补偿之间的偏移角相机和目标。我们雇佣了一个针孔摄像机模型获得更准确的摄像机投影。一般针孔相机模型后,相机的内在参数模型方程给出 (12) u v 1 = f x 0 u 0 0 f y v 0 0 0 1 x c z c y c z c 1 , 在哪里 u , v 表示图像目标在图像坐标系的坐标。 u 0 , v 0 主要的点的坐标。 x c , y c , z c 是目标相机坐标系中的坐标。 f x 规模因素吗 x 坐标方向, f y 规模因素吗 y 协调的方向发展。

为了保证目标跟踪领域的中心,我们需要使目标躺在光轴。目标的位置通过光学轴为代表 0,0 , z T ,在那里 z T 相机和目标之间的距离。方向是 (13) x c y c z c = 因为 ⁡ α - - - - - - 罪 ⁡ α 0 罪 ⁡ α 因为 ⁡ α 0 0 0 1 因为 ⁡ β 0 罪 ⁡ β 0 1 0 - - - - - - 罪 ⁡ β 0 因为 ⁡ β 1 0 0 0 因为 ⁡ γ - - - - - - 罪 ⁡ γ 0 罪 ⁡ γ 因为 ⁡ γ 0 0 z T 。

最后,我们可以推断出目标和相机之间的角偏移的视线: (14) α = 反正切 ⁡ u f x - - - - - - u 0 f x , β = 反正切 ⁡ f x f y v - - - - - - v 0 2 f x 2 + u - - - - - - u 0 2 。

在我们的实现中,镜头中心位于中心的“眼球”,这样两个不同职位之间的图像平面的角度保持一致,“眼球的转动。“三自由度SPM满足眼球运动的原则;相机可以安装在SPM,积极面向周围(水平、垂直和扭转) x 设在, y 设在, z 分别设在。我们考虑最小的翻译在眼睛的运动,实现我们的眼睛植物系统没有翻译为简单起见。所以我们的视觉跟踪策略适用于所有spm没有翻译。

在视觉跟踪部分,我们如何确定移动物体的位置。相对位置决定了我们的视觉跟踪策略。眼睛绕垂直旋转” z 设在”是由外侧和内侧腹直肌的肌肉控制,导致眼球运动向左或向右。旋转横” y 设在”是由上级和劣质的腹直肌的肌肉控制,提升和降低了眼睛。最后,旋转前后的” x 设在“导致逆时针以及眼睛向上和向下运动。参见图 1(一)和 1 (b)。我们的模型接收视觉制导信号控制眼睛的植物;看到( 14)。与此同时,机器人运动信息是美联储在控制回路。我们整个bioinspired跟踪系统见图 4。众所周知,刑事和解基本上是由从内耳的前庭器官的信号。半规管(SCs)检测头旋转和驱动旋转刑事和解;另一方面,耳石检测头翻译和驱动平移。解剖学和生理学家倾向于从事刑事和解作为一个简单的神经系统由three-neuron弧和显示不同的功能。从前庭系统,SCs被激活的头旋转和把他们通过前庭神经冲动通过脑干神经元和眼球运动的装置。在这里,我们使用IMU收购姿势改变机器人的眼睛。

当机器人在崎岖不平的环境中工作,严格的疙瘩和脉冲抖动造成重大动荡的发生频率和高姿势改变频率较低。因此,机器人的运动信息获取和向前输入控制器补偿外部干扰。在[ 34),一个活跃的视觉误差补偿模型提出了根据刑事和解的原则( 15)。在这里,我们使用我们的提议bioinspired控制器补偿运动扰动引起的颠簸抖动。因此, (15) E 年代 = H 年代 - - - - - - α T v T n 年代 2 年代 T v + 1 年代 T n + 1 + e 年代 λ 年代 + γ + k e - - - - - - l 年代 年代 T 问 T n 年代 T n + 1 , 在哪里 e 年代 = - - - - - - H 年代 + E 年代 是视网膜滑错误, H 年代 表示的旋转角头, E 年代 就意味着眼球的旋转角度。 α , λ , γ 代表头旋转的速度信号的收益,视网膜滑动的速度信号,和神经纤维的飙升displayment造成的视网膜,分别。 k 小叶的价值补偿重量是误差信号引起的视网膜。在我们的系统中, α , λ , γ 等于1, k = 2.5 。结合位置补偿和速度补偿的眼球,我们的系统是用来建立一个平滑跟踪系统。