NAO是一个集成的、可编程的中型机器人仿人机器人由毕宿五。NAO成为(版本V3.3)是一个58厘米,5公斤的机器人,与远程计算机通过IEEE 802.11 g无线或有线以太网链接。国家审计署的有21个自由度和特性不同的传感器。因为我们感兴趣的手臂动作,我们控制三关节机器人的左肩和肘部(图 1(c)):肩(关节1),手肘偏航(关节2),和肘部辊(联合3)。

接口与神经网络机器人,能够运行在实时频率1 kHz,一个稳定的更新频率是一个严格的要求。出于这个原因,指挥机器人通过设备通信管理器(DCM)。DCM的软件模块负责与所有电子设备通信的机器人(板、传感器、执行器等)。这是高级功能和底层控制器之间的联系。扩张型心肌病有单独的实时线程运行每10毫秒,从而保证稳定的100 Hz刷新率。

NAO机器人不能直接控制电机转矩/电流,但只有在适当的位置。这个禁止身体扰乱手臂达到运动任务与外部力量。在力较低的情况下,机器人手臂就会达到理想的角度,而对于高力马达会停滞不动。因为这个原因,使用两种不同的轨迹:一个理想轨迹作为所需的路径和另一个 摄动轨迹,纠正的网络使用关节角误差作为学习信号。

因为网络优化过程将需要数百个测试,我们使用一个机器人叫做Webots模拟器。这个模拟器允许启动一个模拟NAO移动在一个虚拟的世界,提供一个安全的地方在部署之前测试的行为在一个真正的机器人。考虑提供的级别的控制SNN DCM和不可预测的行为,特别是在优化阶段,模拟器是理想的测试如何影响电动机的命令和防止危险命令发送给真正的机器人。NAO虽然是一个非常准确的模拟,与任何其他模拟器一样,一些nonidealities不考虑(如非线性摩擦、传感器错误,和电动机过热)。

在这项工作中,cerebellar-inspired SNN,基于以前的版本,测试( 12, 13),被用来证明其适应能力在一个复杂的运动任务。使用的小脑的神经网络具有以下结构(图 2(一个)),建立了小脑的生理研究中获取灵感,与神经科学家紧密合作。SNN是由6480漏水的集成和火复制小脑神经元微电路:300苔藓纤维(MFs),第一个输入小脑的网络,组织在6组,每组50个细胞:3组,每个关节的控制,一个编码信息所需的位置和3组编码信息所需的速度;6000颗粒细胞(吉),生成一个稀疏表示的输入;72劣质橄榄油神经元(IOs),第二个输入小脑,各自爬纤维(CFs);IOs分为6组,每组12个细胞,3组,每个关节,一个编码的错误和其他3组编码负面的;72浦肯野细胞(pc)的集成商稀疏状态信息通过平行纤维来自一个集选区(PFs)通过CFs来自IOs的错误信息;36深小脑核神经元(DCNs公司),这是唯一的小脑microcomplex的输出,因此产生小脑输出变量,分成6组,两个为每一个关节,一组控制积极的补偿(即错误。受体激动剂肌肉)和其他补偿负(即错误。,对手的肌肉)。

三个接口(图 2 (b))实施,将模拟信号转换为扣球活动通过网络反馈(输入),反之亦然(输出)。

MFs的第一个界面计算输入电流和径向基函数(RBF)的方法。当前的 我 t 用于增量膜电位 V 米 t 曼氏金融。RBF中心分布在感官维度,同样的宽度调整以确保小重叠连续MF的反应。一维的当前值转化为多维向量,每个RBF一个。每个MF都有自己的接受域编码模拟信息,规范化−1(最小值)和1之间(最大值)。

第二个接口将联合错误转换成IO峰值。这些神经元发射率较低(小于10 Hz),可以防止高频误差信号的表示相关的任务是学习。这个问题可以利用不规则放电IO的统计抽样整个误差信号在多个试验。已经观察到的时间分布峰值IOs股票的泊松模型相似的特征。IOs火随机行为动物在休息和反应后的眼在猴子和arm-motion任务。这个随机特征发射增强输入-输出互信息尽管CFs超低发射率( 16]。发射率与峰值的泊松模型生成和复制,在每一个时间步,IO峰值的概率是随机生成的,误差大小成正比。这种方法被用来生成独立的峰值模式在多个输入输出神经元。因此对于每个IO,射击概率独立之前的活动和其他活动的激增IOs ( 17, 18]。大量证据支持在CFs误差信号和运动学习和误差信号之间的比例飙升CFs验证活动( 19, 20.]。

第三个界面解码宽带峰值模式模拟角值。首先,每一个宽带的瞬时燃烧率计算,然后积极的和消极的宽带发射率平均移动时间窗的200个样本(即。200 ms)。小脑的输出是通过计算平均净区别这两个的意思是宽带发射率(正面和负面) 12]。

由于这些接口,SNN可以集成到机器人平台控制器,与前馈预测控制器的功能。

SNN神经元连接的三种可能的方法: (我)

联系:兴奋性突触的突触前神经元的动作电位发生动作电位的概率增加突触后细胞。有兴奋性之间的联系MFs和集选区,MFs和DCNs公司之间,集选区制度和个人电脑之间。

根据神经生物学的研究,已确定三个可塑性网站在人类小脑:PF-PC兴奋性连接的水平;在MF-DCN兴奋性连接;和PC-DCN抑制水平的连接( 21- - - - - - 24]。

SNN模型配备三可塑性网站,在皮质(PF-PC)和核(MF-DCN和PC-DCN)水平。每个站点的突触连接三个不同的学习规则,加强或削弱这些联系的长期的修改:长期势差(LTP)和长期抑郁(有限公司)。LTP和公司机制被建模为修改在突触电导(详细描述 13, 15]。一般来说,这三个机制是基于不同的Spike-Timing-Dependent可塑性(STDP),但每一个是根据具体的实验测量机制。第一个可塑性(PF-PC)调节电脑的活动,增加或减少的突触强度连接IO的监督下活动。第二个可塑性(MF-DCN)也是一种监督学习规则;在这种情况下,电脑活动的调制信号影响突触权重。第三可塑性(PC-DCN)是一种无监督标准STDP重量修改在哪里独特由突触前的时机(PC)和突触后神经元(宽带)。

对于网络的初始化突触权重,我们称为生理值。曼氏金融活动将由约50赫兹频率,通过调整背景随机活动和重叠和贝尔rbf的宽度。MF-GrC已经设置权重来实现一个集选区3 - 6赫兹的频率和GrC-PC重量生产个人电脑的频率- Hz左右。MF-DCN重量是为了有一个宽带频率大约25赫兹在没有电脑抑制(PC-DCN重量= 0)。最后一步是在调整PC-DCN重量、取消宽带活动存在一个稳定的电脑活动45赫兹。

执行实时模拟,我们杠杆EDLUT模拟器 25),一个开源模拟器的SNN提供减少计算负荷,加快网络仿真通过查找表。事实上,一个标准的模拟器(例如,神经元 26],巢[ 27, 28),或布莱恩 29日]),程序必须解决一个或多个微分方程为每个神经元和不能保证实时性能,接口需要一个真正的机器人平台。

我们挑战了SNN 3 d运动适应协议,类似于适应协议基于力场进行人体试验( 30.- - - - - - 32]。理想的轨迹,机器人想要执行的平面圆 0.1 米 半径,在执行 Y- - - - - - Z飞机和中心 Y = 0.1 米 和 Z = 0.1 米 (图 1(一)、蓝线)。当一个意想不到的加载几乎是添加到机器人的手,变形的轨迹偏离了理想的人,向地面(图 1(一)、黄线)。结果,三个关节角控制偏离理想的路径(图 1(b)),因此每个自由度产生正面和负面的错误。

实验协议由30试验分为三个阶段(图 1(d)):第一个是基线阶段,机器人的命令是理想的轨迹和持续了5试验。第二阶段习得阶段,持续了20个试验和机器人的输入摄动的轨迹。最后一个是一个灭绝5期试验,再次输入是理想的轨迹。为了模拟小脑的适应能力,SNN是最小化的目标共同错误,从而减少后续笛卡尔三维空间中的错误。

正如上面提到的,有三种不同的可塑性可以修改SNN的行为的网站,每一个学习的特点是两个参数:LTP和有限公司为了评估为这六个参数的最佳值,蛮力探索已经完成。第一可塑性(皮层可塑性,PF-PC)是学习效果的主要原因,因为它控制电脑的活动,抑制了宽带输出。另外两个可塑性(核可塑性,MF-DCN, PC-DCN)二次效应,影响误差减少性能上更长的时间尺度和强度较低。参数调优与Webot模拟器测试被执行,以防止损害,避免不可预知的机器人手臂运动由于网络的意想不到的行为。

评估网络性能,我们计算一个全球成本函数,我们想最小化。成本函数是两个质量量度的总和。两个指标考虑均方根误差(RMSE)的所有三个关节。对于每一个审判,RMSE每联合计算的 5000年 女士 试验的时间,然后三个均方根平均。的平均均方根误差 我 th 审判是计算 (1) RMSE Avg 我 = RMSE 联合 1 我 + RMSE 联合 2 我 + RMSE 联合 3 我 3 。

第一个质量指标的加权平均计算 RMSE Avg 在收购和灭绝阶段。虽然有较高的错误是正常的在第一个收购试验,一个好的小脑控制器应该逐渐纠正持续的共同错误。这个指标奖励SNN显示一个好的调整的后期阶段收购也低灭绝错误: (2) RMSE 加权 = ∑ 我 = 6 30. RMSE Avg 我 ⋅ 重量 我 25 , 在哪里 (3) 重量 我 = 我 − 4 3 , 如果 6 ≤ 我 ≤ 25 收购阶段 , 4 , 如果 我 > 25 灭绝阶段 。

第二个质量指标措施稳定的修正,计算标准偏差(SD)的试验21 - 25日(即。收购的最后5个试验)。高值的LTP和RMSE有限公司参数可能导致快速变化在采集阶段,但也不稳定。这导致高RMSE的标准偏差,特别是在过去五试验,在最小误差应该已经达到: (4) 性病 = ∑ 我 = 21 25 RMSE Avg 我 − RMSE Avg ¯ 2 5 。

最后,全球成本函数,其最低应该确定最执行模型探索区域,计算正常化 RMSE 加权 和 性病 他们的最大和最小值,从而获得值(0 - 1)之间,然后总结他们获得全球成本价值范围(0 - 2)。

第一可塑性,我们评价一个11×11矩阵, LTP 1 值从0到0.001和0.01的步骤 有限公司 1 值从0到0.05的步骤0.005。探索进行迭代,选择一个LTP值并与所有公司值配对,然后重复这个过程的所有其他LTP值。为每个LTP和组合,完整的协议进行了仿真,最后的全球成本价值计算。第一次探索后,第二个在该地区已经完成全球最低的成本函数,与细步骤,测试其他10×10值。最好的LTP-LTD配置然后被选的调优其他核可塑性。

核可塑性的 LTP 1 和 有限公司 1 造成之前的探索一直固定的,和探索对LTP和有限公司执行参数(例如, LTP 2 , 有限公司 2 , LTP 3 , 有限公司 3 )。评价是类似于第一个可塑性,除了参数范围。LTP和不等 10 − 10 来 10 − 1 ×10步骤。和之前一样,第二个最好的地区勘探确定了。第二个搜索覆盖10×10参数区域集中在最佳参数确定在第一勘探、测试一半的上方和下方的值(例如, 0.5 0.6 0.7 0.8 0.9 1 2 3 4 5 × 10 j ,在那里 j是最好的代指数)。

塑性值被设置后,需要考虑的另一个参数是获得需要转换网络的模拟输出在一个角度值(弧度)。因为每个关节都有不同的范围和幅度不同的错误,一个适当的增益为每个联合使用。找到最优增益值,蛮力勘探勘探总值(即已经完成。,testing gain values ranging from 0.005 to 0.05 with steps of 0.005) and a subsequent finer exploration (i.e., testing 10 gain values centered on the best result of the gross exploration, with steps of 0.001). The gain factor is particularly relevant due to the normalization of the angular values and the error that is given as input to the network. As the network manages values comprised between 0 and 1 for all joints, its output does not consider the differences in the actual angular errors. Therefore, a joint with small angular error will require a lower gain, while more perturbed joints will require a greater gain.

确定了网络参数的设置(例如, LTP 1 − 3 , 有限公司 1 − 3 , 获得 1 − 3 ),产生最好的表现,我们有验证如果(i) SNN能够弥补外部扰动3 d运动由一个物理NAO机器人如果(ii) SNN能够补偿不同扰动模拟和物理机器人平台。

因此,我们执行10测试Webot模拟器和NAO机器人,为了验证控制器的鲁棒性在嘈杂的系统执行相同的协议用于SNN优化。

验证转移小脑模型的学习能力,我们有10测试Webot模拟器和NAO机器人执行协议的变化,与其他3夫妇的理想和摄动轨迹:两个理想圆的变形轨迹(椭圆和一个平方变形)和理想和变形 ∞ 形的轨迹。

使用网络的限制之一是低的输出细胞数量限制的解决修正,导致抽筋的角轨迹。因此,我们测试了一个扩展版的SNN,观察网络的大小可以改变整个表演cerebellar-inspired控制器。每个神经人口增加十倍,保持相同的连接规则解释。所有参数都保持一样的正常使用的网络,获得已经减少了十,为了匹配输出细胞数量的增加。增加的副作用的大小网络实时性的损失是由于要处理大量的峰值。因此,更大的网络测试单个测试而不是通常的10个测试。也在这种情况下,我们还测试了三个额外的轨迹来验证学习的普遍性SNN的属性。

每个可塑性总值勘探后,导致最佳性能参数空间区域,根据开发成本函数,进一步探索。RMSE在所有试验计算10测试,使用参数优化中发现,为了验证SNN在不同阶段的行为。

在图 3(一个),可以看到的影响 LTP 1 和 有限公司 1 的质量更正:有三个主要的地区可以识别。第一个是左下角,太低了,LTP是一贯高(蓝十字)。自有限公司是主要参与者在电脑活动的衰减和随之而来的宽带活动的增加,网络不执行在采集阶段(即。,没有学习)虽然在灭绝阶段表现良好,因为没有额外的负载时过度补偿(图中删除 3 (c)蓝线)。第二个区域是中间的右角,有限公司是高于LTP(绿十字)。宽带运达到高水平的活动,和自校正强,这是最糟糕的地区灭绝阶段。注意,同样在收购,这个区域不是有用的,太快和激进的调整会导致不稳定在这个阶段的最后审判(图 3 (c)绿线)。最后,还有主对角线附近区域,我们在哪里可以找到低成本函数的值。顶部中心区域包含全球最低(红场)是该地区选择更好的探索(图 3 (b))。

更好的探索产生更均匀的结果,但它仍可能排除与过高的值较低的区域,修正不足和不稳定的地方。全球最小的探索与参数 LTP 1 = 0.0006 和 有限公司 1 = 0.015 。已经证明了在以前的作品( 21- - - - - - 23, 33),皮质有限公司对公司有更大的值。这个组合的参数测试十次评估结果的再现性(图 3 (d)),然后使用期间的调核可塑性。

获得的结果在第二次塑性总值(MF-DCN)勘探图所示 4(一))。很明显,最高的错误出现在右下角区域,在高LTP产生过度补偿的效果。注意,对于这个可塑性, LTP 2 主要负责活动的增加宽带 有限公司 2 他的衰减。在正确的区域,太高了 有限公司 2 导致没有宽带的活动,因此修正。在左边的区域, 有限公司 2 允许一个活动从宽带,因此更好的结果。我们调查了左上角区域,包含全球最低。更好的探索(图 4 (b))几乎是统一的;因此,我们发现全球最低成本函数的组合参数 LTP 2 = 10 − 9 和 有限公司 2 = 2 ⋅ 10 − 10 。在其他协议麦地那et al。 34];萨曼塔等。 13];Mauk和鲁伊斯 35];和麦地那和Mauk 36),MF-DCN塑性参数值明显低于皮层可塑性,从而确认核可塑性的影响的假设变得有意义的在长时间尺度上。

第三可塑性(PC-DCN)勘探生产总值几乎统一的结果,如果比其他两个可塑性(图) 4 (c))。在正确的区域,太高,因此,电脑无法选择性地抑制相应的宽带。即使更多的组合 LTP 3 和 有限公司 3 给低成本的函数值,如果没有定义一个特定区域,靠近全球最小的参数空间中探索更好的搜索。更好的探索(图 4 (c))显示均匀的表演没有特别感兴趣的地方。全球最小的探索与参数 LTP 3 = 10 − 2 和 有限公司 3 = 10 − 7 。

优化了三个学习规则,10个测试进行只有皮层可塑性和可塑性激活(图 5(一个))。就明显的性能改进的核可塑性是微不足道的。正如前面提到的,可以看到核可塑性的主要作用在较长的时间尺度。它已被证实( 13]核可塑性的好处可以验证在长范式,可能超过100次试验后,当更多重复的采集和灭绝是重复的。此外,提供的可能改进核可塑性可能隐藏的不可忽视的变化之间的10个进行测试。

一旦三个可塑性已经优化,我们进行调优的三个联合收益。在前面的情况下,所有的关节使用相同的增益值为0.012时,理论上来源于预见最大联合错误。第一个粗糙勘探证实附近已经使用的值。精细勘探的结果确定最优收益如下: 获得 1 = 0.005 , 获得 1 = 0.013 , 获得 1 = 0.012 。因为我们有优化网络的可塑性与固定增益为0.012,这是合理的,获得的收益并不与原来截然不同。

测试与优化SNN收益(图 5 (b)),我们获得了普遍较低的错误和一个更稳定的趋势在采集阶段,在适当的增益使网络的干预更充足的补偿误差,从而减少导致过校正效果不稳定。

有评估的性能SNN几乎在一个理想的环境(Webot模拟器),我们在现实世界中继续测试模型的性能与NAO机器人。十个测试执行与NAO机器人(图 5 (b))显示一个适当的校正在采集阶段,灭绝的后果开始阶段,和良好的灭绝在过去的试验。正如所料,Webot模拟器表现略优于NAO机器人,较小的方差。然而,NAO机器人的性能获得还是相似的,有一个很好的减少错误和类似的生理行为。鉴于NAO机器人的高可变性,这将是更难注意到差异的表演SNN配备皮质可塑性或多个可塑性。

我们想测试转移提出SNN控制器的学习能力;我们因此挑战与三个不同的理想和摄动轨迹优化SNN(数字 6(一), 6 (d), 6 (g))。对于每个轨迹,我们已经适应增益值按比例每一个关节的最大误差。然后,我们测试了不同形状Webot模拟器(数据 6 (b), 6 (e), 6 (h)NAO机器人)和(数据 6 (c), 6 (f), 6(我))。

Webot模拟器测试,比较误差趋势随着时间的推移获得使用原来的轨迹,可以通知略高可变性展出的椭圆轨迹,轨迹而无限和广场表演获得类似于一个与原来的扰动。然而,在所有的情况下,整体表现类似于一个实现训练轨迹。

在NAO机器人测试,不同于获得Webot模拟器,最糟糕的表现获得了无限的轨迹。这个结果是合理的,是无限的轨迹,降低角的错误,价值观更受到整体噪声的影响。因此,SNN效率较低,无法执行以及其他轨迹。

之一的极限SNN迄今为止使用的输出(宽带),限制了解决校正。因此,小脑关节角值校正是牛肉干。为了弥补这种效果,我们测试了大图(十倍)相同的网络。所有参数都保持一样的正常使用的网络,并获得已经减少了一个因素十来匹配输出细胞数量的增加。增加的副作用的大小网络实时性的损失,由于要处理大量的峰值。因此更大的网络测试与Webot模拟器(图 7(一)(图)和NAO机器人 7(一))在一个测试中,而不是通常的10个测试。主要的改进对正常网络初始误差在基线阶段,仍然在零附近,较低和更稳定的RMSE收购阶段。另一个区别是在灭绝阶段修正产生更高的过度补偿效应越高,,它需要更多的时间来返回到初始状态对正常网络。

转移学习能力保持在较大的SNN,还与流畅的在这种情况下,更稳定的共同错误的修正所有的三个额外的轨迹。可以注意SNN的增强,增加网络的分辨率,使其缓慢的适应过程。然而,参数调优使用原始大SNN SNN可以被重用,而无需重新运行优化过程(这将是不可行的,因为扩展计算负载较大的SNN)。

我们也评估了网络活动。所有的细胞所产生的峰值已经记录在测试阶段,他们可以被分析来验证错误如何影响神经元的活动人群的试验。MFs保持一个几乎恒定的频率在所有的实验中,与价值观由44和47个赫兹之间。集选区也几乎恒定的频率之间6和7赫兹;考虑到这些细胞,大量的监控很有挑战性,因此飙升的数据没有收集到所有的测试。电脑、IO和宽带的细胞解释网络的行为,从他们的频率的变化,我们可以评估我们的生理相似系统与一个真正的生物之一。

对于每一个测试中,我们记录了理想和真正的共同价值观,与实际的笛卡尔轨迹由机械手执行的。在这里,我们报告的网络活动和相对笛卡尔和角轨迹为圆轨道摄动的附加负载应用程序使用NAO机器人的机械手和增强SNN。分析的突出试验协议(参见视频作为补充材料(可提供 在这里)),可以注意到网络活动形状机器人的行为,反之亦然。

在基线的初审阶段(图 8(一个)),机器人执行正确的轨迹,因此IO活动低,和电脑发射没有限制。因此,宽带的输出几乎是零。

在收购的第一次审判阶段(图 8 (b)),机械手是倾斜的附加载荷。增加的共同错误触发IO活动持续上升,尽管IO人口一般低频(< 10 Hz)。然而,电脑活动仍然很高,抑制宽带。试验过程中IO的一致的活动减少了电脑的活动,达到一个点,宽带是免费的火在最后审判的收购(图 8 (c)),这里的电脑是有选择地沉默而产生的控制信号宽带运上升,以弥补错误。从笛卡尔的轨迹,补偿的效果越高和周长的左下部分是可见的。

在灭绝的初审阶段(图 8 (d)),删除额外的负载,但SNN网络仍是补偿错误学习。这种行为,产生错误相反的方向对收购阶段错误,是小脑的适当的适应和它叫做后效。在最后审判的灭绝阶段(图 8 (e)),我们可以观察到,后果已经取消,和执行轨迹接近所需的。然而,观察神经活动,可以注意到nonphysiological行为。通常,一个期望的变化信号从IO触发LTP的影响PC细胞从而抑制了宽带。然而,这里有一个进一步抑制pc,相反的迹象,这个时候,触发DCNs公司的反应相反的符号,而不是射击直到灭绝的开始阶段。结果,校正的缺失是由于取消两个相反的影响,而不是回到最初的宽带沉默。

这意想不到的结果可能是由于简洁的协议(只有20采集试验)和成本函数使用的参数调优,回报高的值 有限公司 1 关于 LTP 1 大脑皮层可塑性。这是可见的陡坡RMSE在第一个收购试验(图 3 (c))。低 LTP 1 值不足以恢复网络的初始状态,只有5物种灭绝的试验阶段,因此奖励一个配置的优化过程 有限公司 1 补偿误差相反的活动迹象的宽带反号(拮抗剂活动)而不是减少当前(兴奋剂)宽带运活动。这种效应导致的无效受体激动剂和拮抗剂神经元活动,与净输出接近于零(即。附近的所需的网络输出在灭绝阶段)。这个结果表明即使在皮质LTP /有限公司比率不平衡,一个系统可以仍然能够学习和扑灭电机适应。这个假设应由临时测试实验,皮质LTP机制必须阻塞或受损(类似于所作的与突变小鼠Schonewille et al。 37])。