仿人机器人的控制自适应Bioinspired小脑模块3 d运动任务

文摘

bioinspired自适应模型,开发了通过强化神经网络由成千上万的人工神经元,已被用于一个人形NAO机器人实时控制。学习系统的属性一直在挑战经典cerebellum-driven范式,一种摄动上肢达成协议。神经生理学原则用于开发模型成功地驾驶一种自适应电动机与基线控制协议,收购,和灭绝阶段。飙升神经网络模型显示学习行为类似的实验测量与人类受试者在收购阶段相同的任务,同时采取其他策略在灭绝阶段。模型在实时处理外部输入、编码为峰值,和生成的输出神经元的活动是解码,为了提供适当的校正电机驱动器。三个双向长期可塑性规则已经嵌入了不同连接和不同时间尺度。可塑性的输出层神经元的放电活动的网络。摄动上肢达成协议,neurorobot成功地学会了如何弥补外部扰动生成一个适当的修正。因此,飙升小脑模型能够再现机器人平台生物系统如何处理外部的误差来源,在理想和现实(噪声)环境。

1。介绍

这项工作属于neurorobotics,一门学科的目的复制机器人平台的典型动物行为。其目标是开发系统,通过特定的算法和计算模型受生物学和生理学、能够模仿动物和人类的感觉和运动控制机制。这个雄心勃勃的目标是追求为了开发一个更好的理解的生物机制,我们的行为规则。获得的技术和系统还将提供有价值的反馈和前馈控制功能,可以介绍感觉器官协调机器人。在这项工作中,我们专注于bioinspired小脑模拟器集成到仿人机器人的控制器。我们测试了其学习性能在典型的摄动上肢感觉运动的任务达到[1]。

电动机控制的主要任务之一是中枢神经系统(CNS),和许多假说对其工作原理和机制。考虑电机控制系统之间的亲密关系和感觉系统电动机执行,可以参考他们的行为感觉运动回路相结合。这个循环结合前馈和反馈策略的感觉和认知过程的输入生成下一个运动输出。计算,中枢神经系统是由系统处理输入并生成输出。所有的感官信息的输入由本体感受的受体以及认知的内部和外部信号。输出是电动机命令指示的肌肉会产生对环境的影响。感觉运动回路理解许多不同子结构,在别人,小脑。它有一个重要的角色在精细运动控制和运动学习的任务和协会模式。小脑从许多感觉通道(即处理数据。,vestibular and proprioceptive) and combines them with the previous motor commands to produce the updated motor commands for the next execution. The cerebellum is also supposed to be involved in a large amount of cognitive learning processes [2]。文学的模式评估,强调了小脑的角色,是关联任务的眼睛闪烁的经典条件作用[3),vestibule-ocular反射(伏尔)[4),和摄动上肢达到运动控制(5]。

超过一半的大脑神经元位于小脑,大脑只占10%的质量。小脑细胞因此密集在高度复杂的小脑皮层的灰质和四个深小脑核,在两个大脑半球。小脑皮层由三层组成,其中包括至少5个类型的细胞。小脑结构及其功能行为已经深入分析。在这个广泛的研究,许多小脑提出了计算模型和发展(6- - - - - -9]。其中,现象学模型所得计算电机控制研究是最好的候选人解决感觉运动的集成问题,因为它们使用基于函数抽象方法。这种模型能够处理运动规划、内部模型,状态估计,运动学习和模块化10]。基于神经生物学的一个现实的方法需要使用相互关联的自适应神经网络(SNN)飙升。这些网络有可能复制好的机器人自适应控制系统,考虑到生物组织执行的控制使用的各个部分相互连接的神经元(11]。

在以前的工作,我们已经测试了一系列简化,但现实,小脑模型为感觉运动任务(12- - - - - -14]。这项工作的目的是实现机器人平台的计算模型,以验证其在实时控制功能和行为问题。特别是,一个机器人控制器集成了cerebellar-inspired网络,为系统提供运动学习的能力。电机控制系统的组件可以用他们的现象学模型,如内部的反馈和前馈机制模型。第一个是基于持续的错误来自传感器的更新,而后者是基于直接运动命令。让机器人平台之间的这种集成控制器和bioinspired飙升网络,我们需要引入正确的接口模块内。介绍了三个接口;两个编码所需的输入轨迹和飙升的活动,获得的错误,另一个解码输出神经元的频率成角值,然后应用的机器人控制器。强化神经网络模拟了EDLUT平台,SNN模拟器可以实时执行。通过查找表,EDLUT绕过需要解决微分方程管理每一个网络单元的状态,从而减少计算负荷。

2。材料和方法

首先,我们定义了一个合适的版本的摄动上肢达成协议。这种模式用于提高小脑效应在感觉运动回路。目标是有主题,机器人在这种情况下,按照特定的轨迹,在某种程度上,一个意想不到的外力应用将产生扰动的执行轨迹。然后应用于一系列相同的扰动试验,所以话题学会预测扰动,从而限制了错误(收购阶段)。之后,突然被扰动,主体生成一个错误在相反的方向,这是取消了以下试验(灭绝阶段)。

网络优化使用机器人模拟器进行生理行为;因此,我们设置的起始重量值之间的不同类型的细胞提供活动频率匹配的出现在文献中。然后,我们执行一个蛮力探索找到最佳组合模型的塑性参数。

一旦网络进行优化,我们继续测试它的泛化能力与其他轨迹,不同于一个用于训练网络。进一步研究网络行为,我们评估其与真正的机器人表演使用来自模拟器的调优参数。我们评估不同的可塑性和如何获得优化的影响表现在一个嘈杂的环境和网络在现实机器人如何处理不同的扰动(即。,不同的轨迹)。

最后一个测试是使用一个网络执行十倍,同样的轨迹和参数,验证详细SNN如何改变提出电动机的演出任务。

总结,我们这项工作集中在三个主要目标:(i)的优化上肢达成协议,它适应NAO机器人同时控制三个自由度(自由度);(2)SNN参数调优,复制其组成神经元的生理行为和由此产生的机器人行为的;和(iii)的开发,优化网络在不同的轨迹(转移学习)。

2.1。模拟和真实的机器人

NAO是一个集成的、可编程的中型机器人仿人机器人由毕宿五。NAO成为(版本V3.3)是一个58厘米,5公斤的机器人,与远程计算机通过IEEE 802.11 g无线或有线以太网链接。国家审计署的有21个自由度和特性不同的传感器。因为我们感兴趣的手臂动作,我们控制三关节机器人的左肩和肘部(图1(c)):肩(关节1),手肘偏航(关节2),和肘部辊(联合3)。

接口与神经网络机器人,能够运行在实时频率1 kHz,一个稳定的更新频率是一个严格的要求。出于这个原因,指挥机器人通过设备通信管理器(DCM)。DCM的软件模块负责与所有电子设备通信的机器人(板、传感器、执行器等)。这是高级功能和底层控制器之间的联系。扩张型心肌病有单独的实时线程运行每10毫秒,从而保证稳定的100 Hz刷新率。

NAO机器人不能直接控制电机转矩/电流,但只有在适当的位置。这个禁止身体扰乱手臂达到运动任务与外部力量。在力较低的情况下,机器人手臂就会达到理想的角度,而对于高力马达会停滞不动。因为这个原因,使用两种不同的轨迹:一个理想轨迹作为所需的路径和另一个摄动轨迹,纠正的网络使用关节角误差作为学习信号。

因为网络优化过程将需要数百个测试,我们使用一个机器人叫做Webots模拟器。这个模拟器允许启动一个模拟NAO移动在一个虚拟的世界,提供一个安全的地方在部署之前测试的行为在一个真正的机器人。考虑提供的级别的控制SNN DCM和不可预测的行为,特别是在优化阶段,模拟器是理想的测试如何影响电动机的命令和防止危险命令发送给真正的机器人。NAO虽然是一个非常准确的模拟,与任何其他模拟器一样,一些nonidealities不考虑(如非线性摩擦、传感器错误,和电动机过热)。

2.2。小脑模型

在这项工作中,cerebellar-inspired SNN,基于以前的版本,测试(12,13),被用来证明其适应能力在一个复杂的运动任务。使用的小脑的神经网络具有以下结构(图2(一个)),建立了小脑的生理研究中获取灵感,与神经科学家紧密合作。SNN是由6480漏水的集成和火复制小脑神经元微电路:300苔藓纤维(MFs),第一个输入小脑的网络,组织在6组,每组50个细胞:3组,每个关节的控制,一个编码信息所需的位置和3组编码信息所需的速度;6000颗粒细胞(吉),生成一个稀疏表示的输入;72劣质橄榄油神经元(IOs),第二个输入小脑,各自爬纤维(CFs);IOs分为6组,每组12个细胞,3组,每个关节,一个编码的错误和其他3组编码负面的;72浦肯野细胞(pc)的集成商稀疏状态信息通过平行纤维来自一个集选区(PFs)通过CFs来自IOs的错误信息;36深小脑核神经元(DCNs公司),这是唯一的小脑microcomplex的输出,因此产生小脑输出变量,分成6组,两个为每一个关节,一组控制积极的补偿(即错误。受体激动剂肌肉)和其他补偿负(即错误。,对手的肌肉)。

三个接口(图2 (b))实施,将模拟信号转换为扣球活动通过网络反馈(输入),反之亦然(输出)。

MFs的第一个界面计算输入电流和径向基函数(RBF)的方法。当前的用于增量膜电位曼氏金融。RBF中心分布在感官维度,同样的宽度调整以确保小重叠连续MF的反应。一维的当前值转化为多维向量,每个RBF一个。每个MF都有自己的接受域编码模拟信息,规范化−1(最小值)和1之间(最大值)。

第二个接口将联合错误转换成IO峰值。这些神经元发射率较低(小于10 Hz),可以防止高频误差信号的表示相关的任务是学习。这个问题可以利用不规则放电IO的统计抽样整个误差信号在多个试验。已经观察到的时间分布峰值IOs股票的泊松模型相似的特征。IOs火随机行为动物在休息和反应后的眼在猴子和arm-motion任务。这个随机特征发射增强输入-输出互信息尽管CFs超低发射率(16]。发射率与峰值的泊松模型生成和复制,在每一个时间步,IO峰值的概率是随机生成的,误差大小成正比。这种方法被用来生成独立的峰值模式在多个输入输出神经元。因此对于每个IO,射击概率独立之前的活动和其他活动的激增IOs (17,18]。大量证据支持在CFs误差信号和运动学习和误差信号之间的比例飙升CFs验证活动(19,20.]。

第三个界面解码宽带峰值模式模拟角值。首先,每一个宽带的瞬时燃烧率计算,然后积极的和消极的宽带发射率平均移动时间窗的200个样本(即。200 ms)。小脑的输出是通过计算平均净区别这两个的意思是宽带发射率(正面和负面)12]。

由于这些接口,SNN可以集成到机器人平台控制器,与前馈预测控制器的功能。

SNN神经元连接的三种可能的方法:(我)联系:兴奋性突触的突触前神经元的动作电位发生动作电位的概率增加突触后细胞。有兴奋性之间的联系MFs和集选区,MFs和DCNs公司之间,集选区制度和个人电脑之间。(2)抑制连接:在突触前细胞突触的冲动导致的可能性减少突触后细胞产生动作电位。有抑制pc和DCNs公司之间的连接。(3)教学连接:连接编码教学高峰列车(错误)相关的监督学习可塑性小脑的网站。

根据神经生物学的研究,已确定三个可塑性网站在人类小脑:PF-PC兴奋性连接的水平;在MF-DCN兴奋性连接;和PC-DCN抑制水平的连接(21- - - - - -24]。

SNN模型配备三可塑性网站,在皮质(PF-PC)和核(MF-DCN和PC-DCN)水平。每个站点的突触连接三个不同的学习规则,加强或削弱这些联系的长期的修改:长期势差(LTP)和长期抑郁(有限公司)。LTP和公司机制被建模为修改在突触电导(详细描述13,15]。一般来说,这三个机制是基于不同的Spike-Timing-Dependent可塑性(STDP),但每一个是根据具体的实验测量机制。第一个可塑性(PF-PC)调节电脑的活动,增加或减少的突触强度连接IO的监督下活动。第二个可塑性(MF-DCN)也是一种监督学习规则;在这种情况下,电脑活动的调制信号影响突触权重。第三可塑性(PC-DCN)是一种无监督标准STDP重量修改在哪里独特由突触前的时机(PC)和突触后神经元(宽带)。

对于网络的初始化突触权重,我们称为生理值。曼氏金融活动将由约50赫兹频率,通过调整背景随机活动和重叠和贝尔rbf的宽度。MF-GrC已经设置权重来实现一个集选区3 - 6赫兹的频率和GrC-PC重量生产个人电脑的频率- Hz左右。MF-DCN重量是为了有一个宽带频率大约25赫兹在没有电脑抑制(PC-DCN重量= 0)。最后一步是在调整PC-DCN重量、取消宽带活动存在一个稳定的电脑活动45赫兹。

执行实时模拟,我们杠杆EDLUT模拟器25),一个开源模拟器的SNN提供减少计算负荷,加快网络仿真通过查找表。事实上,一个标准的模拟器(例如,神经元26],巢[27,28),或布莱恩29日]),程序必须解决一个或多个微分方程为每个神经元和不能保证实时性能,接口需要一个真正的机器人平台。

2.3。试验协议

我们挑战了SNN 3 d运动适应协议,类似于适应协议基于力场进行人体试验(30.- - - - - -32]。理想的轨迹,机器人想要执行的平面圆半径,在执行Y- - - - - -Z飞机和中心和(图1(一)、蓝线)。当一个意想不到的加载几乎是添加到机器人的手,变形的轨迹偏离了理想的人,向地面(图1(一)、黄线)。结果,三个关节角控制偏离理想的路径(图1(b)),因此每个自由度产生正面和负面的错误。

实验协议由30试验分为三个阶段(图1(d)):第一个是基线阶段,机器人的命令是理想的轨迹和持续了5试验。第二阶段习得阶段,持续了20个试验和机器人的输入摄动的轨迹。最后一个是一个灭绝5期试验,再次输入是理想的轨迹。为了模拟小脑的适应能力,SNN是最小化的目标共同错误,从而减少后续笛卡尔三维空间中的错误。

2.4。参数调优

正如上面提到的,有三种不同的可塑性可以修改SNN的行为的网站,每一个学习的特点是两个参数:LTP和有限公司为了评估为这六个参数的最佳值,蛮力探索已经完成。第一可塑性(皮层可塑性,PF-PC)是学习效果的主要原因,因为它控制电脑的活动,抑制了宽带输出。另外两个可塑性(核可塑性,MF-DCN, PC-DCN)二次效应,影响误差减少性能上更长的时间尺度和强度较低。参数调优与Webot模拟器测试被执行,以防止损害,避免不可预知的机器人手臂运动由于网络的意想不到的行为。

评估网络性能,我们计算一个全球成本函数,我们想最小化。成本函数是两个质量量度的总和。两个指标考虑均方根误差(RMSE)的所有三个关节。对于每一个审判,RMSE每联合计算的试验的时间,然后三个均方根平均。的平均均方根误差审判是计算

第一个质量指标的加权平均计算在收购和灭绝阶段。虽然有较高的错误是正常的在第一个收购试验,一个好的小脑控制器应该逐渐纠正持续的共同错误。这个指标奖励SNN显示一个好的调整的后期阶段收购也低灭绝错误: 在哪里

第二个质量指标措施稳定的修正,计算标准偏差(SD)的试验21 - 25日(即。收购的最后5个试验)。高值的LTP和RMSE有限公司参数可能导致快速变化在采集阶段,但也不稳定。这导致高RMSE的标准偏差,特别是在过去五试验,在最小误差应该已经达到:

最后,全球成本函数,其最低应该确定最执行模型探索区域,计算正常化和他们的最大和最小值,从而获得值(0 - 1)之间,然后总结他们获得全球成本价值范围(0 - 2)。

第一可塑性,我们评价一个11×11矩阵,值从0到0.001和0.01的步骤值从0到0.05的步骤0.005。探索进行迭代,选择一个LTP值并与所有公司值配对,然后重复这个过程的所有其他LTP值。为每个LTP和组合,完整的协议进行了仿真,最后的全球成本价值计算。第一次探索后,第二个在该地区已经完成全球最低的成本函数,与细步骤,测试其他10×10值。最好的LTP-LTD配置然后被选的调优其他核可塑性。

核可塑性的和造成之前的探索一直固定的,和探索对LTP和有限公司执行参数(例如, , , ,和 )。评价是类似于第一个可塑性,除了参数范围。LTP和不等来×10步骤。和之前一样,第二个最好的地区勘探确定了。第二个搜索覆盖10×10参数区域集中在最佳参数确定在第一勘探、测试一半的上方和下方的值(例如, ,在哪里j是最好的代指数)。

塑性值被设置后,需要考虑的另一个参数是获得需要转换网络的模拟输出在一个角度值(弧度)。因为每个关节都有不同的范围和幅度不同的错误,一个适当的增益为每个联合使用。找到最优增益值,蛮力勘探勘探总值(即已经完成。,testing gain values ranging from 0.005 to 0.05 with steps of 0.005) and a subsequent finer exploration (i.e., testing 10 gain values centered on the best result of the gross exploration, with steps of 0.001). The gain factor is particularly relevant due to the normalization of the angular values and the error that is given as input to the network. As the network manages values comprised between 0 and 1 for all joints, its output does not consider the differences in the actual angular errors. Therefore, a joint with small angular error will require a lower gain, while more perturbed joints will require a greater gain.

2.5。转移学习

确定了网络参数的设置(例如, , ,和 )产生最好的表现,我们有验证如果(i) SNN能够弥补外部扰动3 d运动由一个物理NAO机器人如果(ii) SNN能够补偿不同扰动模拟和物理机器人平台。

因此,我们执行10测试Webot模拟器和NAO机器人,为了验证控制器的鲁棒性在嘈杂的系统执行相同的协议用于SNN优化。

验证转移小脑模型的学习能力,我们有10测试Webot模拟器和NAO机器人执行协议的变化,与其他3夫妇的理想和摄动轨迹:两个理想圆的变形轨迹(椭圆和一个平方变形)和理想和变形 - - - - - -的轨迹。

2.6。网络增强

使用网络的限制之一是低的输出细胞数量限制的解决修正,导致抽筋的角轨迹。因此,我们测试了一个扩展版的SNN,观察网络的大小可以改变整个表演cerebellar-inspired控制器。每个神经人口增加十倍,保持相同的连接规则解释。所有参数都保持一样的正常使用的网络,获得已经减少了十,为了匹配输出细胞数量的增加。增加的副作用的大小网络实时性的损失是由于要处理大量的峰值。因此,更大的网络测试单个测试而不是通常的10个测试。也在这种情况下,我们还测试了三个额外的轨迹来验证学习的普遍性SNN的属性。

3所示。结果与讨论

3.1。参数调优

每个可塑性总值勘探后,导致最佳性能参数空间区域,根据开发成本函数,进一步探索。RMSE在所有试验计算10测试,使用参数优化中发现,为了验证SNN在不同阶段的行为。

在图3(一个),可以看到的影响和的质量更正:有三个主要的地区可以识别。第一个是左下角,太低了,LTP是一贯高(蓝十字)。自有限公司是主要参与者在电脑活动的衰减和随之而来的宽带活动的增加,网络不执行在采集阶段(即。,没有学习)虽然在灭绝阶段表现良好,因为没有额外的负载时过度补偿(图中删除3 (c)蓝线)。第二个区域是中间的右角,有限公司是高于LTP(绿十字)。宽带运达到高水平的活动,和自校正强,这是最糟糕的地区灭绝阶段。注意,同样在收购,这个区域不是有用的,太快和激进的调整会导致不稳定在这个阶段的最后审判(图3 (c)绿线)。最后,还有主对角线附近区域,我们在哪里可以找到低成本函数的值。顶部中心区域包含全球最低(红场)是该地区选择更好的探索(图3 (b))。

更好的探索产生更均匀的结果,但它仍可能排除与过高的值较低的区域,修正不足和不稳定的地方。全球最小的探索与参数和 。已经证明了在以前的作品(21- - - - - -23,33),皮质有限公司对公司有更大的值。这个组合的参数测试十次评估结果的再现性(图3 (d)),然后使用期间的调核可塑性。

获得的结果在第二次塑性总值(MF-DCN)勘探图所示4(一))。很明显,最高的错误出现在右下角区域,在高LTP产生过度补偿的效果。注意,对于这个可塑性,主要负责活动的增加宽带他的衰减。在正确的区域,太高了导致没有宽带的活动,因此修正。在左边的区域,允许一个活动从宽带,因此更好的结果。我们调查了左上角区域,包含全球最低。更好的探索(图4 (b))几乎是统一的;因此,我们发现全球最低成本函数的组合参数和 。在其他协议麦地那et al。34];萨曼塔等。13];Mauk和鲁伊斯35];和麦地那和Mauk36),MF-DCN塑性参数值明显低于皮层可塑性,从而确认核可塑性的影响的假设变得有意义的在长时间尺度上。

第三可塑性(PC-DCN)勘探生产总值几乎统一的结果,如果比其他两个可塑性(图)4 (c))。在正确的区域,太高,因此,电脑无法选择性地抑制相应的宽带。即使更多的组合和给低成本的函数值,如果没有定义一个特定区域,靠近全球最小的参数空间中探索更好的搜索。更好的探索(图4 (c))显示均匀的表演没有特别感兴趣的地方。全球最小的探索与参数和 。

3.2。模拟和真实的机器人表演

优化了三个学习规则,10个测试进行只有皮层可塑性和可塑性激活(图5(一个))。就明显的性能改进的核可塑性是微不足道的。正如前面提到的,可以看到核可塑性的主要作用在较长的时间尺度。它已被证实(13]核可塑性的好处可以验证在长范式,可能超过100次试验后,当更多重复的采集和灭绝是重复的。此外,提供的可能改进核可塑性可能隐藏的不可忽视的变化之间的10个进行测试。

一旦三个可塑性已经优化,我们进行调优的三个联合收益。在前面的情况下,所有的关节使用相同的增益值为0.012时,理论上来源于预见最大联合错误。第一个粗糙勘探证实附近已经使用的值。精细勘探的结果确定最优收益如下: , ,和 。因为我们有优化网络的可塑性与固定增益为0.012,这是合理的,获得的收益并不与原来截然不同。

测试与优化SNN收益(图5 (b)),我们获得了普遍较低的错误和一个更稳定的趋势在采集阶段,在适当的增益使网络的干预更充足的补偿误差,从而减少导致过校正效果不稳定。

有评估的性能SNN几乎在一个理想的环境(Webot模拟器),我们在现实世界中继续测试模型的性能与NAO机器人。十个测试执行与NAO机器人(图5 (b))显示一个适当的校正在采集阶段,灭绝的后果开始阶段,和良好的灭绝在过去的试验。正如所料,Webot模拟器表现略优于NAO机器人,较小的方差。然而,NAO机器人的性能获得还是相似的,有一个很好的减少错误和类似的生理行为。鉴于NAO机器人的高可变性,这将是更难注意到差异的表演SNN配备皮质可塑性或多个可塑性。

3.3。转移学习表演

我们想测试转移提出SNN控制器的学习能力;我们因此挑战与三个不同的理想和摄动轨迹优化SNN(数字6(一),6 (d),6 (g))。对于每个轨迹,我们已经适应增益值按比例每一个关节的最大误差。然后,我们测试了不同形状Webot模拟器(数据6 (b),6 (e),6 (h)NAO机器人)和(数据6 (c),6 (f),6(我))。

Webot模拟器测试,比较误差趋势随着时间的推移获得使用原来的轨迹,可以通知略高可变性展出的椭圆轨迹,轨迹而无限和广场表演获得类似于一个与原来的扰动。然而,在所有的情况下,整体表现类似于一个实现训练轨迹。

在NAO机器人测试,不同于获得Webot模拟器,最糟糕的表现获得了无限的轨迹。这个结果是合理的,是无限的轨迹,降低角的错误,价值观更受到整体噪声的影响。因此,SNN效率较低,无法执行以及其他轨迹。

3.4。网络增强

之一的极限SNN迄今为止使用的输出(宽带),限制了解决校正。因此,小脑关节角值校正是牛肉干。为了弥补这种效果,我们测试了大图(十倍)相同的网络。所有参数都保持一样的正常使用的网络,并获得已经减少了一个因素十来匹配输出细胞数量的增加。增加的副作用的大小网络实时性的损失,由于要处理大量的峰值。因此更大的网络测试与Webot模拟器(图7(一)(图)和NAO机器人7(一))在一个测试中,而不是通常的10个测试。主要的改进对正常网络初始误差在基线阶段,仍然在零附近,较低和更稳定的RMSE收购阶段。另一个区别是在灭绝阶段修正产生更高的过度补偿效应越高,,它需要更多的时间来返回到初始状态对正常网络。

转移学习能力保持在较大的SNN,还与流畅的在这种情况下,更稳定的共同错误的修正所有的三个额外的轨迹。可以注意SNN的增强,增加网络的分辨率,使其缓慢的适应过程。然而,参数调优使用原始大SNN SNN可以被重用,而无需重新运行优化过程(这将是不可行的,因为扩展计算负载较大的SNN)。

3.5。神经行为

我们也评估了网络活动。所有的细胞所产生的峰值已经记录在测试阶段,他们可以被分析来验证错误如何影响神经元的活动人群的试验。MFs保持一个几乎恒定的频率在所有的实验中,与价值观由44和47个赫兹之间。集选区也几乎恒定的频率之间6和7赫兹;考虑到这些细胞,大量的监控很有挑战性,因此飙升的数据没有收集到所有的测试。电脑、IO和宽带的细胞解释网络的行为,从他们的频率的变化,我们可以评估我们的生理相似系统与一个真正的生物之一。

对于每一个测试中,我们记录了理想和真正的共同价值观,与实际的笛卡尔轨迹由机械手执行的。在这里,我们报告的网络活动和相对笛卡尔和角轨迹为圆轨道摄动的附加负载应用程序使用NAO机器人的机械手和增强SNN。分析的突出试验协议(参见视频作为补充材料(可提供在这里)),可以注意到网络活动形状机器人的行为,反之亦然。

在基线的初审阶段(图8(一个)),机器人执行正确的轨迹,因此IO活动低,和电脑发射没有限制。因此,宽带的输出几乎是零。

在收购的第一次审判阶段(图8 (b)),机械手是倾斜的附加载荷。增加的共同错误触发IO活动持续上升,尽管IO人口一般低频(< 10 Hz)。然而,电脑活动仍然很高,抑制宽带。试验过程中IO的一致的活动减少了电脑的活动,达到一个点,宽带是免费的火在最后审判的收购(图8 (c)),这里的电脑是有选择地沉默而产生的控制信号宽带运上升,以弥补错误。从笛卡尔的轨迹,补偿的效果越高和周长的左下部分是可见的。

在灭绝的初审阶段(图8 (d)),删除额外的负载,但SNN网络仍是补偿错误学习。这种行为,产生错误相反的方向对收购阶段错误,是小脑的适当的适应和它叫做后效。在最后审判的灭绝阶段(图8 (e)),我们可以观察到,后果已经取消,和执行轨迹接近所需的。然而,观察神经活动,可以注意到nonphysiological行为。通常,一个期望的变化信号从IO触发LTP的影响PC细胞从而抑制了宽带。然而,这里有一个进一步抑制pc,相反的迹象,这个时候,触发DCNs公司的反应相反的符号,而不是射击直到灭绝的开始阶段。结果,校正的缺失是由于取消两个相反的影响,而不是回到最初的宽带沉默。

这意想不到的结果可能是由于简洁的协议(只有20采集试验)和成本函数使用的参数调优,回报高的值关于大脑皮层可塑性。这是可见的陡坡RMSE在第一个收购试验(图3 (c))。低值不足以恢复网络的初始状态,只有5物种灭绝的试验阶段,因此奖励一个配置的优化过程补偿误差相反的活动迹象的宽带反号(拮抗剂活动)而不是减少当前(兴奋剂)宽带运活动。这种效应导致的无效受体激动剂和拮抗剂神经元活动,与净输出接近于零(即。附近的所需的网络输出在灭绝阶段)。这个结果表明即使在皮质LTP /有限公司比率不平衡,一个系统可以仍然能够学习和扑灭电机适应。这个假设应由临时测试实验,皮质LTP机制必须阻塞或受损(类似于所作的与突变小鼠Schonewille et al。37])。

4所示。结论

在这项工作中,我们旨在整合bioinspired SNN NAO机器人控制器。特别是,小脑被选为其关键作用的神经结构来模拟运动学习的任务。小脑结构的集成在一个机器人可以帮助开发新的范式和方法执行机器人在不同的电动机控制任务。

我们的工作是基于之前的;在这里,我们介绍网络的放大,同时能够控制三个自由度,而不是一个。这使得机器人在更复杂的测试任务,使用SNN改编的上肢摄动达成协议,通常用来测试小脑学习属性。

我们得到了积极的结果,SNN表现良好测试时不同的轨迹,显示的小脑财产转移(即学习。普遍性)。可能适应不同发动机的任务是基本属性的目的bioinspired机器人控制器将不得不处理不同种类的运动任务。

我们的网络的一个主要的限制是低分辨率的输出控制信号。测试执行与一个更大的网络(10倍)。这个网络,更多的宽带可以产生平滑的输出,能更好地应对小错误。

进一步调查这个网络可以执行与其他典型的小脑范例。在[12),这对相关小脑SNN维护一个通用的任务。因此有可能适应网络和机器人的巴甫洛夫条件反射或vestibulo-ocular反射协议。

控制关节的数量的增加以及良好的表现获得了与我们的测试,表明一个更大的网络将是理想的解决这种电动机的任务。特别是如果SNN控制一个真正的系统,在这样一个世界丰富的不可预知的错误,降低了网络性能。这样的大规模SNN的实时仿真,开发一个真正的bioinspired物理机器人的控制器,可以获得独特的高度并行计算(例如,GPU)或神经形态硬件。这可能有助于在发展中更好的机器人控制的策略,能够运动学习和事件相关,满足实际应用在许多领域,从行业到人工智能应用程序。

数据可用性

模拟的数据生成的优化过程,完成了Webot模拟器和NAO机器人已经存入哈佛Dataverse库。此外,MATLAB脚本复制所有数据提出了工作提供(DOI:https://doi.org/10.7910/DVN/HEPECM)。

的利益冲突

作者宣称没有利益冲突有关这篇文章的出版。

确认

我们感谢Eng。保罗的欧洲House-Ambrosetti Borzatta借给NAO机器人,它允许我们执行机器人实验提出了工作。这项研究已经收到了欧盟资助的地平线2020研究和创新在特定框架规划赠款协议号。720270(人类大脑计划SGA1)和785907(人类大脑计划SGA2)和由HBP合作项目(CerebNEST)。

补充材料

提供了补充视频,这说明了三维运动NAO机器人所执行的任务,由SNN控制器驱动,三个实验阶段:5基线试验(在一个平静的条件);20采集试验(附加扰动引起的虚拟负载在NAO);和5灭绝试验(删除额外的负载)。(补充材料)

引用

1. Y.-W。曾,j . Diedrichsen j·w·科莱考尔透露,r . Shadmehr和a·j·巴斯蒂安·“感官预测错误驱动cerebellum-dependent适应的,”神经生理学杂志,卷98,不。1,54 - 62年,2007页。视图:出版商的网站|谷歌学术搜索
2. m . Kawato和d·沃伯特”,内部模型运动控制。”诺华基金会座谈会卷,218年,第297 - 291页,1998年。视图:出版商的网站|谷歌学术搜索
3. g . t . Bartha r·f·汤普森,“小脑和调节大脑理论和神经网络的手册麻省理工学院出版社,页169 - 172年,剑桥,妈,美国,1998年。视图:谷歌学术搜索
4. r·l·德不,”Vestibulo-ocular反射弧,”神经病学和精神病学档案,30卷,不。2,p。245年,1933年。视图:出版商的网站|谷歌学术搜索
5. r . Shadmehr m·a·史密斯和j·w·科莱考尔透露,“纠错,感官预测,在运动控制和适应,”年度回顾神经科学,33卷,不。1,第108 - 89页,2010。视图:出版商的网站|谷歌学术搜索
6. 诉Braitenberg和r·p·阿特伍德”形态观察小脑皮层,”比较神经病学杂志》,卷109,不。1,1-33,1958页。视图:出版商的网站|谷歌学术搜索
7. d·马尔“小脑皮层理论”生理学杂志,卷202,不。2、437 - 470年,1969页。视图:出版商的网站|谷歌学术搜索
8. j·s·阿不思·”,机械手控制的新方法:小脑模型关节控制器(小脑)”杂志的动态系统、测量和控制,卷97,不。3,p。220年,1975年。视图:出版商的网站|谷歌学术搜索
9. j·c·胡克j . t .白金汉,a·g·Barto“小脑模型和运动学习,”行为和大脑科学,19卷,不。3、368 - 383年,2011页。视图:出版商的网站|谷歌学术搜索
10. d·m·沃伯特r . c . Miall和m . Kawato“小脑内部模型,”认知科学趋势,卷2,不。9日,第347 - 338页,1998年。视图:出版商的网站|谷歌学术搜索
11. Nolfi和d . Floreano“合成自主机器人通过进化,”认知科学趋势》第六卷,没有。1,31-37,2002页。视图:出版商的网站|谷歌学术搜索
12. c . Casellato萨曼塔,j·a·加里多et al .,“自适应机器人控制由一个多才多艺的飙升小脑网络,”《公共科学图书馆•综合》,9卷,不。11日文章ID e112265, 2014。视图:出版商的网站|谷歌学术搜索
13. 萨曼塔,c . Casellato j·a·加里多et al .,“强化神经网络与分布式可塑性繁殖小脑学习眨眼制约模式,”IEEE生物医学工程,卷63,不。1,第219 - 210页,2016。视图:出版商的网站|谷歌学术搜索
14. 萨曼塔,c . Casellato e D天使,和a . Pedrocchi“模型驱动的所谓经典条件作用的分析揭示了小脑的底层结构可塑性和神经活动,“IEEE神经网络和学习系统,28卷,不。11日,第2762 - 2748页,2016年。视图:出版商的网站|谷歌学术搜索
15. 萨曼塔,c . Casellato j·a·加里多e D天使,和a . Pedrocchi”飙升小脑模型与多个可塑性站点繁殖眼睛闪烁的经典条件作用,”学报2015年7日国际IEEE /磨床神经工程会议(尼珥)IEEE,页296 - 299年,2015年7月,法国蒙彼利埃。视图:谷歌学术搜索
16. 黑田,k .山本h .宫本茂,k .事情和m . Kawato”统计特征的攀登纤维峰值效率所必需的小脑学习,”生物控制论,卷84,不。3、183 - 192年,2001页。视图:出版商的网站|谷歌学术搜索
17. g·t·凯尼恩”的连续时间模型在小脑皮质突触可塑性,”计算神经科学激飞美国,页99 - 105年,波士顿,MA,美国,1997。视图:谷歌学术搜索
18. j . Maruta r . a . Hensbroek和j·辛普森,“Intraburst和interburst信号爬纤维”,神经科学杂志》上,27卷,不。42岁,11263 - 11270年,2007页。视图:出版商的网站|谷歌学术搜索
19. m·l·施特伦l . s . Popa和t . j . it”爬纤维控制行为的浦肯野细胞表示,“神经科学杂志》上,37卷,不。8,1997 - 2009年,2017页。视图:出版商的网站|谷歌学术搜索
20. m .破车,d . Endres z . p .太阳,p·w·迪克·m·Giese p .他们,“从过去学习:混响小脑爬过去错误的光纤信号,”公共科学图书馆生物学,16卷,不。8篇文章ID e2004344 2018。视图:出版商的网站|谷歌学术搜索
21. n . r . j·a·加里多,卢克,大肠德安杰洛,大肠Ros,“分布式小脑可塑性实现适应性控制操纵任务:闭环仿真机器人,”前沿的神经回路,7卷,p。159年,2013年。视图:出版商的网站|谷歌学术搜索
22. e·德安杰洛,萨曼塔,s . Casali et al .,“小脑微电路的建模:新策略一个长期存在的问题,“细胞神经科学前沿,10卷,p。176年,2016年。视图:出版商的网站|谷歌学术搜索
23. z高,b . j . van Beugen, c . i . De齐乌“分布式协同可塑性和小脑学习”,神经系统科学自然评论,13卷,不。9日,第635 - 619页,2012年。视图:出版商的网站|谷歌学术搜索
24. w . Potjans, a·莫里森和m . Diesmann”使功能性神经回路仿真的分布式计算neuromodulated可塑性,”计算神经科学前沿卷,4 p。141年,2010年。视图:出版商的网站|谷歌学术搜索
25. e . Ros r . Carrillo e . m . Ortigosa b·巴伯和r .世界,“事件驱动的仿真方案强化神经动力学神经网络利用查找表来描述,“神经计算,18卷,不。12日,第2993 - 2959页,2006年。视图:出版商的网站|谷歌学术搜索
26. m·l·海恩斯和n . t .灭亡”神经元:神经科学家的工具”,神经系统科学家,7卷,不。2、123 - 135年,2016页。视图:出版商的网站|谷歌学术搜索
27. M.-O。Gewaltig和m . Diesmann“巢(神经模拟工具),”Scholarpedia,卷2,不。4 p。1430年,2007年。视图:出版商的网站|谷歌学术搜索
28. m·h·e·Plesser Diesmann M.-O。Gewaltig, a·莫里森“巢:神经模拟工具,”计算神经科学百科全书施普林格,页1849 - 1852年,纽约,纽约,美国,2015年。视图:谷歌学术搜索
29. d·古德曼,”布莱恩:强化神经网络的模拟在Python中,“Neuroinformatics前沿,卷2,p . 2008。视图:出版商的网站|谷歌学术搜索
30. k .瑞芭o . Livne e . r . Gizewski et al .,“适应visuomotor旋转和力场扰动与小脑变性患者大脑不同区域,”神经生理学杂志,卷101,不。4、1961 - 1971年,2009页。视图:出版商的网站|谷歌学术搜索
31. o . Donchin k .瑞芭j . Diedrichsen et al .,“小脑区域参与适应力场和visuomotor扰动,”神经生理学杂志,卷107,不。1,第147 - 134页,2012。视图:出版商的网站|谷歌学术搜索
32. f·r·Sarlegna n . Malfait l . Bringoux c·伯丁和J.-L。Vercher“力场适应没有本体感受:肢体动力学模型的视觉可以吗?”这项研究,48卷,不。1、60 - 67、2010页。视图:出版商的网站|谷歌学术搜索
33. c . Casellato萨曼塔,j·a·加里多g . Ferrigno e D天使,和a . Pedrocchi“分布式小脑可塑性实现广义多尺度的内存组件在真正的机器人感觉运动的任务,”计算神经科学前沿,9卷,2015年。视图:出版商的网站|谷歌学术搜索
34. j·f·梅迪纳、k·s·加西亚和m . d . Mauk“储蓄在小脑,机制”神经科学杂志》上,21卷,不。11日,第4089 - 4081页,2001年。视图:出版商的网站|谷歌学术搜索
35. m·d·Mauk和b . p . Ruiz”Learning-dependent巴甫洛夫眼睑响应时间:微分调节使用多个interstimulus间隔,”行为神经科学,卷106,不。4、666 - 681年,1992页。视图:出版商的网站|谷歌学术搜索
36. j·f·梅迪纳和m . d . Mauk小脑信息处理的计算机模拟自然神经科学,3卷,不。Sl, 1205 - 1211年,2000页。视图:出版商的网站|谷歌学术搜索
37. m . Schonewille a . Belmeguenai s . k . Koekkoek et al .,“浦肯野特异性敲除的蛋白质磷酸酶PP2B损害势差和小脑运动学习,”神经元,卷67,不。4、618 - 628年,2010页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Alberto萨曼塔等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。