本文提出了一种人工神经网络(SNN)持续飙升空间概念学习的认知抽象流程,嵌入在虚拟和真实的机器人。基于一个操作性条件作用过程中,机器人学习水平/垂直的关系和左/右视觉刺激,不管他们的特定模式成分或其位置的图像。测试与小说模式和位置是成功完成收购后的学习阶段。结果表明,该SNN时可以实时调整其行为奖励规则的改变。
掌握抽象概念似乎是一个关键达到更高层次的认知,使动物收集更多的复杂的知识(
有一个丰富的经验数据集合关系概念,以及在文献中。动物模型和方法也很多很多层面的比较(
神经建模是一种计算工具,也许有助于接近这个问题,更准确地说,阐述一个精确的人工神经电路相关行为观察。很少有文章探讨了抽象概念学习过程现象从这个角度。因此,本文旨在进一步研究主题下强化神经网络(SNN)模式。此外,本研究亦一步超出一个SNN通过实现整个认知过程在一个完整的虚拟和物理neurorobotic模型
SNNs bioinspired神经模型强调单一事件飙升和temporal-coincidental的关系
在这项研究中,一个空间视觉任务不同的图像由水平/垂直和左/右所示模式是静态机器人面前。从一个操作性条件作用过程,机器人必须决定哪一方选择(左或右)。因此,从增援,学会副不同的空间关系,独立于特定的刺激模式及其位置。这种视觉学习场景部分灵感来自一个由蜜蜂(
下一节描述了方法和学习协议的细节。这是紧随其后的是结果,强调空间的概念学习过程从突触行为变化。最后一节包含一个讨论当前模型的局限性和未来的角度学习模型。
视觉任务在于学习水平/垂直和左/右空间概念。图像投影在机器人的前面。每个人都有两面(左和右):一边包含两个垂直对齐的黑色/白色图案和另一边包含两个主题水平(图保持一致
图像捕捉后,机器人需要二分向左或向右的决定根据选择的刺激,随机选择之前的学习。这个动作是通过直接旋转马达转向。从一个调节过程,奖励是一致地应用于垂直或水平的主题,根据所需的学习规则。随着任务和一些积极的强化物,机器人学习水平/垂直或左/右关系,忽略了具体个人模式的特点以及它的位置。验证SNN的鲁棒性,实验结束演讲的小说模式在新的位置。
神经电路被组织成四个基本层:感官输入层,一个综合层,一层决定,电动机的输出层(图
感觉输入层转发信号综合神经元。这些从地形上组织在社区配置中,分离在左/右和上/中/下逻辑部分。在当前的模型中,第一级的集成是由12个神经元(6垂直和六个水平检测)。这允许SNN应对当地的刺激。更准确地说,每个综合元素可以应对任何垂直或水平显示黑色的刺激。第二个综合水平'每一方的所有水平和垂直神经元(ViewVerticalLeft, ViewVerticalRight、ViewHorizontalLeft ViewHorizontalRight)。
从综合神经元信号传递到决定层,更精确地预测神经元。这些预测神经元与它们相关的选择神经元(ChooseLeft, ChooseRight、ChooseVert ChooseHor)弱兴奋性突触和突触学习规则(STDP)和层也连接到行动。学习之前,预测神经元不能触发选择神经元。作为回报,STDP规则加强那些特定的突触。这最终使得正确预测神经元触发相关的选择。奖励是模拟通过移动一个红外传感器位于前面的一块后面的机器人。在这项研究中,从STDP学习规则需要第三个因素(奖励)被激活(
决定层还包含神经元(GoVertLeft、GoVertRight GoHorLeft, GoHorRight)。例如,当水平选择神经元峰值,Go神经元水平允许适当的行动(左/右)要做,这取决于水平刺激所在地。
行动层包括两个运动神经元(Action-TurnLeft Action-TurnRight),定向机器人向选择的一面。学习之前,当检测到一个模式的感官视觉层,随机行动是由发送延时信号引发运动神经元。这个动作可能最终会绕过决定预测神经元的神经,在学习。
本文使用的飙升神经模型和神经结构实现SIMCOG软件(
漏水的积分器神经动态: 通用函数描述突触后电位曲线: 膜电位函数: 膜电位输出: 一般STDP函数。
调优后SNN参数和评估他们在一个虚拟的世界,它是嵌入在一个物理环境使用覆盆子π3安装一个160×120分辨率的相机和两个伺服电机(pan /倾斜相机旋转)。本仿真的目的是验证SNN的能力和更少的精确变量(即学习。,事件的时机,摄像头检测,等等)。嵌入的SNN覆盆子π机器人,它只需要一个修改。因为机器人不包含红外传感器,奖励是相反的前面显示一个红色的纸。因此,一个额外的奖励视觉神经元与相机,以感知红色。
图
在第一个实验中,所需的输出是在垂直的刺激。然后奖励规则被修改,2000年周期,给一个奖励在选择水平模式。一个可以看到SNN完全适应其行为即使改变在线奖励规则。相反的情况(学习水平刺激前垂直)是还测试了,没有对学习过程的影响(没有显示)。由于图像序列是随机的,包括模式和水平或垂直的侧面,我们做了一些试验。在所有情况下,SNN成功地学习,根据所需的输出调整其行为。
初的模拟、预测神经元之间的突触联系和选择神经元都很弱。因此,行动的选择是随机的。在实验期间,积极强化(图形I)时应用SNN成功地选择正确的行动(图形J和K)。这个学习过程所示图形L O与增加突触权重从几个奖励。学习一步因素是为了达到阈值点后三个正确的关联,但它可能已经完成不同的顺利学习,甚至引发了反应后一个正确的审判。当SNN不断预测正确的行动,最后测试完成了小说模式(见例子在4100周期)。
在第二个实验中,大多数图像都显示左侧垂直,直到2200年循环(图
真正的实验,使用覆盆子π,给了相似的结果,尽管它是必要的运行实验前几次成功。这里的主要困难是关于时间和手工图像调整在镜头面前;否则,它没有正确地捕获图像的感官输入层。而且,由于没有红外传感器对实体机器人,被给予的奖励,红色的论文在前面,被它的相机。这增加了一些工件在模拟。视频和仿真结果可作为补充材料:
抽象概念学习被认为是一个更高的认知过程和智能自然物种的一个重要特征。最近神经科学文献表明,即使与小型无脊椎动物的大脑可能达到这种程度的复杂性。这个吸引人的事实刺激认知现象的模拟激增bioinspired人工神经元方法嵌入neurorobotic模型。这种模式依赖于工作假说之一的计算一般智力水平层面上,基于功能认知过程相关的特定的身体结构和环境。然而,精确的认知过程的模拟人工神经电路和给定机器人实现并不打算反映自然,但只有繁殖人工基质的功能和行为,建立在一个真实的背景。
这个项目将是一个一步达到关系概念水平之前,从设计一个特定SNN相关水平/垂直的空间抽象概念和左/右。以外的主要目的通过neurorobotic模型模拟这个学习过程,本实验还充当一个原型模型进一步研究一般神经设计的发展,从而维持概念学习的三种不同类型,以及多种形式的概念在每个类别。
在其目前的形式来看,SNN模型了视觉规模小的限制(视网膜)和一个单一的色彩感知(黑色)。SNN设计也是局限于检测完美的水平或垂直的刺激。因此,它将无法执行时,看到前面一个直角刺激它,这是另一个可能的测试泛化属性。在同一角度,上下伸缩刺激是不可能在这个实验中,从视网膜的限制功能。然而,这些问题可能在未来纠正工作。此外,更高的歧视将会是一个理想的特性包括在目前SNN模型,因为它需要在高于/低于相同/不同关系的概念,以及它的完整验证传输测试。然而,我们相信这种架构的核心神经层将保持,可以用于更复杂的研究有关。
关系概念学习过程摆脱经验和突触修改现有的神经回路,或是否需要添加新的神经元的发育神经阶段?是自底向上的关系概念结构化神经层次?分类的一阶感知水平维持二阶关系抽象概念?作为一个开始向回答这些问题从neurorobotic模型的角度来看,该SNN允许学习两个空间的概念,从一组特定的神经元和突触。首先,机器人的学习规则尚不清楚,但作为回报,SNN适应其行为的监督增援的操作性条件反射的过程。此外,SNN时表现出行为可塑性改变在线奖励规则。
在目前的实验中,没有必要区分刺激模式,例如,区分黑色广场刺激和X形刺激。这种低水平的感知没有实现空间学习任务所需的左/右和水平/垂直模式。然而,这当然是一个关键的步骤达到关系抽象的学习水平。例如,在上面/下面的场景中,确定常数视觉空间参照而其他视觉模式需要一个不同的位置知觉歧视和功能作用的比较。这是一个未来的工作为我们的团队整合目前的模型,并构建一个SNN链接这个空间概念级二阶关系概念。
本文的另一个目标是提供实验数据比较不同计算机器人模型,以及开发基准测试增量学习领域的复杂场景中抽象的概念。
本文表明,拟议中的SNN控制虚拟和物理机器人,成功学习水平/垂直的空间概念和左/右视觉模式从调节过程和突触修改。这个实验打算做第一步研究达到二阶关系概念的上面/下面的情况。我们相信这bioinspired方法可能打开新的视角达到较高的人工识别neurorobotic域。
完整的访问所有参数和结果数据用于支持这项研究,以及SIMCOG软件,可以从相应的作者。
作者宣称没有利益冲突。