生物启发计算模型基底神经节的行动选择

文摘

基底神经节(BG)是一个皮层下结构与行为选择。这项工作的目的是提出一个新的认知神经科学模型的BG,渴望代表一个吝啬的简单性和完整性之间的平衡。模型包括三个主要途径操作的BG电路,即直接(去),间接(勿动蛋白)和hyperdirect通路。原来的主要方面,与之前的模型相比,使用两届赫规则训练在纹状体突触,完全基于变化引起的多巴胺神经元的活性高峰或下降,和胆碱能中间神经元的作用(影响多巴胺本身)的学习。一些例子显示,关于几个典型案例:行动选择基础条件,选择动作的强烈冲突(hyperdirect通路出现的角色),突触变化引起的相位的多巴胺,和学习新行为基于之前的奖励和惩罚的历史。最后,一些模拟显示模型在条件改变多巴胺的水平,说明病理情况下(在帕金森主题或多巴胺hypermedication多巴胺损耗)。由于其简洁的方法,模型可能代表一个简单的工具来分析BG功能行为实验。

1。介绍

基底神经节(BG)是一组皮层下结构,应该是涉及许多任务,包括选择动作。虽然他们的角色是传统的局限于运动机能,最近的研究关注参与认知。的确,如今的含义BG在各种认知功能得到了越来越多的考虑,所建议的行为、临床和生化实验人类特别是非人存在物(1- - - - - -5]。这些结果进一步支持的解剖发现,证明大脑的BG连接结构与不同的认知任务1]。

大利益受到BG最近神经生理学和神经科学研究的动机不仅是他们重要的角色在一些运动在健康状态和认知任务(行为选择、分类、工作记忆等…),也被他们的故障,导致一系列的疾病,主要是帕金森病(PD),神经退行性疾病与损耗的多巴胺能神经递质有关。事实上,人类认知研究,表现在健康对照组和PD, PD患者的认知缺陷记录,包括赤字在内存中,注意力,学习和解决视觉空间的任务(6- - - - - -11]。BG机制操作的复杂性和多样性的数据获得近年来(生化、细胞、解剖、功能和行为)的风险不够理解或不利用如果没有纳入一个连贯的理论框架。Neurocomputational模型提供了一个优秀的方法来总结大量的知识转化为一个全面的设置。的确,过去的20年里已经看到越来越多的文献调查BG函数通过计算建模技术(总结和讨论最近的最具影响力的模型,看到这项工作的最后一部分,也是优秀的审查论文,科恩和弗兰克(12),Helie et al。13],和Schroll Hamker [14])。这些模型的目标是评估机制治理BG功能以严格的量化计算;为了这一目标,他们把生理知识在不同的神经通路以及突触可塑性规则涉及到一个连贯的结构,导致新兴属性和特有的特性,独立的科学还无法解释。最终的目标是理解认知行为和/或运动功能,在生理和病理条件。

尽管大量的有效模型提出了在最近的文献中,仍然有几个方面值得关注和可能受益于额外的计算机模拟研究。

这项工作提出了一种新颖的吝啬的BG的行为选择模型,结合严格的描述的主要机制和神经通路的简单解释的一般方程,确定行为实验。工作是出于以下主要目标(并不是所有的合并或只是在先前的研究中强调不足):

(我)介绍的角色在BG机制和胆碱能中间神经元突触学习。虽然各种数据突显出,在纹状体突触学习反映了一个可能的合作的多巴胺和乙酰胆碱和可能由胆碱能中间神经元15),我们都知道只是一些模型考虑这方面明确,但对乙酰胆碱与假设不同的角色模型(16,17]。

(2)操作的BG分析一些重要的机制。特别是,我们将演示一个简单的两届赫突触机制可以占BG的能力来选择学习新行为的基础上,以前的奖励和惩罚的历史。此外,我们将提供明确的例子hyperdirect通路的作用在冲突解决的任务。尽管后者最近也被包含在模型[2方面18功能作用的),全面分析建模社区仍然是有价值的。

(3)显示多巴胺机制引入模型中可以占临床相关的各个方面,如多巴胺耗竭的影响的响应时间和忽视相关的反应。

2。定性模型描述

2.1。模型结构

网络的定性结构如图1。

模型包括皮质的感觉表示(大脑皮层运动表象),()、丘脑()、纹状体、功能划分根据多巴胺受体表达(D1:去,D2:勿动蛋白),底丘脑核(STN),苍白球pars外(Gpe),和一个输出部分所代表的苍白球pars interna (Gpi)和黑质pars试(信噪比)结合在一起。当前模型的特殊性,而大多数之前的,由胆碱能显式表示的中间神经元(由单一单元ChI)和他们的特定的网络。

刺激在大脑皮层的代表是一个向量。我们假设不同的操作通道,每一个编码不同的替代选择。这些通道隔离在BG但交互在电动机前额叶皮质的一部分通过“赢者通吃”的动力。

而所有其他结构建模神经元层(代表替代选择隔离)STN和ChI建模为单一神经元自他们的活动代表了全球房地产的整体网络;也就是说,他们发挥全球行动在所有渠道。

在下面,每个刺激在输入向量表示为第4单元,我们也假设的存在(即4隔离通道。,我们有4个可能的替代选择,= 4)。我们使用4行动渠道减少模型复杂性降到最低,仍然允许进行彻底的分析模型动力学:事实上4频道充分调查的复杂性关系发生当多个可能的选择一起竞争。

每个神经元模型中表示为一个计算单元,计算其活动输入的加权和。活动范围内的输出,代表一个规范化的神经元的放电频率。特别是,我们使用一个s形的静态关系代表的存在上限阈值和饱和度神经活动和一阶低通动力学模拟神经元膜的综合能力。

第一次简化对生物学是BG使用单个输出地区;即苍白球pars interna和黑质pars试被当作一个单独的区域(名为只是GPi以后)。这是常见的BG的大多数模型是合理的,其严格的解剖和功能相似之处。

进一步简化由多巴胺(DA)的使用直接调制输入因素,没有明确表示在黑质致密部多巴胺能神经元,负责释放多巴胺能神经递质。这个选择允许简单的正常和病理条件下,模拟中多巴胺的水平可以人为地改变的疾病或由外部干预。

前面的神经元连接实现的三个主要途径(直接、间接和hyperdirect)在BG运转工作。

在占主导地位的“刹车油门”视图,BG只能方式选择已经选择皮质:换句话说,3只通路调节的共同作用的抑制提供了Gpi丘脑,因此允许或阻止由皮质神经元响应编码。的确,丘脑只收到抑制BG的预测,同时提供了激励只有所选皮质的神经元。

让我们跟随的角色和功能的主要路径模型。

模型的输入向量,这可以解释为一个皮质的外部刺激。是连接到大脑皮层的一部分吗致力于实现响应(电动机前额叶)和纹状体(去勿动蛋白),以便纹状体背景情况。我们假设响应在相应的神经元被激活克服一个给定的“行动阈值”(选择接近1:0.95)。

如果没有输入(即刺激。,the network is in its basal steady-state), the thalamus is globally inhibited since, without any excitation by the cortex, it receives only tonic inhibition by the Gpi [19]。相反,一个适当的刺激丘脑的方式。从这个意义上说,该模型实现了一个“赢者通吃”(WTA)机制,这只能引起更强的响应。WTA机制是实现通过侧皮层神经元之间的禁忌和积极的自身环。后者是实现通过反馈每个神经元之间的连接在丘脑皮层和其相应的表示(见图1)。足够活动的成就的赢家需要激活自身环;因此,相应的表示在丘脑BG之前可以抑制。

为了规范丘脑抑制/抑制解除,每个皮质的神经元连接到自己的(直接或striatonigral),勿动蛋白(间接或striatopallidal)通路通过兴奋性突触的训练,成为第一个途径负责集中便利化响应相应的神经元和编码的第二通道负责集中抑制。

中的每个striatonigral神经元通路,反过来,发送一个相应的神经元的抑制性突触Gpi:是兴奋的神经元越多,越Gpi的神经元抑制,减少其紧张性活动。因此,如果可以刺激丘脑皮层,通过这个过程BG试图促进这种特定反应的控制。

同样,每个striatopallidal勿动蛋白神经元发出Gpe的抑制性突触到相应的神经元,从而降低其紧张性活动。这将导致更少的抑制提供给谷歌价格指数,从而变得更加活跃。通过这种互补的过程,BG试图阻止候选人的行动。

事实上,2通道之间的不平衡,由于突触的不同价值观,最终调节Gpi的活动:如果路径盛行,Gpi少提供了相应的神经元的抑制丘脑(即。BG“放手”响应);相反如果勿动蛋白通路更活跃,谷歌价格指数提供更多抑制丘脑(即。BG“停止”响应)。

每个去勿动蛋白通路并联运行每个神经元的大脑皮层(20.),这就是网络响应选择任务通常方法:单个神经元赢得竞争皮层和选择一个行动。然而,大脑皮层会变得特别困难的选择拥有一个强大的替代候选人之间的冲突:在这种情况下,BG可以提供快速但矛盾的反馈和相互冲突的反应能赢在一起(见结果部分)。这个具有挑战性的情况下由hyperdirect通路管理,由STN:它的作用是,事实上,提供全面停止信号的所有单位Gpi为了防止BG的任何反馈,因此让更多的时间大脑皮层来解决冲突。详细,STN接收能量信号从大脑皮层,总结了冲突水平,并发送所有Gpi的神经元兴奋性预测,提供一个整体抑制丘脑。最后,符合生理文学,我们有一个简短的循环Gpe和STN(见图1)。它的主要作用是控制STN活动,为了避免过度活跃或不受欢迎的振荡21]。

2.2。多巴胺和乙酰胆碱

证据(2)表明,基底神经节突触权重能够改变他们,尤其是在皮层和()和勿动蛋白()纹状体的一部分,同样刺激之间的表示和去()和勿动蛋白()纹状体的一部分。

此外,多巴胺不是唯一兴奋或抑制性但可以产生不同的效果取决于受体:如果D1受体结合,它通常提供了激励,而如果它结合D2受体提供了抑制(20.]。因此,在纹状体多巴胺的作用是不同的,主要是兴奋的部分和抑制勿动蛋白部分。

详细,对比度增强的现象已经在去神经元(22]:如果活动的神经元足够高,多巴胺产生进一步的激发,而它提供进一步抑制神经元活性较低。这导致对比度增强效果。没有类似的效果报道到目前为止勿动蛋白神经元:只在这些神经元,多巴胺产生抑制作用。

在模型中,多巴胺展品主音的水平。此外,在惩罚或奖励,多巴胺产生的相位的变化(瞬态多巴胺奖励期间达到高峰;瞬态浸在惩罚)。这产生一个瞬态的变化在纹状体神经元的活动,获胜神经元通常接受更进一步的激励奖励,与此同时,勿动蛋白和失去神经元收到抑制。相反,在惩罚的情况下,神经元的抑制,而所有赢得勿动蛋白神经元兴奋。

引入的强烈的新奇礼物模型的显式描述纹状体胆碱能中间神经元学习期间,这里由一个单元(ChI)。

胆碱能中间神经元的依赖多巴胺似乎行之有效的生理文学:胆碱能中间神经元表达D1和D2受体(23,24),因此,与其他纹状体神经元,能感觉到多巴胺的变化。此外,数据在医学文献报告中胆碱能减少活动后多巴胺浓度的增加,表明多巴胺在胆碱能中间神经元的抑制作用15]。相反,减少多巴胺刺激胆碱能神经元高于其基底活动。此外,我们假设这些中间神经元的激活提供了抑制神经元和神经元激发到勿动蛋白,与敌方角色与多巴胺。这个角色,尽管仍在文献中讨论,部分支持的新研究成果(25- - - - - -28)(参见讨论),但从未在前neurocomputational评估模型。摘要胆碱能单元之间的关系和其他网络如图2。

感谢这个机制,胆碱能中间神经元放大对纹状体多巴胺神经元的影响,特别是在蘸多巴胺。

2.3。”赫规则和学习

正如上面所讨论的,我们假设一个奖励或惩罚导致多巴胺水平相位的变化(或下降,峰值resp),反过来,是反映在一个相反的胆碱能中间神经元活动的变化。

多巴胺水平的形势的变化和随之而来的胆碱能中间神经元活动的变化影响到纹状体神经元的活动。这有一个对突触可塑性的影响。

突触可塑性是实现模型中使用两届赫规则,基于突触前和突触后活动之间的相关性,影响所有突触(即进入纹状体神经元。,突触,,,在模型中)。值得注意的是,这条规则不同于采用一个最以前的模型,通常使用三任规则,包括一个乘法术语直接调制相位的多巴胺。

在目前的模型我们没有使用时间规则培训,但是一个简单的关联规则基于神经元活动的最终值。稳态突触前和突触后活动与阈值进行比较。只有在突触前活动高于阈值突触资格培训。通过这种方式,只是来自活跃的皮层神经元的突触(冠军)和重大刺激的感觉皮层可以修改他们的价值。然后强化(增强作用)或削弱突触(抑郁症)取决于突触后活动是否高于或低于阈值。

最基本的方面,我们的规则是,在缺乏多巴胺相位的变化,赢家(突触后)纹状体神经元的活动接近阈值(我们假设一个阈值高达0.5,表示平均激活)。结果,他们的突触不改变(或展示一个小变化)突触后活动以来任期的规则是接近0。相反,相位的多巴胺的变化(一个峰值在奖励或惩罚期间下降),和随之而来的相位的变化在胆碱能活性,导致纹状体神经元的活动发生重大变化,移动很远离突触后阈值和诱导突触或抑郁。

总之,纹状体的活动瞬态变化由于多巴胺和乙酰胆碱导致活动驱动的可塑性,能够改变网络的行为,创建新的刺激反应联想的经验,作为奖惩及时。因此,突触可塑性诱发的修改联系特定的刺激和随之而来的回应:以前奖励结果将更有可能选择在未来,而受到惩罚的人将积极避免。

3所示。数学模型描述

3.1。单个神经元的动力学

在以下部分中,我们将确定突触后神经元、突触从突触前神经元的活动是。神经元可以最终也有额外的输入来自外部源的模型中没有直接表示:这些都是传达的一个术语。

突触后神经元突触和nonsynaptic投入可以概括在一个合成变量。如果有突触前神经元突触后神经元的投射,我们可以写

为了模拟细胞膜综合过程,输入一个突触后变量转换,使用一阶微分方程的时间常数:

最后,一个s形函数计算神经元的活动,,从先前的输出微分方程:

在当前模型中,s形函数被实现为 在哪里和参数设置中央斜率和乙状结肠的中心位置。

3.2。网络连接

单个神经元的空间位置是所描述的下标,,= 4的多数层(,去,勿动蛋白、Gpe Gpi)。STN和胆碱能中间神经元气,既代表模型中单一的单位,不需要下标。

来描述网络中的连接,突触2 2标和下标表示。2下标表示突触后神经元和突触前神经元的位置,分别。标表示的目标层(突触后神经元属于)和捐赠者层(突触前神经元分别位于)。缩略词用来表示各个层:感觉皮层;:运动皮层;:丘脑;:去;:勿动蛋白;:谷歌价格指数;:Gpe;:胆碱能中间神经元气;STN:丘脑核。此外,是用来表示动态的侧抑制皮质。

提供一个例子,这个词代表一个神经元的突触的位置感觉皮层的,一个神经元的位置的部分,的纹状体。

指的是数据1和2突触的性质是由特定颜色的预测:兴奋性预测是用绿色表示,而抑制性的用红色表示。侧抑制是由橙色箭头表示。

在所有的突触的突触权重矩阵和,我们强调不同的教派是用于,因为这个投影不单一神经元连接但通知STN皮层内的冲突表示,通过一个能量函数。

3.2.1之上。皮质

第一组方程描述如何在大脑皮层神经元的活动计算。

我们可以写为

前面的方程可以解释如下。每一个皮质的神经元接收从整个刺激兴奋性输入和一个从相应的神经元兴奋性投影在丘脑。此外,它还收到一个额外的输入反映侧抑制其他神经元的大脑皮层。后者的特点是一个不同的时间常数。如果丘脑的神经元被激活时,大脑皮层的神经元收到积极的反馈需要赢得WTA的选择。

3.2.2。纹状体的一部分

第二组方程描述神经元的活动。

我们可以写为

至于大脑皮层,每一个神经元的去接收从整个刺激兴奋性输入和一个相应的大脑皮层神经元兴奋性投影开始,这里的直接途径。尤其值得注意的是,这个矩阵是斜的,反映了不同的操作通道之间的分离。

多巴胺(DA)和胆碱能活动(中间神经元)调节活动的每一个神经元。

多巴胺是兴奋性()如果去活动高于某个阈值(),抑制相反:这种机制实现对比度增强效应(22]。

胆碱能中间神经元总是抑制()去代替。

多巴胺和乙酰胆碱对主音和相位的影响去活动。

3.2.3。勿动蛋白纹状体的一部分

第三组方程描述勿动蛋白的神经元的活动。

我们对

一样,也勿动蛋白接收的每一个神经元兴奋性输入从整个刺激并从相应的大脑皮层神经元兴奋性投影开始,这里的间接途径(因此,矩阵是对角)。

多巴胺(DA)和胆碱能(中间神经元)调节每个勿动蛋白神经元的活动,但以不同的方式。

总是抑制多巴胺()所有勿动蛋白的神经元,而胆碱能中间神经元提供励磁(勿动蛋白)。多巴胺和乙酰胆碱对勿动蛋白活动施加主音和相位的影响,在镜面路比在前面走的情况。

3.2.4。苍白球Pars答辩

第四组方程描述Gpe的神经元的活动。

方程为

Gpe的每个神经元接收到相应的神经元的兴奋性投影勿动蛋白纹状体的一部分,继续间接通路,而励磁(从STN)是一个反馈回路的一部分控制STN活动,如前所述。

每个神经元tonically活跃在休息,由于外部输入()。

3.2.5。苍白球Pars Interna

第五个方程组描述Gpi神经元的活动。

方程为

Gpi的每一个神经元接收到相应的神经元的兴奋性投影去纹状体的一部分,持续的直接通路,和一个抑制Gpe的投影,而励磁()从STN hyperdirect方式的一部分。事实上,STN激发所有Gpi的神经元,在抑制丘脑中相应的神经元,因此制动任何行动的选择。

每个神经元tonically活跃在休息的时候。特别是,外部输入()克服了抑制性输入来自Gpe的原因虽然Gpe提供抑制,Gpi在主音是活跃状态,抑制丘脑。

3.2.6。丘脑核

第六组方程描述STN的活动。

我们可以写(和标量变量)

STN连接到大脑皮层,但其活动并不依赖于单个神经元,但整体活动的,感觉通过一个能量函数。后者反映了冲突发生在大脑皮层;即信号的存在2个或更多的皮质神经元同时高度活跃。越高越高,STN的激发。这就是hyperdirect通路是如何开始的。

Gpe的投影是反馈回路控制STN的一部分活动,正如前面说。

3.2.7。丘脑

第七组方程描述了丘脑神经元的活动。

我们对

每个神经元的丘脑接收相应的大脑皮层神经元的兴奋性投影和一个相应的神经元的抑制投影Gpi: 2之间的不平衡决定是否相应的行动是封闭的。值得注意的是,丘脑意识到大脑皮层的兴奋,一起向后激从丘脑皮层,一个积极的反馈循环,这是WTA皮质机制的重要组成部分。

每个丘脑神经元tonically沉默静止,因此主音活动Gpi的静止。

3.2.8。胆碱能中间神经元

最后一组方程描述气胆碱能中间神经元的活动。

我们有(和标量变量)

胆碱能抑制(中间神经元的)多巴胺(DA);因此,影响tonically和phasically。

气是tonically活动静止()。

3.3。突触学习:赫规则

在本节中,我们讨论的数学细节规则专门设计用于繁殖的突触可塑性,BG的发生在我们的模型。

让突触前神经元之间的突触的变化在层(=或)和突触后神经元在层(=或):表达的规则如下: 在突触权重的变化是由于前和突触后术语之间的关系,比较突触活动特定的阈值。

预处理和突触后的引入阈值是一个关键的元素在这个规则的繁殖能力可塑性由于多巴胺能的调节作用和胆碱能神经递质。

突触前,使用函数的“积极的”(+),检测学习可以发生:只有来自兴奋神经元的突触的皮层或从突出的刺激,高于阈值,可以修改。特别是,这意味着只有突触的选择行动(高价值从当前上下文()和高值)学习。突触后项考虑是否突触后的活动纹状体神经元)(在我们的例子中是高于或低于某一阈值组,这是接近获胜者的紧张性活动水平没有错误的反馈。它决定了突触的发生或抑郁。

最后,我们假定突触不能改变他们的价值(尤其是进入纹状体突触都是兴奋,不能成为消极的)或不能超过最大饱和度值增加。因此,我们对于每一个训练有素的突触,(与=或和=或)。

3.4。参数赋值

自模型非常复杂,包含很多参数,不需要进行自动识别过程。此外,大多数参数描述平均远程连接在人群中,神经生理学数据不是直接可用。因此,我们使用了启发式的方法来调优参数。

特别是,参数调优尊重一定数量的限制,第一个正常工作相关的点在缺乏外部的刺激,然后响应外部刺激,最后奖励和惩罚的作用。(我)单个神经元:提供单个神经元的s形的特点,因此,在缺乏任何输入,活动可能会相当微不足道(接近于0);乙状结肠的斜率允许进步从0增加到上饱和,因此自愿的神经活动的调制。时间常数的范围通常采用神经元和同意颞动力学造成更复杂的集成和火灾模型。(2)基底工作点:在基底条件下皮层、丘脑、纹状体必须抑制;相反Gpi、Gpe展览一定基底活动。我们假设Gpe的基底活动是在大约一半的最大活动;相反,谷歌价格指数的基底活动较高,接近上饱和。这么高的活动Gpi同意生理数据(19),有必要保持丘脑抑制。前面的约束被赋值实现外部输入谷歌价格指数和Gpe和连接从Gpe Gpi Gpe和丘脑。(3)内皮层和丘脑:横向连接的皮层和皮层和丘脑的连接从丘脑皮层被分配实现相当强劲的“赢者通吃”的机制。特别是cortico-thalamic循环代表了自励,必要的领导获胜者神经元上饱和。侧抑制是足够强大,这样获胜神经元(接近饱和)几乎可以完全抑制其他皮质神经元。刺激大脑皮层的神经突触有温和的价值,这样,在缺乏丘脑激励的情况下,一个神经元在大脑皮层不能达到很高的活动水平(因此相应的行动是不触发)。(iv)纹状体:刺激的突触和从皮质纹状体(去勿动蛋白)神经元有适度值前培训,使纹状体神经元的活动路径(冠军)可以抑制和上饱和度之间有一个中间活动(约0.5)。这个活动是接近的门槛”赫规则。结果,相应的突触增强或削弱只奖励或惩罚反馈,这大大改变神经元的活动水平。如果没有反馈,突触的变化可以忽略不计。(v)苍白球:从纹状体突触Gpe甚至Gpi被给予这样的适度激活纹状体神经元(由于皮质获胜神经元和感官输入)可以诱导几乎完全抑制下游神经元(Gpi、Gpe)。Gpi的突触丘脑确保当Gpi活跃,丘脑是完全抑制。因此,谷歌去抑制对应于所需的闸门机制。(vi)丘脑核:连接形成皮层STN被选中,这样即使是适度的冲突(即。2皮质神经元同时积极)可以激发STN。连接从STN Gpi确保强有力的激励Gpi即使在STN的适度活动,因此阻止任何由BG浇注。最后,反馈联系STN和Gpe选择允许快速失活STN的冲突解决。(七)多巴胺和乙酰胆碱:参数设置多巴胺纹状体神经元被分配行动增加多巴胺,在奖励,在纹状体神经元激活获胜者可以接近其上饱和度和几乎完全抑制所有勿动蛋白的神经元。类似地,浸在多巴胺能强烈抑制所有去神经元(也通过激活胆碱能通路)和神经元激发获胜者勿动蛋白。这些约束满足通过设置适当的收益或突触权重从纹状体多巴胺和多巴胺纹状体的胆碱能中间神经元。因此,赫规则可以根据要求,帮助去通路在奖励和惩罚期间勿动蛋白通路。

从一个初始的值参数,能够满足约束(i)和(ii),技术评估网络的行为为了所需的行为输出包括随后的限制,逐步解决前面的参数和确定新的。

也得到了一些参数包括或敲打出特定的结构,如STN。

整个优化过程几次迭代,考虑周期性前面设置的参数,最后整个神经网络评估,以验证整个行为是否能满足所有生物的需求。

模型的参数值在默认状态和状态变量的初始值是在桌子上1。

的突触权重模型派生表上面描述的过程2代替。

4所示。结果

在下一节中,我们描述了一些仿真结果,表明本模型在典型工作条件。

大多数的模拟运行主音多巴胺值(0.45)对应的,在我们组参数,健康滋补品的水平。模拟执行消耗或增加多巴胺水平显然表示。

4.1。默认的行为

模型模拟的一个例子在默认情况下(即。,parameter values and the initial values of state variables as in Table1和突触值如表2,没有学习)呈现在图3。刺激作为网络的输入。

突触的对称的基础价值,BG门响应与输入刺激(即越高。,the second in this case): accordingly the second neuron in the cortex wins the competition and is maximally active, together with the corresponding neuron in the thalamus. The Go and NoGo portions show that both direct and indirect pathways are activated for the winning action. However, the correct response is gated due to an unbalance in the activity of the Go and NoGo neurons, resulting in a greater inhibition of the second neuron in the Gpi and therefore in less inhibition to the corresponding neuron of the thalamus. Hence, a positive loop occurs between the winning neuron of the cortex and the corresponding neuron in the thalamus.

STN活动低,信号网络没有察觉任何冲突局势皮层。

此外,胆碱能活性中间神经元是稳定的补药水平在整个模拟,因为没有错误反馈被释放了。

4.2。解决冲突

在特定的情况下,当选择皮质特别困难,hyperdirect通路,由STN,防止闸门由BG。分析这种情况中,我们使用一个冲突的刺激作为网络的输入。这个刺激计划创建一个伟大的皮层内的冲突,特别是第一批3个神经元,虽然第二神经元接收更高的激励。结果见图4。

红色虚线代表一个模拟的结果由人为消除hyperdirect通路(这个目的,STN活动在整个模拟被设定为0)。这里,nonphysiological情况,所有3候选人行动迅速达到高皮质激活。对3的所有行动都去勿动蛋白信号上升,和相应的丘脑神经元抑制。当然,这种情况是不可接受的,因为3矛盾的行为可能同时封闭。

蓝色实线表示相同的模拟假设执行一个完整的STN:在这种情况下一个初始状态的冲突显然是明显的观察皮层信号能量函数。因此,STN的活动最初上涨,暂时停止基底神经节反馈直到皮层内的冲突解决。这也突显出的延迟Gpi丘脑活动,与前面的情况。

最终结果是,大脑皮层有更多的时间来解决冲突;由于BG提供正确的反馈,即使慢:最终的输出响应是正确的,也就是说,由第二神经元编码。更重要的是,该模型可以选择1最终响应,避免冲突的经验,尽管存在多个强大的输入。

一旦完成STN的角色,其活动本质上不太必要和神经元变得沉默。

4.3。奖励和惩罚

在前一节我们提到,多巴胺和胆碱能中间神经元阶段负责BG的突触可塑性变化。我们现在如何错误反馈(即。,reward and punishment) are able to alter striatal activity, which is at the basis of synaptic plasticity described by our Hebb rule.

在下面的模拟(图5我们说明奖励或惩罚的效果可以在网络中不同的活动。使用的刺激是。在默认状态(即。,out training) the gated response is the one coded by the second neuron of,因为它接收更大的激励。

在第一个模拟(红色虚线)我们假设网络的最终响应收到惩罚。这是模拟减少多巴胺水平的基值(0.45)为零。多巴胺起价= 100毫秒,当网络达到稳态水平,持续50毫秒(值适用于延时和相位的多巴胺能响应时间2])。在第二个模拟(蓝色实线)我们认为,奖励时,模拟与多巴胺的峰值(从0.45到一个值的两倍正常,即。,0.9)仍然女士在100年和150年之间。

奖励和惩罚的效果不会明显改变皮层的活动,但它显然是明显的纹状体神经元的活动。在惩罚的情况下,一个短暂的下降发生在赢得去神经元的活动。相反,勿动蛋白单位明确显示峰值,特别明显的单位获胜神经元。此外,我们可以注意到一个瞬态峰值在胆碱能活性中间神经元,底层气多巴胺的抑制作用。

的奖励,一个短暂的峰值出现在活动的获奖单位。其他人去单位保持低活动,由于多巴胺的对比度增强效果。勿动蛋白的神经元表现出瞬态蘸活动,尤其显著的单位选择行动通道。最后,胆碱能展览中间神经元的活动暂时性下降,导致激励的途径,勿动蛋白通路的抑制。

总之,由于多巴胺瞬态变化,相位的纹状体的活动,无论是在奖励和惩罚的情况下,移动远离突触后的阈值,从而使赫学习传入突触。

4.4。胆碱能中间神经元的贡献奖励和惩罚

的一个主要的新模型是胆碱能中间神经元的引入和仿真在突触可塑性的作用。为了澄清这个特定的功能机制,重复了之前的模拟人工气的活动维持在一个恒定的基础水平。比较正常的状态(蓝色实线)和没有ChI(红色虚线)显示在图中6。

以来,在奖励和惩罚,纹状体神经元的主要活动发生变化(包括去勿动蛋白)在选择行动通道(即。,第二个通道图5),只有这两个神经元的活动再次显示在图6。

红色虚线信号峰值较低和较高的下降:这意味着气的贡献至关重要移动远离阈值的纹状体的活动(这个阈值显示一个绿色的点划相间的线)从而允许更大的改变突触权重根据我们具体赫规则。

特别是,它可以注意到,气的贡献尤为重要的神经元,特别是在惩罚;没有这种机制,突触后任期的规则将接近于0,防止塑性的直接途径。

4.5。培训

基底神经节可以改变他们的行为和他们的刺激反应协会通过突触可塑性。

给定一个刺激,培训的目的是将默认的选择反应,具有优势的一个(在前面的模拟与最强的元素之一由另一个皮质神经元)的编码。

来训练网络,我们假定一个刺激。在默认状态下,第三个皮质神经元接收到更强的激励,因此第三个选择行动。我们的目标是逐步抑制第三神经元响应编码的皮层,当这种刺激提出了输入网络,训练网络门所需的反应,也就是说,编码的第四个神经元。

在这些模拟一些噪音0(正态分布均值和标准偏差0.25)被添加到原来的刺激。因为每个元素的刺激必须在一个精确的范围内指定的值之前,噪声添加后的每个元素检查并最终迫使范围。添加噪声允许替代行为的控制,以应对同样的外部输入,和奖励和惩罚的发生在不同的时期。这意味着这个话题不仅是利用前面的知识(突触的编码值)还探索新的可能性。这种勘探/开发权衡对拥有一个高效的学习至关重要。

培训由100时代。

突触的变化,,,如图,在不同的时代7(蓝色实线)。以来重要的突触变化只发生在第三和第四行动通道(突触前活动是高)的子矩阵通道参与第三和第四行动,也就是说,(3:4;3:4),(3:4;3:4),(3:4;3:4)(3:4;3:4),是简单的描述。(我)从皮质突触:回忆是隐含的直接通路,减少元素的位置disfacilitates占上风的响应。相反,增加元素的位置对应于所需的响应的便利,增加与相应突触增加到上层的饱和度。(2)突触形成皮层勿动蛋白:回忆隐含在间接通路,轻微增加元素的位置倾向于抑制优势的响应。相反,减少元素的位置提供更少的抑制神经元编码所需的反应;在这种情况下,相应突触减少为0(低饱和度)。(3)从走的感觉皮层突触:回忆是隐含的直接通路,减少元素的位置和元素的缺乏增加位置提供更便利的优势的反应。类似于,这一次2突触,和,上升到所需的响应提供更多便利。(iv)从感觉皮层突触勿动蛋白:隐含在间接通路,其变化不太直接的理解。事实上,这个矩阵展品只有轻微的变化结果的训练。一些变化(第三采取行动抑制增加元素),只在第一个时期,因此造成明显的第一阶段的训练。原因在于,在过去的时代,惩罚很少发生(从网络学到正确的策略)和奖励是主导,所有勿动蛋白抑制神经元,而相同的输入刺激的元素仍然很高。因此,由于赫规则,所有高价值的突触勿动蛋白是逐步减少。这方面可能会提高通过减少多巴胺山峰的预期回报(见讨论)。

然而,尽管这种不一致,比较的皮层和丘脑活动开始和结束的时候训练(图8),以应对同样的刺激表明,突触的影响学习取得成功,训练后的网络现在能够适应刺激反应编码。这个图显示的时间响应网络刺激,没有噪音,在最初的阶段(红色虚线信号),在最后阶段(蓝色固体信号)的训练。

在训练之前,占上风的反应是封闭的,如图所示,最后活动在大脑皮层和丘脑。第一次训练的弱信号是通过一个小蘸丘脑的第三个神经元的活动,表明训练开始惩罚占上风的响应,如预期。后100时代的培训,网络提供了相同的刺激但是现在BG门所需的响应,显示训练过程是成功的。

最后,我们反复训练损伤过程的气,就像在模拟图6(气的活动是人为地维持在一个恒定的基础水平,抑制任何阶段的活动)。结果如图所示7红色虚线。很明显,低峰值的影响和更高的蘸去/勿动蛋白神经元,由于缺乏乙酰胆碱(以前如图6),导致学习过程较慢,少突触改变与正常情况相比,尽管同一时代的培训。因此,胆碱能中间神经元被证明是正确的突触可塑性的关键。

4.6。网络与低、正常和高滋补多巴胺的水平

在我们的模型中存在多巴胺在主音和相位的形式。

相位的多巴胺在突触可塑性的影响是广泛的讨论。现在我们希望专注于模型是如何能够繁殖行为变化因不同程度的补药多巴胺和主音多巴胺如何影响BG的行为在我们的模型。

在仿真后,刺激提出作为网络的输入,假设三种不同条件的特点是主音多巴胺的不同值:正常的值(0.45,蓝色实线),高值(0.55,黑色虚线),和一个较低的值(0.35,红色虚线)。仿真执行所有其他参数的基值和突触(之前没有进行培训)。因此具有优势的一个获胜的行动,也就是说,第三,皮质神经元以更大的激励。因此,只有第三行动通道显示神经活动简单(图9)。

可以很容易地看到,主音的多巴胺水平对每个结构的网络的影响。在大脑皮层,主音多巴胺水平越高,反应越快,提词员反馈引起的丘脑。

最有趣的一个结果是对纹状体的活动:我们的模型直接转化相关的生理知识,主音多巴胺水平整体不平衡直接间接通路中的(29日,30.]。的确,更高的补药多巴胺水平促进直接通路的间接途径(30.,31日):这是特别明显的神经元的活动去勿动蛋白的赢家,是第一个高的活动,第二低于正常。这可能被视为一个可能的模拟传统药用帕金森病,因为它通常指的是更高的主音多巴胺由左旋多巴承担。

主音多巴胺水平低的情况描述产生相反的影响相反,促进间接的直接途径:再一次,最明显的例子去勿动蛋白的神经元的活动的冠军,分别是低,高于正常。临床解释,这种情况也可能是广为人知,帕金森病的主要特性之一是主音多巴胺水平低于正常。

此外,不同级别的补药多巴胺产生微分效应也在胆碱能的紧张性活动单位气:降低多巴胺水平增加其激活,而较高的多巴胺水平倾向于抑制它。

4.7。对刺激的敏感性与不同的补药多巴胺的水平

之前的模拟清楚地表明,主音多巴胺水平低可能产生更长的响应时间。在这组模拟我们调查主音多巴胺的不同层次之间的关系和响应延迟我们的网络,使用刺激和不同的大小;其目的是评估是否有主音多巴胺水平之间的关系,主观对刺激的敏感性,封闭的响应的时间延迟。

在这些模拟网络提出了刺激,不同范围内。此外,4采用不同级别的主音多巴胺:非常低,0.35(红色虚线);低,0.4(绿点划相间的线);生理,0.45(蓝色实线);高,0.55(黑色虚线)。

结果在图进行了总结10。

模拟表明,在中等强度的刺激(介于0.8和0.9),所需的时间达到一个有效的反应最关键的是取决于多巴胺水平:高水平的多巴胺导致反应速度要快于低水平。相反,当刺激高(> 0.9),颞响应几乎没有受到多巴胺水平的影响。

此外,多巴胺在低的情况下,网络能够门(大约只有刺激足够的力量> 0.8),但它忽略了刺激较低的振幅。事实上,多巴胺水平越低,所需的高刺激的大小激活相应的响应。

这再次占特定行为在帕金森病,由主音多巴胺水平低或诱导,overmedication之后,主音多巴胺值高于正常。在第一种情况下,模型预测,这个话题可以忽视重要的反应,如果刺激不够高。第二,可能发生超敏反应的刺激。

5。讨论

本工作的目的是开发一种新的简单的模型行为选择的基底神经节(BG),这可能代表一个好的完整性和简单之间的妥协。因此,我们整合的主要路线,BG电路和基本操作方面的学习机制,仍然维持神经单元的简化描述和神经动力学。

实际上,BG的许多不同的模型已经发展在过去的几年中,与一个伟大的增加在过去的十年。明确指出,科恩和弗兰克(12)和Helie et al。13),生物启发模型大致可以分为两个主要的类。一方面我们有详细解剖和生物物理模型,其中包括一个准确的描述生物物理过程神经元和突触内(例如离子通道);另一方面,更详细的模型试图描述神经元动力学和突触学习更简单和紧凑的方程,依旧受到神经生物学的架构。的强度模型的最后一节课是它们能模拟行为方面,可能有助于理解计算的性质由整个个人相关的大脑区域的机制有重要的认知神经科学问题,如注意力,决定,和学习。

目前的模型明确属于第二类。我们试图包括的主要机制和神经通路参与BG的行为选择过程,提供了一个简化的描述神经元和他们的相互连接,没有不必要的自由度的引入,以模拟整体涌现性的电路。换句话说,我们采用的是简洁的方法,渴望实现一个有效的工具来理解系统的功能性组织及其行为在各种physiopathological条件。

当然,由于好的模型的数量已经出现在文学作品中,值得讨论的创新方面目前的研究,指出在哪些部分相似或不同于现有的。

在随后的分析中,我们将特别集中行动选择的模型。只有当有用,其他模型与不同的目标(如面向模型来研究运动功能或工作记忆)将会提到。

大多数模型开发的BG过去几年不包含所有的三个主要途径(直接、间接和hyperdirect)。例如,几个重要的间接途径不是建模模型,如由阿什比et al。32),穆斯塔法和好运33),阿什比和克罗斯利(17),或Schroll et al。34]。

然而,最近一些神经认知模型开始包括所有三个主要电路组件,一个作为礼物。在下一节中,我们将首先把这些模型。

当然目前模型展品很多相似之处,在债务与各种想法在弗兰克和最近的论文合著者(Frank [18];Cavanagh et al。35];Wiecki和弗兰克(36])。在他们最后的模型包括所有作者3通路和合并的想法(参见Nambu et al。37]),hyperdirect通路实现扩散抑制制动期间任何决定的条件高皮质的冲突。此外,他们的模型利用赫在纹状体机制,基于相位的调制的多巴胺的水平。

然而,两个主要区别在目前的工作与这些类似的贡献相比,这证明我们的研究。(1)首先,我们在学习包括胆碱能神经元的作用,也暗示了胆碱能的贡献是必不可少的训练在纹状体突触,特别是在惩罚。事实上,科恩和弗兰克(12突触学习)显式地讨论这个问题在惩罚:问题是多巴胺可以充分的学习下降,由于温和的多巴胺基浓度水平。这些作者支持的想法持续时间多巴胺浸渍是关键元素的惩罚。相反,我们提出一个不同的解释;,多巴胺能的方式胆碱能通路的下降,这反过来,明显调节纹状体神经元的活动,从而有利于勿动蛋白(striatopallidal)神经元对去(striatonigral)的。(2)第二,弗兰克模型使用不同的数学形式主义(基于LEABRA框架),这是使用生物物理之间的中间详细的神经元和神经元更抽象的联结主义。数学方程描述了在多个出版物,使读者很难综合所有方程和参数数值以及它们的计算实现。相反,目前的工作报告所有方程和参数在一个纸,从而允许一个简单的实现通过任何用户基本知识求解微分方程数值方法(此外,模型的Matlab版本可能可以从作者在请求)。

通过比较与其他作者,Stocco et al。16)描述一个模型,该模型反映了BG解剖学的最重要特征,其结构非常类似于现在。随着我们的,他们的模型使用简单的计算单元范围内。然而,它表现出重要的差异。首先,在阿什比et al。32Stocco),模型模拟了多巴胺的作用通过添加第三个任期的统治。此外,这个模型不允许激发在前额叶皮层积极维护由于缺乏经常性兴奋性连接(因此,在他们的模型中皮层不能作为工作记忆)。这是一个重要的区别与目前的模型相比,在模型动力学的影响。事实上,在我们的模型的主要角色BG两相情愿的激活是选择最佳动作丘脑,因此通过触发丘脑和大脑皮层之间的正反馈。例如,在冲突的行动,hyperdirect通路的作用是抑制这些积极的循环,从而避免冲突的同时选择行动。

阿什比和克罗斯利(最新的模型17专注于胆碱能中间神经元的作用,但根本性的差异。首先,他们所使用的数学方法属于第一类的计算模型(即公开。与电导值)、详细的数学描述;第二,解释,作者给胆碱能中间神经元的作用不同于我们,因为他们认为这些中间神经元只能作为一个“开关”,能够允许BG承认当学习发生,什么时候不应该。因此,他们描述类似于“合格跟踪”建模采用他人,下面讨论。

模型由Chersi et al。38)也包含3通路,架构类似于现在。然而,它属于面向更多生理上的类模型,因为神经元被描述为漏水的集成和火元素,和一个更大数量的神经元采用(整个模型包括共有14600个神经元)。尤其是,它的学习规则是两部分的组合:spike-timing-dependent可塑性和资格痕迹。这种突触可塑性突触的应用于更大的组合,包括那些进入STN层和电机层(不更新在我们的模型)。因此,他们的模型比目前更现实的单个神经元水平,但不吝啬的时候使用一个行为的目的。

更类似于目前的模型由Schroll et al。39),这也是基于3通路和神经元,包括基于多巴胺的学习机制。特别是,模型包括侧抑制性突触的可塑性Gpi(没有出现在我们的模型)和使用双重赫corticothalamic突触统治;另一个突触,然而,包括那些收敛到纹状体,与三因子”赫规则(即学习。突触后,利用突触前和多巴胺的条件)。该模型,作者研究了多巴胺损失对突触可塑性的影响,强调它的作用在帕金森症状。

很重要的一点是,大多数提到的模型([16,38,39),但也看到Guthrie et al。40)和穆斯塔法和好运33)使用一个三因子”赫规则训练进入纹状体神经元突触。这条规则包括3方面的产品:突触前,突触后,第三个乘法术语基于相位的多巴胺。异常被弗兰克最近提供的模型,而不使用三因子的规则。然而,作者使用一个比现在更复杂的规则,采用结合Oja规则(即。,an Hebb rule with a forgetting factor) and an error-driven rule similar to that commonly adopted in Boltzmann machines (for more details, see Frank [18])。

值得注意的是,在三因子法则,主音多巴胺起着不同的作用与相位的多巴胺相比,作用于神经元的输入,因此设置工作点;也就是说,主音和相位的多巴胺在概念上不同。相反,”赫方程突触学习在我们的模型不需要第三个任期,但简单地使用经典的两个因素赫规则:多巴胺就在输入神经元(纹状体和胆碱能中间神经元);相位的多巴胺与主音只在其瞬态性质由多巴胺奖赏或惩罚事件。的基本思想是,在缺乏多巴胺相位的变化,获胜者在纹状体神经元突触后的作品接近阈值项的规则。因此,没有突触(或者只是微不足道的突触变化)发生变化。在奖励或惩罚,相位的多巴胺修改纹状体神经元的活动,移动一个神经元的活动向上层饱和(导致突触增强作用)和其他神经元的活动对抑制(导致突触抑郁)。在这方面,值得注意的是,我们还包括一个对比度增强机制striatonigral多巴胺的神经元(参见弗兰克31日),这样高的多巴胺神经元兴奋去基底活动但进一步降低了基差的神经元活动。这些方程(方程(8)与以前相比原始模型。

最后,我们想强调,一个双重的选择规则和三因子规则不是由需要更好地再现突触可塑性,而是更大的生理上的可靠性。在我们看来,多巴胺信号用于三因子不是生理上的规则:一个简单的赫规则是生理上更可靠。

从先前的附记,我们可以得出结论,目前的工作介绍2个主要方面,是有价值的,与之前相比文学建模:(1)的胆碱能机制,尤其是在学习阶段;(2)生理“双重”赫布的使用规则,不假设任何“资格痕迹。”

由于胆碱能作用,学习是一个重要的新假设的模型中,应有一些进一步的评论。尽管仍然部分假设,这种机制在神经生理学文献找到了一些支持。胆碱能中间神经元tonically活跃(41),在灵长类动物展览期间暂停破裂奖励42]。胆碱能中间神经元活动的暂停对条件刺激(即。,a reward) is thought to reflect a linkage with the activity of dopaminergic neurons, as lesioning dopaminergic neurons abolishes both the pause and learning [2,42]。这个想法已经被其他最新发现,进一步加强显示多巴胺神经元的活动在灵长类动物完全反映了暂停活动(中间神经元43]。结果王et al。25)还表明,长期抑郁在纹状体的多巴胺能控制突触不是直接的,而是由胆碱能中间神经元。可能合作的多巴胺和乙酰胆碱诱导的突触可塑性在纹状体也一直强调卡拉布雷西等很长一段时间。26]。目前的模型进一步推测,胆碱能神经元对去勿动蛋白中间神经元有不同的影响。虽然我们不知道这个特定假设的直接证据,似是而非的生化机制可以证明我们的假设:例如,它可能是可持续的基础上不同的角色和浓度对毒蕈碱的M1, M2, M4受体在纹状体去勿动蛋白(44]。以确定是胆碱能中间神经元发挥着基础性的作用,多巴胺,一起在相位的信号:生理的研究表明,这种机制可以解释结合Ca^{2 +}和毒蕈碱的M1效应(24]:这绝对证明提供额外的抑制神经元在惩罚。在我们的模型中,我们假设一个双重效应对勿动蛋白神经元,在奖励和惩罚。

进行了仿真与模型来说明,与基底参数值,它的行为。其中一些需要进一步评论。

正如前面指出的,弗兰克在他的作品之一18),模拟条件的强烈皮质冲突凸显所发挥的关键作用通过STN hyperdirect通路。Nambu et al。45)提出一个信号首先通过hyperdirect通路抑制丘脑的广大地区。虽然我们的描述类似于一个用于弗兰克(18),我们认为目前的模拟具有启发意义理解机制实际上是如何工作的。结果清楚地表明,如果没有这个hyperdirect信号的贡献,皮层内存在强烈的冲突可能引起不同动作的同时激发渠道。为了避免这种不良影响(导致矛盾的行为)制动不包括丘脑是必要的,以消除强烈的兴奋性自身环的皮质“赢者通吃”的机制。这是一样的在WTA删除任何积极的自身环网络在初始阶段的冲突,恢复一遍只有当抑制性皮层竞争(或减少)的冲突解决46]。

其他有趣的模拟问题模型的方式可以修改其行为选择策略,根据之前的奖励和惩罚在正常条件下的历史。在这方面,最重要的突触皮质纹状体神经元的模型是:我们证明了简单赫规则提出,与突触后阈值接近平均神经活动,可以训练这些突触很好地达到预期的目标。此外,突触形成的感觉皮层神经元是训练有素。相反,来自感官的突触部分皮层(纹状体)勿动蛋白发挥更重要作用:它们调制只在学习一门新行动的开始。

由于胆碱能机制的引入是一个新的重要特征的模型,以了解胆碱能突触可塑性的中间神经元的作用,我们进行了灵敏度分析假设损伤胆碱能系统。正如所料,这些进一步模拟强烈证明和强调培训期间胆碱能中间神经元的作用。事实上,在他们的缺席,不足depotentiation进入惩罚去神经元和突触的突触的增强作用较慢,进入奖励神经元可以很容易地观察到。因此,惩罚的行为保持活跃,与奖励措施。

值得注意的是,当执行模拟我们假定外部刺激不仅仅在于一个输入的激活,但同时更多的输入可以兴奋。换句话说,这里刺激向量代表一个上下文内,必须选择适当的行动,不只是一个尖尖的输入(事实上,在图中所示的模拟7 (c)的第三和第四部分是活跃的)。众所周知,可能出现一个问题,如果非正交的刺激训练期间不同的反应相关联,因为以前学习刺激反应之间的干扰可能出现协会(47]。我们并没有测试这个问题在目前的工作,因为我们只是想分析单一刺激反应学习。这个问题可能在未来研究模型应用程序。在可能的情况下,干扰可能会解决,通常在神经网络模型,假设净这使正交化预处理刺激向量,以减少相关性和使用大量的输入神经元。

此外,我们在模型中测试主音多巴胺的作用。这是极其重要的模拟病理条件下,如发生在帕金森病(PD)受试者经历多巴胺耗竭或多巴胺hypermedication。结果清楚地表明,主音多巴胺水平的降低导致各种行为缺陷:首先,可能需要更强的刺激引起相同的行为反应;第二,在足够的刺激,引发相同的反应需要时间。这两个结果同意临床发现,表明主音多巴胺是重要的速度反应时间(48,49]。

多巴胺自模型使用一个术语,它作用于纹状体和胆碱能神经元的输入,一个类似的多巴胺耗竭的影响预计在学习阶段。这一特点将在未来的测试模型应用,也比较模型的预测和行为数据。在不同行为的测试可以模拟模型和PD患者的临床实践中经常使用,我们可以提到手指敲击测试(50)和威斯康辛卡片分类测验(51]:确实执行这些测试的能力往往是在PD妥协,与口服左旋多巴的药动学特征显著相关(52,53]。

还有许多其他行为的结果,关于与PD科目,可以探索在未来的工作与我们的模型。例如,它将会是很有趣的比较微分灵敏度药用和犯人PD科目之间的奖励和惩罚,和模型也可以用于测试抗胆碱能药物在PD学科的影响。这些分析可以进一步证实模型假设学习多巴胺和乙酰胆碱的作用或可能导致可能有用的修正。

最后,我们希望强调几个简化的模型中,这可能成为未来改进的目标。首先,我们没有采用时间差分学习规则(Sutton [54],苏瑞[55):模型只使用一个延迟联想学习规则,基于试验结束时的值修改突触。此外,惩罚和奖励的信号被视为外部输入。今天有大的共识,相位的多巴胺引起的变化尤其“意想不到的奖励”和“奖励”意想不到的缺席,2,20.,54,56- - - - - -59]。这意味着,例如,我们应该使用奖励和惩罚的时间调制在训练,从而逐步减少相位的多巴胺高峰时的策略已经成功地学习;即成为well-expected奖励。更复杂的未来模型的策略可能包含一个时间规则,也许包括评论家和演员之间的一个部门,实现更复杂的学习策略。事实上,只有演员在目前的模型版本实现。此外,正如上面所讨论的,假设乙酰胆碱对去勿动蛋白细胞有不同的影响仍然是部分假设。最后,该模型假定的收敛性感觉和运动(皮质)输入相同的纹状体:细胞这一假设还没有完全支持通过解剖数据。

最后,该模型不包含一些假设。例如,BG的经典视图功能组织成前面提到的三个主要途径是承认,大部分的计算模型假设。这个愿景最近质疑提供证明和其他合理的功能解释的例子60]。小点,该模型忽略了反馈预测从丘脑Gpe的纹状体和纹状体。然而,这种简化是常见的大多数模型(见,例如,Stocco et al。16])。一些作者训练也cortico-cortical突触(见科恩和弗兰克(12):这些作者讨论,这可能允许注册的习惯常常选择在过去直接在大脑皮层,而不需要任何由BG便利化。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者感谢教授卡拉布雷西和他的研究小组,特别是亚历桑德罗·Tozzi博士提供的帮助理解胆碱能中间神经元的功能和提供多视点的基底神经节电路。

引用

1. 美国Zola-Morgan l . r .侍从,“保存学习与内侧颞猴子病变:保留运动和认知能力,”《神经科学杂志》上,4卷,不。4、1072 - 1085年,1984页。视图:谷歌学术搜索
2. w·舒尔茨“预测奖励多巴胺神经元的信号,”神经生理学杂志,卷80,不。1,1-27,1998页。视图:谷歌学术搜索
3. j·a·格雷,“伏隔核中多巴胺释放:意识的角度从畸变在精神分裂症,”这项研究,33卷,不。9日,第1153 - 1143页,1995年。视图:出版商的网站|谷歌学术搜索
4. g·s·罗伯逊、g . Damsma和h . c . Fibiger”特征的黑质多巴胺释放的在体内微量透析可把时程延长自由移动的老鼠,”《神经科学杂志》上,11卷,不。7,2209 - 2216年,1991页。视图:谷歌学术搜索
5. j . c . s . Furtado和m . f . Mazurek”行为表征quinolinate-induced内侧纹状体病变:相关性为亨廷顿氏舞蹈症,”实验神经学,卷138,不。1,第168 - 158页,1996。视图:出版商的网站|谷歌学术搜索
6. 高谭市a . m ., r·g·布朗和c d·马斯登”“额”帕金森症患者认知功能的”和“关闭”左旋多巴,”大脑,卷111,不。2、299 - 321年,1988页。视图:出版商的网站|谷歌学术搜索
7. j . a .困难、h·f·贝克和r·m·雷德利”的角色认知的中枢胆碱能预测:影响莨菪碱对歧视的影响学习的猴子,”大脑研究公告,45卷,不。3、319 - 326年,1998页。视图:出版商的网站|谷歌学术搜索
8. Rafal, r·d·m·波斯纳i, j·a·沃克和f·j·弗里德里希认知和基底神经节。分离精神和运动部件的性能在帕金森病,”大脑第4部分,卷。107年,第1094 - 1083页,1984年。视图:出版商的网站|谷歌学术搜索
9. j·r·r·d·罗杰斯,b . j . Sahakian霍奇斯,c, e . Polkey c . Kennard t·w·罗宾斯,“分离任务的执行机制控制后额叶损伤和帕金森症,”大脑,卷121,不。5,815 - 842年,1998页。视图:出版商的网站|谷歌学术搜索
10. 答:价格,j . v . Filoteo和w·t·马德克斯,“基于规则的分类学习帕金森氏症患者,”这项研究卷,47号5,1213 - 1226年,2009页。视图:出版商的网站|谷歌学术搜索
11. r·g·科恩,k·a·克莱因m .野村et al .,“抑制、执行功能和步态的冰冷,“帕金森病杂志》上,4卷,不。1,第122 - 111页,2014。视图:出版商的网站|谷歌学术搜索
12. m x科恩和m·j·弗兰克“Neurocomputational基底神经节功能模型学习,记忆和选择,”大脑研究行为,卷199,不。1,第156 - 141页,2009。视图:出版商的网站|谷歌学术搜索
13. s . Helie s Chakravarthy, a·a·穆斯塔法”探索基底神经节的认知和运动功能:认知神经科学计算模型的综合评审,“计算神经科学前沿第174条,卷。7日,2013年。视图:出版商的网站|谷歌学术搜索
14. h . Schroll p.h. Hamker”计算模型的基底神经节通路功能:专注于功能性神经解剖学,”神经系统科学第122条,卷。7日,2013年。视图:出版商的网站|谷歌学术搜索
15. 版c Straub写:x Tritsch: a . Hagan c .顾和b·l·萨巴蒂”多相调制黑胆碱能中间神经元的传入纤维,”神经科学杂志》上,34卷,不。25日,第8569 - 8557页,2014年。视图:出版商的网站|谷歌学术搜索
16. a . Stocco c . Lebiere和j·r·安德森,“大脑皮层条件路由的信息:一个模型在认知协调,基底神经节的作用”心理评估,卷117,不。2、541 - 574年,2010页。视图:出版商的网站|谷歌学术搜索
17. f·g·阿什比和m . j .克罗斯利“胆碱能的计算模型中间神经元保护striatal-dependent学习,”认知神经科学杂志》,23卷,不。6,1549 - 1566年,2011页。视图:出版商的网站|谷歌学术搜索
18. m·j·弗兰克,“不要着急:动态计算作用在决策、丘脑核”神经网络,19卷,不。8,1120 - 1136年,2006页。视图:出版商的网站|谷歌学术搜索
19. s . j . van Albada和p·a·罗宾逊,“基底ganglia-thalamocortical平均场建模系统。即发射率在健康和帕金森州,”理论生物学杂志》上,卷257,不。4、642 - 663年,2009页。视图:出版商的网站|谷歌学术搜索
20. j . w .貂“基底神经节:集中选择和抑制竞争的运动项目,“神经生物学的进展,50卷,不。4、381 - 425年,1996页。视图:出版商的网站|谷歌学术搜索
21. a . Pavlides美国约翰·霍根和r . Bogacz”改善条件的生成β在丘脑下的振荡nucleus-globus pallidus网络,”欧洲神经科学杂志》上,36卷,不。2、2229 - 2239年,2012页。视图:出版商的网站|谷歌学术搜索
22. s . Hernandez-Lopez j . Bargas d . j . Surmeier a·雷耶斯和大肠Galarraga受体激活增强神经元诱发放电neostriatal中带刺的通过调制一个l型^{2 +}导”,《神经科学杂志》上,17卷,不。9日,第3342 - 3334页,1997年。视图:谷歌学术搜索
23. t . Aosaki k .登和y .川口,“多巴胺D1-like受体激活兴奋大鼠纹状体aspiny神经元在体外,”《神经科学杂志》上,18卷,不。14日,第5190 - 5180页,1998年。视图:谷歌学术搜索
24. a . Tozzi a . de裁判官面前承认对方的m·迪菲利波et al。”的独特作用中带刺的神经元和胆碱能中间神经元在D2 /负责在纹状体受体相互作用:影响帕金森病,”《神经科学杂志》上没有,卷。31日。5,1850 - 1862年,2011页。视图:出版商的网站|谷歌学术搜索
25. l . Kai z . Wang, m .天et al .,“多巴胺能长期控制层次的突触抑制介质棘神经元是由胆碱能中间神经元,”神经元,50卷,不。3、443 - 452年,2006页。视图:出版商的网站|谷歌学术搜索
26. p .卡拉布雷西,b . Picconi l . Parnetti, m·迪菲利波”收敛模型在帕金森病认知障碍:关键dopamine-acetylcholine突触平衡,”《柳叶刀神经病学,5卷,不。11日,第983 - 974页,2006年。视图:出版商的网站|谷歌学术搜索
27. j·a·戈德堡,j·b·丁,d . j . Surmeier“纹状体的毒蕈碱的调制函数和电路,”实验药理学的手册卷,208年,第241 - 223页,2012年。视图:出版商的网站|谷歌学术搜索
28. a . Pisani g·贝尔纳迪,j .叮,d . j . Surmeier”重新崛起纹状体的胆碱能中间神经元在运动障碍,”神经科学的趋势,30卷,不。10日,545 - 553年,2007页。视图:出版商的网站|谷歌学术搜索
29. j . a . Obeso m . c . Rodriguez-Oroz m·罗德里格斯et al .,“病理生理学基底神经节的帕金森病,”神经科学的趋势补充1卷。23日,S8-S19, 2000页。视图:出版商的网站|谷歌学术搜索
30. r .冷却后,r·a·巴克和t·w·罗宾斯,b . j . Sahakian”增强认知功能受损或帕金森病多巴胺能药物的函数和任务要求,“大脑皮层,11卷,不。12日,第1143 - 1136页,2001年。视图:出版商的网站|谷歌学术搜索
31. m·j·弗兰克“动态多巴胺在基底神经节调制:neurocomputational账户nonmedicated接受药物治疗和认知障碍的帕金森症,”认知神经科学杂志》,17卷,不。1,51 - 72,2005页。视图:出版商的网站|谷歌学术搜索
32. f·g·阿什比,j·m·埃尼斯和b·j·施皮尔“知觉分类自动性的神经生物学理论”,心理评估,卷114,不。3、632 - 656年,2007页。视图:出版商的网站|谷歌学术搜索
33. A·A·穆斯塔法和m·A·格里克“neurocomputational多巴胺和prefrontal-striatal交互模式在multicue类别学习的帕金森病人,”认知神经科学杂志》,23卷,不。1,第167 - 151页,2011。视图:出版商的网站|谷歌学术搜索
34. h . Schroll, j . Vitay p.h. Hamker“工作记忆和反应选择:计算账户cortico-basalganglio-thalamic循环之间的相互作用,”神经网络,卷。26日,59 - 74年,2012页。视图:出版商的网站|谷歌学术搜索
35. j . f . Cavanagh t . v . Wiecki m x科恩et al .,“丘脑核刺激逆转mediofrontal影响决策阈值”自然神经科学,14卷,不。11日,第1467 - 1462页,2011年。视图:出版商的网站|谷歌学术搜索
36. t . v . Wiecki m·j·弗兰克,“抑制性控制的计算模型在额叶皮层和基底神经节,”心理评估,卷120,不。2、329 - 355年,2013页。视图:出版商的网站|谷歌学术搜索
37. a . Nambu h . Tokuno i岩漠et al .,”兴奋大脑皮层神经元输入pallidal通过丘脑核猴子,”神经生理学杂志,卷84,不。1,第300 - 289页,2000。视图:谷歌学术搜索
38. f . Chersi m . Mirolli g . Pezzulo, g . Baldassarre”不断cortico-basal神经节的神经元模型电路为目标导向和习惯性的行动学习,”神经网络41卷,第224 - 212页,2013年。视图:出版商的网站|谷歌学术搜索
39. h . Schroll, j . Vitay p.h. Hamker”功能失调和补偿性突触可塑性在帕金森病,”欧洲神经科学杂志》上,39卷,不。4、688 - 702年,2014页。视图:出版商的网站|谷歌学术搜索
40. m . Guthrie c·e·迈尔斯和m·A·格里克”neurocomputational模型主音和相位的多巴胺的行动选择:和帕金森病认知障碍相比,“大脑研究行为,卷200,不。1,48-59,2009页。视图:出版商的网站|谷歌学术搜索
41. b·d·班尼特和c·j·威尔逊,“自发活动neostriatal胆碱能中间神经元在体外,”神经科学杂志》上,19卷,不。13日,5586 - 5596年,1999页。视图:谷歌学术搜索
42. t . Aosaki a . m .布耶尔和m .木村”的影响黑纹状体的多巴胺系统在获得神经反应表现猴子,”科学,卷265,不。5170年,第415 - 412页,1994年。视图:出版商的网站|谷歌学术搜索
43. g·莫里斯,d . Arkadir答:不,e . Vaadia h·伯格曼,”重合,但不同的消息中脑多巴胺和纹状体神经元tonically活跃,”神经元,43卷,不。1,第143 - 133页,2004。视图:出版商的网站|谷歌学术搜索
44. 中情局奥尔登堡和j·b·丁”,胆碱能调制的树突兴奋性突触整合和纹状体,“目前在神经生物学的观点,21卷,不。3、425 - 432年,2011页。视图:出版商的网站|谷歌学术搜索
45. a . Nambu h . Tokuno, m .高田”的功能意义cortico-subthalamo-pallidal hyperdirect途径,”神经科学研究,43卷,不。2、111 - 117年,2002页。视图:出版商的网站|谷歌学术搜索
46. b . Zavala k .扎格卢勒,p .布朗,“底丘脑核、振荡和冲突。”运动障碍,30卷,不。3、328 - 338年,2015页。视图:出版商的网站|谷歌学术搜索
47. j·赫兹,a·克罗和r·g·帕尔默介绍了神经计算的理论1卷,北京大学出版社,1991年。
48. y和合,n . d .寒鸦d·乔尔·p·达扬,“补药多巴胺:机会成本和控制反应活力,”精神药理学,卷191,不。3、507 - 520年,2007页。视图:出版商的网站|谷歌学术搜索
49. A . A·穆斯塔法m x科恩,s . j .谢尔曼和m·j·弗兰克“多巴胺的作用在震颤麻痹时间决策和回报最大化,”《神经科学杂志》上,28卷,不。47岁,12294 - 12304年,2008页。视图:出版商的网站|谷歌学术搜索
50. shinmoyama教授,t . Ninchoji和k Uemura手指敲击测试。定量分析”,神经病学档案卷,47号6,681 - 684年,1990页。视图:出版商的网站|谷歌学术搜索
51. e·A·伯格,”一个简单的客观测量技术灵活地思考,“《普通心理学》杂志上39卷,第15 - 22,1948页。视图:谷歌学术搜索
52. a . j . Espay j . p . Giuffrida r . Chen等人“微分响应速度、振幅和节奏在帕金森病多巴胺能药物,”运动障碍,26卷,不。14日,第2508 - 2504页,2011年。视图:出版商的网站|谷歌学术搜索
53. f . Caillava-Santos r . Margis和c Rieder”逐渐撤回在帕金森病:神经心理差异和关闭时间,“神经精神疾病和治疗11卷,第1180 - 1175页,2015年。视图:出版商的网站|谷歌学术搜索
54. r·s·萨顿“学习方法预测的时间差异,”机器学习,3卷,不。1,9-44,1988页。视图:出版商的网站|谷歌学术搜索
55. r . e .苏瑞”奖励的TD模型预测在多巴胺神经元的反应,”神经网络,15卷,不。4 - 6,523 - 533年,2002页。视图:出版商的网站|谷歌学术搜索
56. •舒尔茨(george w . bush)、p·达扬和p·r·蒙塔古“神经基质预测和奖励,”科学,卷275,不。5306年,第1599 - 1593页,1997年。视图:出版商的网站|谷歌学术搜索
57. j . w .貂皮和w·t·Thach基底神经节内在电路和他们的角色行为,”目前在神经生物学的观点,3卷,不。6,950 - 957年,1993页。视图:出版商的网站|谷歌学术搜索
58. h . m .拜耳、b .刘和p·w·格里姆彻,“统计中脑多巴胺神经元高峰列车在清醒的灵长类动物,”神经生理学杂志,卷98,不。3、1428 - 1439年,2007页。视图:出版商的网站|谷歌学术搜索
59. r . e .苏瑞和w·舒尔茨与多巴强化信号,表明神经网络模型学习空间延迟反应任务,”神经科学,卷91,不。3、871 - 890年,1999页。视图:出版商的网站|谷歌学术搜索
60. p .卡拉布雷西,b . Picconi a . Tozzi诉Ghiglieri和m·迪菲利波“基底神经节的直接和间接途径:关键的重新评价,“自然神经科学,17卷,不。8,1022 - 1030年,2014页。视图:出版商的网站|谷歌学术搜索

版权

版权©2015 Chiara Baston和毛罗·Ursino。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。