文摘

发展人工智能(AI)代理挑战视觉上丰富和复杂的环境中有效的探索。在这项研究中,我们制定勘探问题作为强化学习问题,依靠内在动机指导探索行为。这样的内在动机是由好奇心和计算基于事件的记忆。基于分发内在动机,我们使用一个点方法和时间距离产生同步。我们测试了我们的方法在3 d迷宫一般的环境,通过大量实验验证其性能在勘探任务。实验结果表明,我们的代理可以学习探索能力从原始感觉输入,实现自主探索在不同的迷宫。此外,学习政策不偏置随机对象。我们也分析不同的训练方法和驱动力的影响探索政策。

1。介绍

探索行为是基本生存和繁殖的生物体。例如,动物寻找食物可能不得不长途跋涉从环境没有得到任何回报1,2]。同样,在机器人自主探索对于许多应用程序来说是至关重要的3,4),近年来已获得增加兴趣。

自主探索是富有挑战性的,因为代理必须本地化本身,认识到研究领域,并计划路线的环境。这项工作考虑代理需要探索通过视觉环境。传统的勘探方法,代理需要的表格表示环境和依靠政府行动的核反应能量对完成勘探。核反应能量的大小是由代理访问的次数和q学习算法。尽管一些后来的研究已经很好地平衡exploration-exploitation问题[5,6),经典方法不能应用于高维状态空间,因为他们没有办法应付维灾难。最近深入强化学习(DRL) (7),结合深卷积神经网络(cnn)和强化学习(RL) [8),提供了一个框架为特定任务学习控制策略。DRL取得了令人印象深刻的成果在许多机器人任务(9- - - - - -11),包括方法,试图从原始感觉输入完成自主探索。

有很多研究努力探索技术更适合高维状态空间。Bellemare [12)提出了一个基于pseudocount方法,概括了一个点nontabular案例的方法。这种方法能提高代理的勘探效率的游戏,尤其是Montezuma的报复。Ostrovski et al。13)使用一个像素CNN模型提供pseudocount,取得了杰出的表现在许多雅达利的游戏。此外,本研究发现,混合蒙特卡罗更新是一个探索的有力推动者。唐et al。14)集成的基于哈希表的经典点的方法来计算新奇的奖金。这种组合允许附近的方法达到最先进的性能在各种连续DRL基准。Houthooft et al。15]介绍了代理奖励的一种勘探方法通过最大化信息代理的相信环境动力学。该方法实现性能优越在简单的游戏,但在复杂环境中挣扎。依靠理论,小说比其他人更容易区分,傅et al。16)使用一个范例模型来检测基于新奇在交互和结合起来点指导勘探以自我为中心的观测方法。帕沙克et al。17)提出了一个固有的好奇心模块(ICM)计算奖励基于预测误差。ViZDoom ICM推代理和超级马里奥兄弟探索环境更有效,但是它不工作当代理观察到一些不可预测的。Burda et al。18]了预测误差作为奖励的信号,进行了大规模的研究学习纯粹的好奇心。实验结果表明高一致性的行为指导下由好奇心引发的内在动机和hand-designed外在报酬在许多游戏环境。此外,本工作讨论prediction-based好奇心方法的局限性,没有办法处理的好奇心陷阱造成的不可预测的对象。Savinov et al。19通过网络可达性)创建的好奇心和内存集(20.]。稀疏的奖励环境中该方法解决了导航问题,克服了“懒人”问题在之前作品中,表现为代理被不可预测的对象所吸引和停止探索,但它不能引导代理完成没有奖励环境中自主探索。一些导航方法使用辅助的任务,如奖励预测(21),深度预测和循环关闭分类(7),鼓励代理探索环境更快。

在这项研究中,我们提出一个DRL实验室方法,增强内在动机,培训代理商来完成自主探索通过愿景。考虑到prediction-based勘探方法的局限性,我们计算内在动机基于事件的记忆。完成覆盖的目标环境,我们使用两种方法生成的内在动机。首先是基于一个点方法,注重环境的新奇的奖金一直探索和鼓励代理到很少访问状态。第二种方法是由时间距离(22,23电流之间的观察和那些在内存中。的新奇奖金计算未开发的领域,试图推动代理到遥远的地方。在我们的方法中,内在动机是这样的组合新颖奖金。这使我们的方法优于现有方法和实现实质性的可伸缩性。我们进一步分析不同的训练方法和驱动力的作用在学习探索政策。

剩下的论文结构如下:在部分2,我们的方法是列出的背景。节3介绍了,架构和算法的细节。节4,该算法模拟和实验测试,测试结果进行了分析和讨论。最后,给出了结论和未来的工作部分5。

2。背景

2.1。强化学习的基础

标准RL假定代理与环境交互的离散时间的步骤。在每个时间步 ,代理所观察到的状态 并选择一个行动 根据其政策 ,在哪里是国家行为的映射。作为回报,代理进入下一个状态和接收一个标量奖励 。这个流程将继续,直到最大时间步的一集或到达终端状态。奖励 是积累时间步回来了吗与折现系数 。代理的目标是最大化预期收益从每个状态 ,通常有两种方法:基于价值和基于策略的方法。

价值函数 是之后的预期回报政策从国家 ,和更熟悉的行为价值函数 被定义为选择行动的预期回报在国家和下面的政策 。在许多RL方法,行为价值函数是用一个函数近似者表示,和著名的一个是DQN24),旨在通过cnn近似最优行为价值功能。价值取向的方法相比,基于策略的方法直接参数化政策和更新参数通过梯度上升 。这种算法的一个例子是强化(25),更新政策参数的方向(26]。

如上所述,价值方法的最终目标是一样的基于策略的方法,但他们使用不同的方式来获取政策,和他们每个人都有其各自的优点和缺点。为了结合二者的优点,在Actor-Critic (AC) [27)算法。在框架内,代表不同的演员和评论家的政策和价值函数 ,分别估算和优势 用于规模策略梯度。AC算法的运行关系图如图1,它是一个迭代的优化过程,这两个蓝线代表时差(TD)用于更新错误分别为“演员”和“评论家”。

2.2。异步优势Actor-Critic算法

异步优势actor-critic (A3C) [28是一个在线DRL方法)算法。它维护了一个政策和值函数 在交互和依赖平行actor-learners提供积累更新。的变体n-step q学习,A3C还在向前查看和使用相同的混合n-step回归函数每次更新策略和价值行动,直到被达到终端状态。执行的更新是一个优势函数的估计 给出的 ,在哪里 和 。此外,尽管参数的政策和有价值的功能 分别计算和更新,分享一些参数和添加熵正则化项已被证明有利于学习控制策略。

在A3C算法,每个代理独立与环境进行交互。由于随机初始化参数,观察到的状态,所选择的行动,和获得的奖励是不同代理商之间,如图所示2,从而使异步更新和减少训练样本的相关性。类似于其他非同步的方法、策略和价值函数的损失函数计算由以下方程,分别为:

收集每一个学习者的损失的标准noncentered RMSProp,所示(3)和(4),更新的全球网络。每次更新后,全球网络传播策略和价值函数,每个演员。 在哪里elementwise移动平均值的平方梯度, 是一个hyperparameter,是学习速率,是常数添加到维护数值稳定。

2.3。Nav A3C模型

Nav A3C模型(7)是一个端到端的导航框架,包含多个目标。类似于A3C, Nav A3C积累回报最大化通过actor-critic架构和使用政策和价值函数 选择操作。

Nav A3C的体系结构细节图所示3。Nav A3C three-layer-CNN编码器和使用堆叠LSTM解决内存需求。这个模型包括输入代理观察 (和图像的宽度和高度,分别),速度 ,前面的行动 ,和之前的奖励 。在模型中,第一个LSTM层接收奖励,先前选择的行动的速度和直接美联储第二周期性层。政策和价值函数共享所有中间表示,和每个人都是计算线性层。

3所示。勘探方法

在本节中,我们介绍了时间相关网络,解释如何创建基于内存集内在动机,然后描述了探索模式。

3.1。时间相关的网络

时间相关的网络(TC-network, )训练计算观测之间的时间距离,创造内在动机的关键过程。

从概念上讲,我们使用TC-network完成分类任务。网络是训练有素的分配高相似度的观察对暂时关闭和低相似性对暂时遥远。TC-network架构,如图4,由两部分组成:一个嵌入的部分构建了基于ResNet-18 [29日)和计算原始观测 成特征向量和一个比较器部分以特征作为输入和输出的时间相关系数之间的观察:

TC-network在三重形式的训练样本 ,组成的两个观测和二进制标签。这些观察结果被认为是接近 如果他们隔开步骤。负面的例子是对至少两个观测隔开步骤的hyperparameter差距有必要创建一个积极的和消极的例子。最后,网络训练与逻辑回归损失的概率输出的积极类。

3.2。制定内在动机

很难采取行动的一个代理算法,直到有足够的探索环境。然而,问题的关键是如何生成这样的探索行为。显然,依靠简单的熵最大化的行动是困难的在复杂的环境中,和注释每个环境hand-designed密集的奖励不是可伸缩。灵感来自于认知机制在动物中,内在动机的方法(30.提出了]。这种方法使用一个由好奇心引发的内在奖励引导探索行为。理论在许多领域提出了内在动机的模式包括授权(31日,意外32),和新奇33]。我们弥补内在动机是基于新颖的理论,这表明动物有能力回报小说本身的东西。我们的内在动机包括两种类型的新奇奖金,两个相关的事件的记忆。

第一部分基于我们的内在动机是基于计算点的方法。为模型,使用相同的方法,一双政府行动的新奇是源自一个代理的次数已经达到了那一对。这样的方法需要一个枚举表示环境防止维爆炸问题,基于防止点方法适合高维状态空间。我们的方法可获得由TC-network状态空间 并使用存储的观察 代表环境。州映射到内存缓冲区。如此,他们的出现可以通过相应的观测数在内存中。然后,这些数量是用来计算奖励根据基于经典点的方法,这样新奇的奖金 被定义为 在哪里 奖金系数,目前的观察,观察结果存储在内存中。对于每一个映射 被发现,相应的 是增加了一个。基于当然,点方法能有效计算当前状态的新奇奖金映射时发现。然而,如果映射是不存在,换句话说,如果当前的观测是在未知的环境的一部分,很难计算奖励。

正如前面提到的,一种动物可以奖励自己当它看到一些小说,但是回报的大小随代理人的努力。这种直觉可以正式给观察奖励,超出了环境的一部分已经探讨过,和奖励的大小正比于电流之间的最短时间距离观察和记忆。因此,其他我们内在动机的一部分 被定义为 在哪里 奖金系数,目前的观察, 观察结果存储在内存中。内在的动力 被定义为两种类型的新奇奖金之和:

计算内在动机的过程在图中进行了描述5。确定新奇奖金目前的观察,我们必须探索地区的跟踪,内存缓冲区是一个不错的选择。然而,我们不能存储每一个交互过程中观察,因为这样的行为可能会使当前的观测总是暂时关闭前一步。在我们的方法中,目前只有观察添加到内存大于新奇阈值 。这个操作引发的离散化记忆,从而确保遥远暂时观察存储。作为附带的好处,较低的内存缓冲区存储信息冗余。

3.3。探索模型

探索模型如图6。其主体是构建基于导航A3C模型和调整根据勘探任务。最明显的变化发生在编码器的结构和内存单元。首先,减少复杂性的训练,我们的方法使用一个两层的CNN编码器和输出16和32的特性,分别代替三层CNN编码器和32和64导航A3C模型中的特征。因为我们的方法不需要存储额外的辅助任务所提供的环境信息,1层LSTM能够满足内存需求。该模型的输入包括观察 (和图像的宽度和高度),前面的行动 ,和之前的奖励 。在每一个时间步 ,这个动作选择最大化回报 。应该注意的是,除了这两种类型的新奇代理本身产生的奖金,奖励不包括任何奖励的环境。我们使用A3C n-step超前值更新策略算法 和价值函数 和使用一个熵正则化处罚阻碍过早收敛。培训期间,许多实例的代理并行交互环境的许多实例。

4所示。实验

在本节中,我们评估我们的方法在勘探任务的性能和比较相关的基线。

4.1。实验设置

以下4.4.1。实验环境

我们的测试方法和相关基线在多个迷宫从DMLab34];代理的插图朝着一个目标环境中的导航图所示7。在这个3 d仿真环境中,代理从第一人称的角度感知环境和获得额外的环境信息,如惯性信息和当地的深度信息。操作空间离散,同时允许精细控制,包括6个动作:前进/后退,左转/右,左/右转+前进。环境运行在每秒60帧每秒,外在报酬是通过实现苹果(价值+ 1点)和目标(+ 10分)环境。如果目标是达到了,代理是重生到一个全新的开始位置,这一事件并没有结束,直到一个固定的时间到期。

4.1.2。基线

我们比较方法的一组基线依靠内在动机指导勘探。最简单的基准的基本RL信赖域策略优化算法(TRPO) [35),它使用启发式战略,鼓励探索。然后,我们把VIME [15]作为比较对象;这种方法感知动态变化的环境中基于贝叶斯神经网络(BNN)和获得勘探策略通过最大化信息增益。第三个基线是classifier-centered方法EX2 [16),其探索的新奇检测完全依赖一个有区别地训练范例模型。最后,作为一个检查,我们复制最先进的好奇心ICM方法(17在我们的实验中。

4.1.3。模型实现

我们的探索的体系结构模型的细节如下。它有两层的CNN:第一个 过滤器应用与跨步 和16个特征图和第二 过滤器和步 和32个特征图。接下来有一个完全连接层256户,和所有三层是紧随其后的是一个ReLU非线性单元。之后,一个LSTM层256单元使用编码的CNN的观察,之前的行动,和之前的奖励作为输入,政策和价值函数的线性预测LSTM层输出。

TC-network,输入两个观察,每个处理一个ResNet-18编码器和生产512维的特征向量。TC-network连接这些特性首先,然后把它们与四个隐藏层完全连接网络,每个配备512台和一个ReLU非线性单元,来预测如果两个观察相邻。

4.1.4。Hyperparameters

在探索过程中,我们选择了常用A3C算法为基本RL方法和使用 RGB观察到样品每隔三张照片(每个动作重复4次)作为输入。八个工人配备noncentered RMSProp与环境交互并行设置。学习从log-uniform率抽样分布在0.0001和0.005之间,和熵的成本被采样log-uniform分布在0.0005和0.01之间。

TC-network是两个输入的RGB图像的分辨率 像素,所有训练数据生成的代理本身。我们随机样本minibatch 64从回放观察双缓冲区在训练和执行更新使用亚当优化器(36学习速率) 。

4.2。实验参数的选择

我们感兴趣的一个代理,可以探索自然的环境。然而,在测试之前我们的方法的性能,需要提前设置一些参数。这些参数主要包括两个方面:一是在TC-network培训细节;另一个是对内在动机的关键因素;我们将确认他们在迷宫图所示8。

4.2.1。准备样品分离参数

在培训的过程中TC-network,一个阈值需要单独的正从负样本对。获得合适的训练样本,我们做一个实验从1到10,显示其影响力TC-networks和内存缓冲区。培训结果(1.5米交互量)的TC-network平均随机hyperparameters前5,和观察的比例存储在内存缓冲区(POSM)计算基于相应的TC-network和30随机观察序列。表1表明TC-network的训练效果是积极的和消极的样本之间的差异密切相关。一开始,由于小样本之间的差异,TC-network的准确性较低。然后,预测能力的增加 ,但是,当阈值大于一个值,精度下降。正如我们所料,存储观察滴的数量的增加再增加当TC-network的预测能力达到一个瓶颈。

实验结果让我们进退两难,因为TC-network是产生内在动机的关键;我们必须保持完好。然而,我们还支持存储交互过程中尽可能少的观测。经过仔细考虑,我们选择四次步骤分离的数据作为训练样本。

4.2.2。交互量参数

除了阈值 ,数量与环境的交互是pretraining阶段的另一个重要参数。在我们的方法中,样品的复杂性包括两个部分:pretraining和在线学习。探索行为完成后通过在线学习和不需要关心样本量,但这样的情况相反pretraining部分。大量的交互和网络性能之间的关系如表所示2,结果平均随机hyperparameters的前5位。如表2所示,TC-network上升的准确性与训练数据的扩张而降低当网络过度拟合。为了有效训练并保持良好性能的网络交互pretraining量设置为2.5 M。

总之,TC-network可以学习有用的控制器基于轨迹随机代理代理和使用它来创建的内在动机。然而,由于所有的样品在pretraining阶段来自相同的环境,它就不可避免地导致在TC-network缺乏普遍性。所以,在随后的探索过程中,我们将从不同的环境中收集数据,进行第二次培训TC-network。

4.2.3。内在动机参数

我们的内在动机是一个增强的奖励;它包含两种类型的新奇的奖金。为了权衡奖金之间的影响,我们测试的影响不同的参数组,设置 和样品在相同的时间间隔(0.1),及主要展示了两个结果:一集奖励(新奇奖金1800时间步内生成的代理)和编码所需的交互环境。结果平均在5随机hyperparameters和总结在图9数据归一化后(以最低的结果为标准)。如图9所示,依靠一种新奇的奖金, 或 ,代理能够生成各种探索行为。然而,他们的探索效率低于代理,同时使用两种类型的新奇的奖金,这就是为什么这些代理需要更多交互编码环境。与此同时,我们可以解释实验结果构成的内在动机。内在动机包括两部分,每个人都专注于一个方向:基于这个点方法注重新奇的奖金一直探索的环境,鼓励代理实现很少访问状态;时间距离的方法集中于未知的新奇奖金的计算区域,试图推动代理一个遥远的地方。因此,它有利于指导勘探一起使用它们。

在所有的代理人,一个配备了参数组 显示了最佳勘探效率,需要更少的编码的交互环境,所以我们选择 和 在接下来的实验。此外,与pretraining阶段,代理不再徒随机但学习探索政策环境(图8);这是在其他迷宫进行微调方法的基础。

4.3。探索实验

这个实验的目的是定量评价不同方法的探索表现和学习模式。测试环境图所示10。Maze-1的结构以及Maze-2灵感来源于空间认知在啮齿动物实验,前者包括三个不同长度的路径,而后者有一个中央走廊和六个胳膊。Maze-3是一种常见的迷宫,包括各种各样的障碍。没有外在报酬(如目标或水果)中可用这些迷宫。

每个方法的性能评估是基于一个统一的点奖励,这是计算的基础上,探索区域代理在一个事件。学习过程提出了作为一个集奖励/培训步骤图(结果是平均超过前五名随机hyperparameters), 7200步的期限内(相当于两分钟),和代理必须探索环境尽可能多。每次发作,代理是重生到一个新的位置,不得不再次探索环境。

4.3.1。从头开始学习探索

在第一组实验中,整个勘查政策是从头开始学习。此外,因为TC-network需要额外的2.5 M的数据完成pretraining,对于一个公平的比较,我们把曲线方法的环境措施来训练它。

通过分析训练曲线,如图11,我们可以得出几个结论。首先,VIME方法,取得了良好的结果简单,干净的画面在雅达利游戏,挣扎在所有测试迷宫。这是因为BNN不足以支持一个动态模型,从第一人称的观点,是建立在代理显示了学习过程中的反应行为。在Maze-1发生最坏的情况下,该地区的VIME甚至小于随机代理代理。第二,与来相比,EX2更适用于具有挑战性的基于图像的环境。它生成连贯的探索行为和导游的石缝剂达到在Maze-2结束。然而,EX2需要大量的交互训练范例模型,导致获得的回报低于300年早期的训练阶段。由于分类器的能力有限,随着迷宫的结构变得更加复杂,更加失去应得的新奇奖金和被忽视的地区代理。最后,探索政策通过ICM和我们的方法远远超过之前的勘探技术,从而证明这些方法适合高维连续状态空间。他们之间的差异表现在Maze-3更明显。 Because there are many obstacles and hidden areas within Maze-3, relying on prediction error to guide exploration can easily produce a dead zone. Meanwhile, our method, which generates intrinsic motivation based on episode memory, can push the agent to explore every corner in the environment. One last thing to note is that, despite ICM and our method get almost equal rewards in Maze-1 and Maze-2, our method is able to push the agent to reach distant state and discover more areas with the same interaction.

表3勘探指标列表,包括实现奖励,最大勘探比率(MER)在一集,和数量需要编码的交互环境(IQRE)。IQRE度量了探索不同方法的效率,这是计算使用preobtained环境特性和观察存储在代理的探索。如表所示3,奖励和探索区域增加随着勘探效率的提高。令我们吃惊的是,基本的TRPO勘探方法,其行为主要取决于随机行为,还覆盖了一半的Maze-1和获得奖励几乎等于VIME Maze-2。第二基线,代理走像一个漫无目的的人类(如沿墙走行为)和无法有意识地探索环境,因为来的方法缺乏适当的推论关于环境动力学。下面的方法展示更好的性能在高维的视觉空间。EX2达到至少70%的覆盖率相比前两个迷宫,让代理Maze-3达到50%以上地区。ICM模型指导代理获得完整的内存Maze-1 Maze-2,但它需要大量的交互来稳定探索行为,在Maze-3这样的政策是没有保证的。与以前的方法相比,我们的方法保持一个有效的勘探策略在不同的迷宫,用它来推动代理覆盖环境。在勘探效率和所需的训练数据政策趋同,我们的方法优于其他人,这样的现象在Maze-1和Maze-2很明显。

此外,它表所示4的准确性pretrained TC-network下降迅速在一个新的环境。如果我们不调整,后续勘探的性能将受到影响。我们还发现,每个迷宫训练TC-network不是一个明智的选择,因为这样一个有针对性的方法将大大增加的成本pretraining推迟创建内在动机的过程,尽管它达到更好的预测能力。因此,我们调整为TC-network二级培训。这个在线方法可以从每个测试样本训练数据随机迷宫的过程中学习控制策略。事实上,泛化训练减少TC-network的准确性,但这种下降是可以接受的。与此同时,培训过程可在2.5完成交互(等于pretraining阶段),不阻止代理探索迷宫。

4.3.2。学习探索与调整方法

在前面的小节中,我们展示了ICM的模型和方法可以有效地指导代理探索环境。然而,这样的政策是一种探索从头学。我们想知道是否这些方法可以训练和微调。要回答这个问题,我们使用了勘探获得了政策部分4.2.3如图(训练环境8)作为初始输入,然后使用微调方法训练ICM和我们的方法在每个迷宫。同时,我们研究了外在报酬对学习探索的影响政策。

图12展示了如何使用微调方法训练代理可以结束早的随机行为,实现有效的探索政策在新环境中,但在不同的迷宫训练效果各不相同。如表所示5从头开始学习,没有明显区别或Maze-1微调,从获得奖励或所需的交互的环境。然而,他们的学习曲线表明,因为Maze-1的结构相对比较简单,从头学习是一种有效的方式来达到探索政策。他们还表明,调整方法,其初始参数包括wall-walking等行为,避障,并把一个角落,让一些不匹配的早期训练阶段。Maze-2,相比之下,从头开始学习,微调方法显著加速ICM的训练效率和使它能够使用更少的交互融合策略,但这种改进不了我们的方法。微调的作用可以更好地说明在Maze-3的影响表现在两个方面:ICM的探索表现再次提高,所需的交互编码环境进一步降低。总的来说,改善带来的微调是ICM更有帮助,而我们的方法显示稳定和可伸缩性不同学习模式。

接下来,我们将在每个迷宫外部奖励并重新培训了ICM和微调我们的方法。外在报酬的形式的目标(价值+ 10)和苹果(价值+ 1),和他们的位置是固定在一个事件和事件之间的随机变化。如果目标是达到了,代理重生到一个全新的开始位置,再次探索迷宫,每个方法的性能是衡量基于统一点奖励。实验结果如图所示13和表6。可以看出,与原方法相比,使用外在报酬进行微调的结果更多的负面影响,它不仅减缓了训练过程,也混淆了勘探和导航。这种损害性能植根于的驱动力,结果在美国,包括外在报酬,成为有吸引力的勘探和代理期间想要达成一致。此外,由于该代理将重置到一个新的位置当它到达目标,调整的目的似乎是寻找目标,而不是探索环境。这就是为什么代理可以快速得到一个好的回报在培训期间,但仍需要更多的交互来完成勘探。这种现象尤为明显Maze-1 Maze-2,尽管Maze-3发生最坏的情况下,因为没有一个方法训练的微调可以指导代理在一集覆盖环境。

4.3.3。“Noisy-TV”实验

在前面的小节中,我们观察到ICM方法优于其他基线和达到几乎相同的性能作为我们的方法在前两个测试迷宫。然而,“懒人”问题,在“noisy-TV”实验中,仍然是一个挑战prediction-based好奇心的方法。而我们的方法依赖于代理的观察和记忆指导勘探,这个实验的目的是提供额外的证据来验证是否更健壮的随机对象。

“noisy-TV”实验实现如下。在所有的测试环境中,电视是正面显示的代理,在一集和它的位置是固定的。一个图像的分辨率 在电视屏幕上显示在每一个时间步,独立于代理的行为,和图像中每个像素采样均匀的 。

实验结果显示在图14和表7表明,ICM和我们的方法的性能恶化后添加特性转化的来源,但这ICM是更严重的影响。ICM的很快耗尽它的好奇心和探索停滞时从头开始学习,而微调方法能够促进勘探在某种程度上,但获得的政策并不令人满意。可以看出,状态空间不能被建模的一些地区,如“noisy-TV”这个实验。他们的预测误差将保持高位,显示一个不可抗拒的吸引力ICM的模型,从而使代理落入一个好奇心陷阱和恶化到不受欢迎的行为。显然,“noisy-TV”的图像是无关紧要的探索,和代理继续好奇他们是无用的。在我们的方法中,代理寻找基于内存的好奇心,而不是预测。依靠过去的相比,代理不会保持好奇这样随机对象和将克服“懒人”的问题。实验结果表明,我们的方法可以探索环境相当不错,获得所有测试的完整记忆迷宫,尽管存在“noisy-TV”放慢学习速度。

5。结论

在这项工作中,我们提出了一个基于强化学习和自主探索方法内在动机的概念。一个组件的方法创造内在动机的目的而另一学习探索的目标政策,这些政策是为了一起工作。我们的实验结果和分析强调内在动机的作用和训练方法在学习探索政策。我们还检查代理的性能在一个环境,包括随机对象。

我们的方法是受好奇心的动物的行为,使他们能够探索环境没有任何外在的奖励。人工智能代理,完成自主探索与原始视觉输入,我们使用深强化学习作为基本框架,允许代理创建奖励自己。考虑prediction-based勘探方法的局限性,我们的内在动机是基于事件的记忆和计算包括两种类型的新奇的奖金。这使我们的方法比现有的方法在3 d迷宫一般的环境,使它更好的将随机对象的能力。

虽然我们的方法成功地学习探索政策从视觉输入,其性能将限制在非常大的环境中,由于单层LSTM和内存缓冲区的容量。在未来,有必要增加我们的探索模型的能力通过添加LSTMs或使用外部记忆。此外,我们认为这将是有趣的未来工作我们的方法迁移到现实世界和比较它与同步定位和建立映射(大满贯)的方法。

数据可用性

我们没有使用任何特定的数据集,所有的实验数据都从公共数据平台,DMLab。

的利益冲突

作者宣称他们没有利益冲突的报告对于本研究。

确认

这项工作是由中国国家自然科学基金(没有。61773027)、北京市自然科学基金(没有。4202005),科技计划的项目北京市教育局(没有。KM201810005028)。