文摘
强化学习从示范(RLfD)被认为是一种很有前途的方法来提高强化学习(RL)利用专家示威额外的决策指导。然而,大多数现有RLfD方法只作为演示低级知识实例在一个特定的任务。示威通常用于提供额外的奖励或pretrain神经网络RL政策监督的方式,通常导致泛化能力差和弱鲁棒性性能。考虑到人类知识不仅是可翻译的也适合推广,我们建议开发潜在的示威游行通过提取知识从他们通过贝叶斯网络和开发一种新型RLfD称为强化学习的方法从演示通过贝叶斯网络知识(RLBNK)。拟议中的RLBNK方法利用节点影响距离度量和瓦瑟斯坦(此类)算法从示威活动获得抽象的概念,然后一个贝叶斯网络进行知识学习和推理的基础上抽象的数据集,这将产生粗糙的政策与相应的信心。一旦粗政策的信心很低,另一个RL-based细化模块将进一步优化和调整政策(附近)最优混合策略。实验结果表明,该RLBNK方法提高学习效率相应的基线RL算法在正常和稀疏的奖励设置。此外,我们表明,RLBNK方法比基线方法提供了更好的泛化能力和鲁棒性。
1。介绍
在强化学习(RL)最近的研究已经取得了令人瞩目的成就在不同的领域,包括视频游戏(1),股票交易(2),和推荐系统3]。然而,resource-exhausting训练在实际场景中严重阻碍了RL的部署。这个问题最重要的一个原因是,RL代理没有背景知识,必须从头开始学习,这既不有效也不现实。相比之下,在人类的学习过程中,我们希望学习新任务通过观看游行示威,这激励的强化学习研究示范(RLfD) [4),已被证明是有前途的机器人抓(5和无人驾驶汽车驾驶6)等。
然而,大多数先前RLfD方法不充分利用专家示威,把他们视为限制行为模板没有提供准确的洞察执行这种行为的原因。示威活动在这些RLfD方法被视为人类的低级表示知识,抑制其泛化能力(7]。此外,神经网络RLfD方法提到的解释能力有限,他们也缺乏观察干扰采取激烈行动的能力。
考虑到获得专家示威是昂贵的,有必要探讨如何有效地使用这些示威活动。因此,上级RLfD方法应该能够从示威游行中提取知识,不仅提高了算法性能相同的任务,但也提供了解释的示威者的行动,促进泛化的最后学习行为的政策。在这里,定义在[提出后8),我们将“知识”作为验证信息实体之间的关系在一定上下文和理论定义将在部分4.2。虽然这样的知识通常是高效和简洁,它通常是不确定的,粗糙,和难以表达或量化,这表明需要进一步调整和适应全面完成目标任务。
作为概率图形模型,贝叶斯网络(9)可以作为一个合适的模式来利用从示威游行,因为他们有多个task-agnostic知识优势。首先,作为一种概率模型,贝叶斯网络可以学习和代表不确定和粗知识完成概率推理。除此之外,贝叶斯网络节点的有向图结构表示真实世界的观察和行动和节点之间的权重条件概率值被用来量化节点之间的因果关系。因此,贝叶斯网络是容易解释,它提供了透明的洞察中提取知识。此外,贝叶斯网络可以提供对决策过程的信心而常用的方法。
受上述思想,我们提出一个新颖的RLfD称为强化学习的方法从演示通过贝叶斯网络知识(RLBNK)提取从专家演示通过贝叶斯网络和概率知识结合了知识与RL。RLBNK方法旨在学习混合政策,由一个固定的知识模块由一个贝叶斯网络和可训练的优化模块由一个神经网络的优化模块进行细化的作用概率粗糙贝叶斯网络所代表的知识。利用贝叶斯网络作为知识表示模式,代理可以量化的不确定性先验知识从示范,指导就业概率的知识。更具体地说,我们提出两个变体叫做RLBNK-concat RLBNK-switch RLBNK方法。RLBNK-concat,代理连接提供的决策信心向量贝叶斯网络当前状态向量作为输入,并优化整个政策RL。在这种方法中,决策信心向量暗中为代理提供指导。至于RLBNK-switch,它将根据决策信心状态空间向量pretrained贝叶斯网络所提供的知识模块:如果决定信心高,所做的决定将贝叶斯网络;否则,这个决定将由神经网络优化模块。注意,对于这两个变种,贝叶斯网络所代表的知识模块是固定在RL的过程。仿真结果说明,我们RLBNK优于行之有效的基线数据的效率,泛化能力和鲁棒性。
总之,本文的主要贡献有三点:(1)此类influence-based状态抽象算法提出了从原始专家演示获得抽象概念上的状态。然后贝叶斯网络概率粗提取知识从这些抽象的示威活动。(2)小说RLfD称为RLBNK的方法,提出了贝叶斯网络的组成,代表概率粗知识和神经网络的优化模块,对先验知识。和RLBNK的优点也进行了分析和讨论。(3)广泛的实验进行验证RLBNK方法的有效性。结果表明,RLBNK方法可以取得更好的性能数据的效率,比基线方法泛化能力和鲁棒性。
本文的其余部分的结构如下。部分2和部分3介绍本文的相关工作和预赛。RLBNK的方法,并给出了相应的分析和讨论4。最后,实验结果和分析部分5。部分6本文总结和展望未来的工作。
2。相关工作
2.1。强化学习的示范
强化学习从示范(RLfD)被认为是学习的一个重要分支示范(最晚完成日期)与传统的RL示威”相结合的方法,提高样本效率(10在培训过程中。现有RLfD方法基本上是基于以下三个观点:(1)政策pretraining;(2)奖励塑造;(3)提供辅助的损失。
政策pretraining (6)是最常用的RLfD方法在实践中。它与示威pretrains RL政策监督的方式通过克隆行为(11),然后继续定期RL。后的典型工作这个想法是AlphaGo算法(12]。然而,这种方法不能保证勘探质量政策进行优化过程中,通常会导致“灾难性的遗忘”(13]。此外,神经网络通常倾向于overfit示威,这阻碍pretrained的推广政策。
奖励塑造旨在指导代理的学习通过构建额外的奖励信号从专家示威14,15]。额外奖励,RL代理可以更有效地获取启发式学习的反馈环境和引入奖励。例如,软Q模仿学习(SQIL)算法(15)存储回放缓冲区的示威活动和分配一个积极的奖励。研究[14火车一个监督神经网络从示范作为塑造功能。然而,这一想法仍在暗中复制专家的行动的倾向,鼓励代理探索的状态空间覆盖的示威活动。
提供额外的损失条款来源于示威RL政策功能或价值函数优化是第三个主流RLfD的想法。例如,深从示范(DQfD) [q学习的16]介绍了示威深陷Q-network (DQN) [1)通过演示数据存储到经验重播缓冲pretrain Q-network有不同的损失。RL过程中,采用了一种优先级抽样机制选择回放的数据缓冲区Q-network优化经验。同样,深从示范(DDPGfD)决定性策略梯度算法(5)继承了这个想法,需要深决定性策略梯度(DDPG) [17)作为基本算法扩展DQfD机器人控制的任务连续动作。类似于奖励塑造理念,这种方法还旨在鼓励代理复制专家的行为通过约束优化的目的。
2.2。模仿学习
模仿学习(IL)也利用示威收购专家型的政策,它大致可分为行为克隆(BC)和逆强化学习(IRL)。公元前(11,12,18)是最常见的模仿学习范式的专家提取政策通过监督学习。然而,政策学会通过BC遭受复合误差造成的协变量转变(19在序贯决策任务。因此,代理很容易疏远了。另IL范式是IRL,试图恢复任务的奖励函数由有关专家演示最佳然后学习策略在RL框架。因此,这个IRL方法可以避免复合错误发生在公元前。结合生成的想法对抗网络(甘斯)20.)和IRL生成敌对的模仿学习(GAIL) [21)方法利用对抗训练学习策略直接从示威游行。
然而,重要的是要注意,虽然IL和RLfD是类似的,它们之间存在着根本性的差异。RLfD方法仍假设获得的奖励回馈环境即使他们援助专家示威,而IL方法不依赖于任何奖赏信号(11,18]或它构造奖励函数从示威活动本身21]。
2.3。知识表示和集成
一直在探索各种典型模式代表了先验知识,如模糊方法(22,23],规则[24- - - - - -26),决策树(27,28),神经网络(11),和图29日,30.]。模糊方法和规则的优势是,它们自然的解释。然而,它需要相当大的人类努力手动定义形式的规则,他们是有限的代表复杂的关系。相反,神经网络具有强大的表现能力,但缺乏可解释性阻碍他们的收养。图和决策树的理想工具,可判断的知识提取和代表性,可以自动从数据中提取知识。树木相比,贝叶斯网络提供了一种更简洁的概率表示为图模型,更符合人类的学习和推理形式。
也有一些研究的集成知识以不同形式进入RL。知识引导政策网络(KoGuN)方法(26采用模糊规则作为知识控制器。模糊规则难以从数据中提取知识,必须手动定义隶属函数。与模糊规则相比,贝叶斯网络可以提取概率知识以最少的人类的努力。请求confidence-moderated政策建议(皇家骑警)算法(31日)也利用不确定性指导RL,该算法使用的不确定性是通过计算多个核反应能量的方差向量由多头Q-network提供。然后,皇家骑警算法需要行动在线专家的建议时具有较高的决策的不确定性。因此,该算法需要连续的指令从一个在线专家。
3所示。初步
3.1。强化学习
RL旨在解决一个序贯决策问题,RL代理优化后的政策与环境交互马尔可夫决策过程(MDP) [32]。一个标准的MDP被定义为一个元组吗 。特别是,和状态空间和动作空间的大小是和 ,分别;代表奖励分布函数 立即采取行动的奖励吗在国家在步伐 ; 表示转移概率函数 表明过渡的可能性来在行动 ; 表示贴现因子。
如图1给定一个政策 ,RL代理选择一个行动根据然后运送到下一个状态后 和接收即时奖励 。我们定义 总折扣奖励与贴现因子 。RL代理的目的是获取(附近)最优政策最大化的期望 。假设政策网络的参数化 ,价值函数通常是用来评估政策 ,在哪里可以被定义为 和动作值函数 被定义为 在哪里表示期望有关 。
基于策略的RL方法更新政策参数通过梯度上升的 在哪里学习速率和吗是可以估计的总期望的奖励
减去通过给出了利用函数用于方程(4): 在哪里 反映预期的额外奖励,代理会收到后采取行动在国家 。
评估示威的泛化能力(7内),我们应该首先定义不同的MDP RLfD范式,MDP的来源 : 用于收集专家示威和 : 是目标MDP需要解决。在RLfD RL代理目标MDP后与环境交互并提供专家专家政策产生的示威活动从源MDP 。在RL,泛化设置可以不同,和由状态空间可以不同 ,行动空间 ,奖励函数 ,或系统动力学 。
作为一个标准MDP的泛化,部分可观测马尔可夫决策过程(POMDP) [33MDP延伸部分可观测的环境设置。在POMDP,代理只接收一个观察与分布在每个时间步 。类似于标准的MDP, POMDP的目的是最大化预期的总回报RL代理接收。POMDP此外,另一个核心问题是提高训练策略的鲁棒性的随机扰动环境。
3.2。贝叶斯网络
贝叶斯网络(9)属于概率图形模型(铂族金属)可以被定义为 在哪里 有向无环图,是一组节点(变量)和边 ,和是概率函数。取决于变量是离散或连续的,贝叶斯网络可以分为离散贝叶斯网络和高斯贝叶斯网络。除了高斯分布,替代技术,如改进的指数分布和瑞利分布也可以用来处理连续属性(34]。因为只有离散贝叶斯网络是使用在本文中,我们使用贝叶斯网络来表示离散贝叶斯网络在以下论文为了方便。利用贝叶斯网络结构和概率函数贝叶斯网络应该获得的量化的条件概率表(CPT)可以参数化的 。根据任务需要解决的特点,拓扑可以定义基于因果关系的节点或从数据。对于大多数RL任务,因为已知输入和动作输出状态,状态和行为之间的因果关系可以直接被一个贝叶斯网络结构(参见图2)。因此,我们关注的是估计的最优参数概率函数和概率推理的贝叶斯网络。
3.2.1之上。参数估计
贝叶斯网络的参数估计过程旨在学习概率函数所有的节点,每个节点在贝叶斯网络中表示一个变量(35]。提供结构贝叶斯网络的条件独立性可以从所有节点的数据。给定一个数据集由完全观察到样品的贝叶斯网络,最大似然估计(标定)方法通常是用于完成参数估计过程。假设一个贝叶斯网络节点 和它的概率函数参数化的 。为节点在 ,我们假设候选人的价值和它的父节点有候选人的组合。每个参数表示节点之间的条件概率和它的父节点当 和 可以写成 在哪里 ; ; 。
根据概率的性质,累积的总和在候选人的值满足
标定方法旨在学习最优参数通过最大化的可能性之间的参数和数据集 ,可以写成 在哪里的似然函数是和样品的数量满足吗当 和 在数据集 。
利用拉格朗日乘子法、最优(附近)可以得到如下:
最近,一些先进的贝叶斯网络参数估计方法也提出了有限的数据(36)或不确定的数据(37]。当我们有足够的确定性数据和标定方法具有较高的估计精度和广泛的应用,我们选择大中型企业作为参数估计的方法。
3.2.2。概率推理
贝叶斯网络的概率推理是对目标变量的后验概率估计给学会了部署和观测变量(也称为证据变量),可以分为近似推理和精确推理。精确推理方法的目标是精确地计算变量的概率分布和适合与简单的贝叶斯网络结构。近似推理方法提高计算效率的精度,适用于贝叶斯网络具有复杂的结构。
给定一个贝叶斯网络的结构如图2可以写成,其联合概率分布 在哪里表示的概率分布函数。
因为本文使用贝叶斯网络的结构相对简单,我们可以选择准确的推理方法,而无需牺牲计算效率的准确性。代表的精确推理方法,消除变量(VE)可以分解联合概率分布和条件概率的贝叶斯网络表示成一系列产品并完成推理过程的集成。因此,给获得边际概率的目的 ,VE方法消除了变量 , , ,和在方程(10)如下:
4所示。方法
在这一部分中,首先小说状态抽象算法称为节点提出了影响距离和瓦瑟斯坦(此类)。考虑到学习抽象的州,贝叶斯网络的概率知识提取方法是引入部分4.1。然后,我们RLBNK方法包含这样的概率知识转化为RL提出了部分4.2。更多的特异性,两个变种RLBNK方法的扩展,RLBNK-concat RLBNK-switch,设计用于不同的知识集成方法。最后,我们分析和讨论我们的优势RLBNK方法部分4.3。
4.1。提取通过贝叶斯网络概率知识
在以前RLfD方法,演示某些人类知识的实例为一个特定的任务。为了提高泛化能力和鲁棒性,更高级的知识应该首先从示威游行。由于示威活动的数量通常是不足以覆盖整个statespace的任务,自然和人类知识是粗糙和概率,提供指令利用示威活动至关重要的不确定性。随着贝叶斯网络中提取的优点,要代表概率知识和解释,我们选择这种模式的知识表示。
以下4.4.1。国家通过此类抽象算法
由于贝叶斯网络只把离散变量作为输入和输出,状态抽象应该获得概率知识提取过程之前,可以通过离散化。除了用于构建贝叶斯网络,离散状态的优点是容易理解和接近概念和语义表示比连续状态。此外,离散状态可以促进学习策略的鲁棒性比原始连续状态。
为了方便起见,我们把CartPole任务作为一个例子和其他任务中使用本文是相似的。CartPole任务的状态向量 ,代表购物车的位置和速度,角度和角速度的杆,分别。为了获得抽象状态,每个状态元素语义分为消极,小,和积极的。离散化过程遵循方程(12),为每个状态元素表示参数的离散化状态向量。例如, , , ,和表示每个状态的离散化参数元素 CartPole任务:
不同的对离散化将导致不同的状态表示,这可以极大地影响贝叶斯网络的学习和推理的过程。先前的工作表明,抽象的概念可以从相似性的方法38),是由相似。轮胎式压路机et al。39)提出了一个概念通过聚类隐式地找到学习方法。然而,这种无监督的方法并不考虑变量之间的因果关系。
在贝叶斯网络,最优状态抽象参数应该使最有效的预测和推理能力,可以通过测量节点的影响(40,41]。节点的影响值代表条件的差异和边际目标概率分布的概率,这表明变量之间的推理能力。基于这个想法,我们提出一个新颖的状态抽象算法称为节点的影响力与瓦瑟斯坦(此类)找到最佳的距离 。此类量化两个因果变量之间的关系通过描述目标概率分布的变化。更大的此类值表示变量之间的较强的推理能力。我们计算此类值如下: 在哪里的父节点是吗(见图3),是离散的数量,瓦瑟斯坦的距离度量,样本的比例,满足 。
瓦瑟斯坦的距离可以被计算 在哪里 满足 和 满足
相比之下Kullback-Leibler散度指标和Jensen-Shannon发散度规,瓦瑟斯坦的距离(42]指标不仅可以测量两个重叠分布之间的距离,而且两个不重叠的分布之间的距离,为评估提供更有用的信息变量的贝叶斯网络的关系。通过计算此类值对应于一系列不同 ,我们可以确定一个对应于最大的此类值为最优 。
4.1.2。通过贝叶斯网络知识提取
在确定通过计算此类值离散化,通过贝叶斯网络概率可以从数据中提取知识,知识的提取过程也称为贝叶斯网络的参数估计。概率知识提取的工作流图所示4。考虑到离散化参数和原始数据集它包含连续状态变量,初始状态应该首先抽象在方程(12)。作为贝叶斯网络的结构,参数估计的贝叶斯网络可以根据方程(9)和抽象的数据集 。
本节的知识提取过程的伪代码所示算法1。
备注1。根据方程(11)和方程(13),算法的计算复杂度1可以被估计为 ,在哪里是在贝叶斯网络和节点的数量是父节点的最大数量。
4.2。将概率知识纳入强化学习
贝叶斯网络代表了知识提取示威,我们使用的知识模块为方便引用它,后学习算法1。知识模块输出向量决定信心表明估计的不确定性的决策,因此决定在多大程度上决定应该是可信的。正式,输出向量概率的知识模块是基于当前状态在方程(11),它可以写成 在哪里决定信心在行动吗和所有的总和满足: 。
定义1。在RL范式,通过贝叶斯网络知识提取可以正式定义为一个元组
,在哪里
状态空间的知识模块吗工作和是一个映射的行动的空间高决策的信心。
尽管知识模块扮演的角色概率知识提取和表示,从示威仍粗提取的知识,需要进一步扩展和改进。因此,完善知识模块应该引入,它至少应该决定信心向量精制决定信心作为输入和输出向量
。作为一个灵活的通用近似者,神经网络可以结合其他模式,包括贝叶斯网络、混合策略
。因此,我们使用一个神经网络优化模块在这里进行知识细化的作用并提出两种RLBNK方法:RLBNK-concat RLBNK-switch近似优化模块。
4.2.1。准备RLBNK-Concat
决定信心向量所提供的知识模块 ,将知识纳入RL过程的最初的想法是直接连接向量的当前状态作为输入的优化模块 。这个想法不加选择地认为当前状态和决策的信心。连接这两个向量作为输入的优化模块,输出改进行动偏好向量可以从优化模块的输出获得以下吗
RLBNK-concat方法,我们定义它的整个政策可以表示为 ,的政策将在RL优化模式。由于参数通过算法学习1,只有参数优化模块的优化策略优化过程。虽然RLBNK-concat方法简单、可行,它没有充分利用决策的信心所提供的知识模块,从而优化模块功能域的大小 ,而原始状态空间的大小 。然而,当RL代理遇到国家,它有一个高决定信心基于先验知识,它可以仅仅依靠先验知识来完成决策过程没有进一步的学习。
4.2.2。RLBNK-Switch
如图5,更好地利用决策信心所提供的知识模块 ,我们建议RLBNK-switch通过比较行动的信心与阈值后确定的来源决定方程(19)。更具体地说,我们可以选择是否应该采取行动从完善知识模块或模块根据决策信心值 。如果决定信心高,决定将基于先验知识模块 。否则,代理可以切换到优化模块做决定,将进一步优化完善模块RL。因此,比较RLBNK-concat, RL代理只有学习策略在州发现的知识模块。切换过程可以表示为 在哪里用于返回的最大元素的输入向量。
RLBNK-switch,我们定义整个混合策略可以表示为 。获得精制行动偏好向量后,行动如果应采取相应的决策信心是最大的输出向量中元素 。然后,整个政策将优化。由于参数是固定的,只有神经网络改进模块将优化后的政策优化过程在RL基于方程(3)。
备注2。假设学习知识模块在状态空间的最优政策(域)
,因为RLBNK-switch开关机制的方法,混合策略状态空间最优但nonoptimal状态空间
。从整体的角度来看,混合动力的政策有一个最佳的初始化部分状态空间,这使得这个RLBNK-switch方法有相同的正常神经网络RL算法可行性。
提出RLBNK方法可以被视为一个通用的政策框架,它可以表示为
(对于RLBNK-concat)或
(RLBNK-switch), RLBNK方法能够结合任何基于策略的RL算法优化参数优化模块的
。近端政策优化(PPO) (43)算法被认为是一个基线RL算法,我们应用它作为基算法在本文展示RLBNK的有效性。
PPO算法有两个变种版本和最常用的版本是剪替代目标,形成政策使用优势函数梯度介绍了方程(5),最大限度地减少clipped-ratio损失对收集的样本
。clipped-ratio损失可以写成
在剪切系数旨在防止大更新。的概率比用于方程(20.)介绍测量变化的概率选择行动在国家更新后的政策下和旧的政策
,可以写成
政策网络的PPO,整体损失函数在时间步被定义为代理的组合损失呢
,损失的价值
,和熵
。这些项的权重调整系数和
:
神经网络的权重可以更新如下:
显示了RLBNK算法的伪代码2。
|
4.3。性能分析和讨论
RLBNK方法可以被视为neurosymbolic AI的贝叶斯网络是知识的符号表征,同时完善模块由神经网络表示。象征预计将提供额外的知识学习过程的约束,帮助提高学习效率,也可以防止神经网络和著名的灾难性的遗忘的难度外推将数据以改进算法的鲁棒性(26,44]。
4.3.1。效率分析
正式定义的MDP ,其政策空间的大小 。假设知识模块提供高决策信心值状态设置 ,在哪里 ,完善的政策空间模块供RLBNK-switch降低来 。因此,uncertainty-based状态空间划分可以使RLBNK-switch理论上享受更好的数据效率性能。此外,知识模块可以弥补政策空间 ,这是固定,以防止灾难性的遗忘以及减少总体政策空间,需要学习。和知识表示为贝叶斯网络提供了更好的泛化和健壮性的神经网络方法,因为国家抽象和贝叶斯网络的概率特性。RLBNK-switch, RL算法是用来学习状态空间的政策 。因此,梯度估计也从方程(4) 也避免了积分整个状态空间,使学习更有效率。此外,RLBNK-concat,因为连接操作,政策空间增加来 。因此,我们希望RLBNK-switch方法演示了一个更好的数据比RLBNK-concat效率性能。
4.3.2。鲁棒性分析
贝叶斯网络中使用有条件独立的基本和健壮的知识形式。贝叶斯网络分类器是健壮的,我们甚至可以学习条件分布的参数和训练例子[相对较少35]。同时,方差,贝叶斯网络提供让他们健壮的行动。除此之外,在我们的论文中,知识受到阈值 ,也提高了鲁棒性。此类国家抽象(离散化)方法也起着重要的作用提高鲁棒性。离散值大约是间隔的数字指定更简洁,更容易使用和理解,因为他们更接近比连续概念级别表示(45,46]。从机器学习的角度来看,状态抽象可以减少过度拟合的风险通过最小化结构风险和消除噪声样本通过简化数据,这两种增强鲁棒性和泛化能力。
5。实验
在本节中,我们进行实验评估RLBNK方法。更具体地说,为下面的实验,我们的目标是评估我们的提议RLBNK方法确认以下:(我)我们RLBNK方法有助于数据的效率下RL正常奖励设置甚至稀疏的奖励设置。(2)知识从示威游行通过贝叶斯网络可以推广到类似的任务,提供有益的指导RLBNK方法获得有效的混合政策。(3)所学到的知识的帮助下贝叶斯网络、混合策略强劲RLBNK学到的方法可以处理从环境嘈杂的观察。
本文中的所有实验进行的Ubuntu 16.04系统PyTorch 1.7。我们的算法是基于开源PPO-PyTorch [47)实现和概率图形模型工具包pgmpy (48]。我们测试算法在OpenAI健身房(49)环境和耐心(50)环境。下面我们简要描述的任务用于我们的实验(也见图6)。CartPole。CartPole系统、车沿着平滑跟踪和钢管连接由一个unactuated联合购物车。这个任务的目标是平衡极尽可能垂直向上。捕手。在《麦田任务中,球拍与三个不同的行动抓水果下降(左,右移动,和什么都不做),RL代理访问的位置和速度的球员和水果。FlappyBird。FlappyBird是鸟横向卷轴的游戏,需要行动(拍打或什么都不做)穿越间隙对管道。代理接收到奖励一旦鸟通过管道和一集结束当鸟撞击屏幕的管道或下车。
(一)
(b)
(c)
5.1。仿真设置
实验确保考试的公平性,我们把所有的hyperparameters一样的原始实现推荐在相应的文学。CartPole和捕手任务,2000对政府行动 收集由一个专家政策形成了最初的专家示范数据集 ,FlappyBird任务,收集150个政府行动对通过同样的方式。特别,网络的更新间隔被设置为2000,剪切参数政策优化设置为0.2。本文中使用的所有神经网络有两个隐藏层,每个都包含64个神经元。最优离散化参数国家抽象知识提取过程中在附录表所示,参数对应于最大的此类值的最优参数对后续实验。阈值参数RLBNK-switch,知识模块为默认设置为0.8。对于每一个算法和每个任务,我们训练5政策与不同的种子和阴影区域为每个曲线以下结果表示的平均标准偏差评价。
5.2。数据RLBNK方法的效率
评估的有效性提出RLBNK方法,我们首先进行实验在上述三个任务正常的奖励设置。进一步证明RLBNK提出方法的有效性,我们还与变体稀疏设置CartPole任务奖励设置。性能在不同的奖励设置如图7和8,分别。
5.2.1。正常的奖励设置下性能比较
曲线在图7说明的均值和方差累计奖励每一期的培训过程RLBNK-switch, RLBNK-concat、基线PPO (43],DQfD [16在这些任务。专家表示专家政策的性能曲线用于收集示威,模仿曲线政策培训使用示威的性能通过克隆行为(11]。
从图7,我们可以观察到提出RLBNK-switch和RLBNK-concat胜过其他基线方法在大多数情况下和RLBNK-switch演示了一个启动三个任务在每个培训过程的开始。提出两种算法中获得更高的回报更少的训练集。尤其是RLBNK-switch的性能在所有三个任务学习好(甚至接近最优)政策在200集。相对于基线算法PPO从头开始,探讨了环境,我们的方法比通过利用知识提取示威。相比之下,尽管DQfD方法利用相同的演示数据作为RLBNK-switch RLBNK-concat,它执行平庸的在所有情况下除了CartPole任务,它比RLBNK-concat优于。我们假设这是因为奖励设置在麦田和FlappyBird比CartPole相对稀疏的任务,这将是进一步分析在接下来的实验。这个结果证实了提出RLBNK方法可以有效地利用知识和实现性能优越。
5.2.2。下性能比较稀疏的奖励设置
我们进一步证明RLBNK-switch的优越性和RLBNK-concat稀疏奖励的条件下。为了方便实验验证,我们提出一个稀疏的奖励设置:多步累积奖励稀疏的时候给出的步骤。我们选择CartPole任务来模拟这个设置和提供 - - - - - -每一步累积奖励时间步(奖励只提供 , , ,…)。图8显示了实验结果在不同稀疏的设置。
从图8,我们可以评论RLBNK-switch收敛在200集左右,演示了所有三个稀疏设置较小的方差一致的性能从25到100。基线PPO努力学习是一个有效的政策下稀疏的奖励设置自PPO代理有更少的机会获得奖励的信号在纯勘探早期阶段的学习。DQfD,即使它达到一个好的偏好在正常奖励设置在CartPole任务中,它的作用更糟糕的学习过程在所有稀疏的设置。我们相信,一个可能的原因是,使用的优先级采样机制阻碍了Q-network DQfD算法在稀疏的奖励条件下更新。这种优先级采样机制给Q-network更新过程中更重视示威。然而,由于稀疏的奖励设置,DQfD代理有困难获得积极的环境样本本身,所以Q-network DQfD可能仍然是优化与纯粹的示威活动在大多数情况下,即使代理与环境互动。由于示威活动只覆盖状态空间的一部分,它不能很好地优化Q-network获得well-performed政策。此外,从学习曲线如图8DQfD和基线PPO,任务越来越难的稀疏的因素增加,而RLBNK-switch和RLBNK-concat都不影响。
5.3。评价的泛化能力
在本节中,我们进行实验来检查RLBNK方法的泛化能力。在这里,我们专注于推广设置和共享相同的状态空间 ,行动空间 ,和奖赏函数但不同的系统动力学: 。具体来说,我们采用CartPole任务,改变杆的长度和质量的购物车泛化的设置如表所示1。注意,由于示威活动收集MDP的来源 ,我们的目标是解决目标MDP 。
在这个实验中,我们进行一些基线,包括PPO (43,PPO-finetune DQfD [16),和模仿(通过监管行为克隆(11])。PPO-finetune曲线表示的性能RL政策pretrained MDP PPO的来源然后在目标MDP调整 。PPO曲线说明的性能基线PPO MDP直接训练目标 。DQfD利用收集到的示威活动在源MDP MDP和探索的目标。在模拟曲线,相应的政策与专家培训示威活动从源MDP收集通过克隆监督行为。MDP的曲线显示了其性能目标 。
从图9,它可以观察到,在概括设置,直接从源MDP模仿收集的示威活动不能实现良好的性能在目标MDP(模仿曲线所示)。相比之下,RLBNK-switch达到最佳性能和知识的帮助下从源MDP, RLBNK-switch和RLBNK-concat比基线PPO算法。自政策PPO-finetune方法初始化源MDP和回馈都作为一个训练有素的政策在目标MDP,它是一个功能强大的方法,达到类似的性能在钢管长度泛化RLBNK-concat设置甚至超过RLBNK-concat购物车中大规模推广设置。相比之下,DQfD方法展示了更糟糕的性能在两个设置。pretraining过程,后一个可能的原因是,示威活动收集从源MDP,虽然不适合目标MDP,仍然是不加选择地用于更新Q-network,阻碍了其优化目标MDP的过程。实证结果在两杆长度泛化和车质量综合显示了强有力的证据表明,拟议中的泛化RLBNK-switch实现性能优越的设置和RLBNK-concat PPO-finetune方法还演示了一个类似的结果。RLBNK-switch和RLBNK-concat不仅可以提高数据的效率,还可以推广到不同系统动力学的任务。
5.4。鲁棒性对随机干扰
使学习政策实现鲁棒性对随机观测干扰是POMDP的目标之一。我们广泛的评估的可靠性RLBNK CartPole任务通过注射中随机扰动方法国家 ,和观察满足 在哪里从一组是均匀采样 : 和干扰强度表示随机干扰的上界。鲁棒性评估,我们首先进行基线PPO, RLBNK-switch, RLBNK-concat CartPole任务获得well-performed政策环境中没有噪音后,设置了部分5。1。然后,500年交付)进行每个训练策略与具体的噪声干扰环境下强度的范围从0.10到0.50获得的平均值和标准偏差累积奖励。
图10显示这些政策对随机干扰的性能 。我们可以观察到,随着扰动强度增加,所有的学习策略的性能变得越来越糟。然而,我们RLBNK方法演示了学会了基线神经网络鲁棒性比PPO政策几乎所有范围的扰动强度。特别是,RLBNK-concat执行比RLBNK-switch更好。我们认为这种现象的原因是由于事实,即贝叶斯网络在RLBNK-switch只有状态空间的功能 ,所以它的健壮性只能在这个状态空间的一部分。RLBNK-concat,即使直接连接状态信心和决策向量加大政策的状态空间搜索,贝叶斯网络可以提供整个状态空间的鲁棒性。
6。结论
在本文中,我们开发一种新型RLfD称为RLBNK,采用贝叶斯网络的方法来提取概率知识从专家协助RL示威活动,它提供了另一种观点RLfD利用示威。与其他RLfD方法相比,RLBNK利用贝叶斯网络来提取概率知识从示威,这不仅使演示数据的解释能力,还提高了泛化的示威活动。我们进一步扩展RLBNK方法RLBNK-concat RLBNK-switch和使用PPO作为基本政策优化模式。广泛进行的实验是在不同的任务和结果验证,利用贝叶斯网络所代表的知识模块和知识优化模块,RLBNK-concat和RLBNK-switch胜过其他基线方法在正常奖励和稀疏的奖励设置和提供一个启动之初培训。更重要的是,RLBNK演示了一个性能优越的泛化的设置。此外,政策由RLBNK训练是更健壮的环境噪声比较政策由RL训练神经网络函数近似者。在未来的工作中,我们将扩展我们的RLBNK基于像素的决策任务,通过融合特征降维方法如变分autoencoders (va)。
附录
表2- - - - - -4距离度量列表计算节点的影响力与瓦瑟斯坦(此类)值与不同的离散参数对数据集来自三个任务5.1中引入的。作为此类值反映了预测能力,相对应的阈值参数的最大此类价值优先和将用于我们的实验。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
信息披露
Yichuan张是第一作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由中国国家自然科学基金支持下批准号。61825305和61825305。