文摘
深Q-network (DQN)是最成功的强化学习算法之一,但它也有一些缺点,如收敛速度慢和不稳定。相比之下,传统的强化学习算法与线性函数近似通常有更快的收敛性和更好的稳定性,尽管他们很容易遭受诅咒的维度。近年来,许多改进DQN,但他们很少使用传统算法的优势来提高DQN。在本文中,我们提出一个新颖的q学习算法与线性函数近似,称为minibatch递归最小二乘q学习(MRLS-Q)。有别于传统的q学习算法与线性函数近似,MRLS-Q的学习机制和模型结构更类似于DQNs只有一个输入层和一个线性输出层。它使用经验回放和minibatch训练模式和使用代理的状态而不是代理的政府行动对作为输入。因此,它可以单独使用低维问题,可以无缝地集成到DQN作为高维问题的最后一层。此外,MRLS-Q使用我们提出平均RLS优化技术,这样就能达到更好的收敛性能无论是单独使用还是与DQN集成。在本文的最后,我们证明的有效性MRLS-Q CartPole问题和四个雅达利游戏和调查hyperparameters实验的影响。
1。介绍
强化学习(RL)是一种重要的机器学习方法求解序贯决策问题。理论上,通过与一个最初未知环境交互,RL代理可以学习最优行动政策在不同国家累计预期收益最大化(1]。不幸的是,在过去的几十年里,由于所谓的“魔咒”维度,RL只能用于解决一些现实问题与小规模的离散或低维连续状态空间。直到2013年,这一困境部分解决Mnih et al。2]。通过结合q学习算法与深度学习,他们提出了初步版本的深Q-network (DQN)算法。两年后,Mnih et al。3]提出的正常版本DQN,达到人类表现49古典雅达利游戏。从那时起,DQN吸引了越来越多的研究关注,和许多其他小说深RL算法(4,5和新的应用程序6,7)已经提出,因此深RL在人工智能已经成为一个蓬勃发展的研究分支。然而,尽管DQN已经成功在一些更复杂的问题8- - - - - -10),它仍然有许多缺点,如收敛速度慢、不稳定、采样效率低。因此,我们将关注如何提高DQN的性能。
目前,有三个主要类别的研究工作在改善DQN。第一类主要侧重于如何准确估计动作值。例如,特et al。11提出了双DQN,可以减少观察高估利用双q学习的想法。王等人。12]介绍了决斗网络体系结构,分别估计状态值和优势值改善政策评估。Hausknecht和石头13]介绍了深Q-network复发,更适合解决部分观察问题,通过增加复发LSTM卷积网络层。金等。14)结合DQN mellowmax方法计算目标动作值,有效地防止高估。Anschel et al。15)提出了平均DQN,它使用一些以前学到的行为价值估计生产动作电流的值。该算法可以减少目标的近似误差方差值。第二类主要集中在如何探索或利用有效样本。Schaul et al。16)提出了优先体验回放,这可以使历史样本的有效利用来提高DQN的收敛性能。Fortunato et al。17)提出了noisynet DQN,增加噪音为协助有效勘探深度网络参数。李等人。18]介绍了一个情景向后更新提高抽样效率。第三类主要关注如何减少内存和计算。Mnih et al。19]提出异步四个标准强化学习算法的变体,如异步一步q学习算法和异步n-step q学习算法。有趣的是,这项工作也打开车门研究异步优势actor-critic (A3C)算法。
在传统的RL, q学习算法通常使用线性函数近似动作值,具有更好的稳定性和更少的hyperparameters比DQNs训练(20.]。特别是,最小二乘(LS) RL型算法,最小二乘法等政策迭代(LSPI)算法(21),fitted-Q迭代(FQI)算法(22),和遗忘因子的递归最小二乘时间差异(RLS-TD-f)算法(23],不仅有更好的稳定性,而且有更快的收敛。在自适应滤波的研究团体,LS和递归最小二乘(RLS)算法以快速的收敛速度。显然,成功的LS-type RL算法主要得益于这一功绩。近年来,许多新的机器学习算法,如极端学习机(ELM) [24)和广泛的学习系统(25,26),提出了结合LS或RLS算法。在实践中,最后一层的神经网络用于DQN通常是一个线性层,这意味着我们可能可以提高DQN的性能通过整合DQN LS-type RL算法。事实上,莱文et al。20.)提出了一种混合方法最小二乘深Q-network (LS-DQN)相结合DQN LSPI或FQI。通过再培训的最后一层政策网络与批处理最小二乘定期更新,比DQN LS-DQN可以获得更好的收敛性能,而LS-DQN并不容易使用。在每个更新利用LSPI或FQI LS-DQN需要使用当前网络参数来生成一个训练数据集,需要运行一个传球前进的深度网络中的每个样本经验重播缓冲区。此外,LS-DQN需要生成新的政府行动的特性和计算矩阵的逆。DQN的学习机制,一个完美的集成LS-type算法应该能够使用输入DQN最后一层的近似行动价值观和DQN应该有相同的学习模式。
在我们以前的工作(27),我们提出两种策略控制算法称为ESNRLS-Q和ESNRLS-Sarsa。他们似乎满足上述要求在某种程度上,尽管他们也很难与DQNs集成。他们使用相同的经验重放和minibatch DQN学习模式。此外,他们可以避免计算矩阵的逆,更适合于在线学习通过使用递归最小二乘(RLS)。基于这项工作和工作的启发,莱文et al .,我们提出一个新颖的minibatch RLS q学习算法与线性函数近似,称为MRLS-Q。我们的主要贡献如下。(1)通过借贷经验重播去除观察到的转换之间的时间相关,我们首先把传统的q学习算法和RLS优化技术。(2)通过使用状态特性而不是政府行动特性为线性函数近似,我们MRLS-Q能够单独使用也被集成到DQN无缝。(3)为了减少计算复杂度,使minibatch RLS方法适合训练参数的模式,我们提出平均近似方法更新RLS自相关矩阵。(4)为了缓解特性改变的状态和MRLS-Q融入DQN,我们提出一个新的方法来定义MRLS-Q的功能函数。 (5) We demonstrate the effectiveness of MRLS-Q, alone and as the last layer of DQN, by using the CartPole problem and four Atari games, respectively. We also test the influences of its hyperparameters experimentally.
本文的其余部分组织如下。部分2描述了MRLS-Q的相关理论和算法。部分3代表了详细的推导和MRLS-Q的实际实现。然后,在节4,比较实验CartPole问题和四个雅达利游戏进行单独验证MRLS-Q单独使用的有效性和DQN的最后一层。最后,部分5总结了整个论文。
2。背景
在本节中,我们简要地回顾我们MRLS-Q的相关理论和算法,包括马尔可夫决策过程(MDP) DQN, LS-DQN。此外,我们还描述一些本文中使用的符号。
2.1。马尔可夫决策过程
在RL,序贯决策问题通常是制定作为一个MDP five-tuple ,在哪里状态空间,是行动的空间, 和 状态转换关系概率和直接从国家奖励吗到下一个状态通过采取行动 ,和 是折扣的因素。在州 ,代理的行为是由控制政策 。
对于给定的MDP, RL的目标是学习最优政策累计预期收益最大化 ,也就是说, 在哪里通常是定义以折扣的形式返回(1] 在哪里是初始状态,而不是直接使用上面的方程,计算了自 在RL是未知的,和只能通过代理与环境的交互。
为了解决这个问题,通常RL度假村估计动作值 测量的性能当初始状态和行动和 。在本文中,我们假设是连续的,是离散的。这种MDP的问题,为了克服维数的诅咒, 通常是近似线性函数近似者或深层神经网络。
2.2。DQN算法
DQN深陷RL可能是最重要的算法。它结合了q学习算法与深层神经网络和使用经验继电器打破样本和训练网络参数之间的相关性。
DQN算法可以概括如下。在当前步骤 ,代理首先使用 - - - - - -贪婪的政策选择行动作为 在哪里是探索因子,是政策网络参数, 这个网络来近似。然后,在 ,代理移动到下一个状态 ,获得奖励 ,和商店 到经验重播缓冲区 ,在哪里 表示,终端状态。接下来,使用minibatch 从采样随机算法计算损失的政策网络 在哪里 , ,和 目标的价值吗 ,这是估计的目标网络 在哪里 , , , 表示阿达玛的产品,是目标政策网络的网络参数复制一些固定的步骤或事件。最后,通过使用一些梯度下降优化方法,该算法更新来 。例如,通过使用SGD方法(28),被更新为 在哪里学习速率和吗表示 。
2.3。LS-DQN算法
LS-DQN是一种混合的方法,结合了传统LSPI或FQI算法DQN算法。由享受LSPI或FQI的稳定和效率,它比DQN可以获得更好的性能。
LS-DQN算法可以简要总结如下。当代理运行DQN一些步骤,它使用LSPI或FQI再培训的最后一层政策网络。培训包括以下三个步骤。首先,通过重新计算所有样本的经验重放缓冲与当前网络参数,政策网络生成一个新的数据集 。其次,通过使用当前的网络参数和数据集 ,该算法生成政府行动的特性。最后,算法使用LSPI再教育当前最后一层纸参数在政策网络 在哪里是列向量的 。除此之外,和定义如下: 在哪里 政府行动的政府行动的特性对吗 。像列文等人在他们的工作20.),该算法也可以进行再培训通过使用FQI,因为这是一批浅RL算法计算迭代近似Q-function使用的回归。为简便起见,我们不会讨论FQI算法。
3所示。该算法
在本节中,我们将介绍详细的推导和实际实现的算法,分别。我们的算法中,MRLS-Q算法,不仅可以使用单独也是最后一层DQN。
3.1。算法推导
MRLS-Q是一个新的q学习算法与线性函数近似,但它是更类似于DQN算法而不是传统的q学习算法。它使用经验回放和minibatch训练模式,将线性函数近似者变成一个政策接近者和目标接近者,并使用状态特性而不是政府行动的特性。此外,它使用平均RLS方法更新参数。
首先,我们介绍了代理与环境的交互。在当前步骤 ,代理还使用 - - - - - -贪婪的政策选择行动方程(3)。这里需要注意的是 近似的政策接近者 在哪里 特征向量的吗 , 是政策合拢器参数,表示指数在 ,和是列向量的 。然后,代理 ,移动到 ,获得 ,和商店 到经验重播缓冲区 。
第二,我们介绍的RLS更新政策接近者参数minibatch训练模式。让 表示minibatch取样在一步,让 表示的特征矩阵 。定义了最小二乘损失函数 在哪里 遗忘因子和吗 近似的政策接近者 和 是估计的目标接近者 在哪里是政策的目标接近者参数复制接近者每一些固定的步骤或事件。然后,参数学习的问题可以转化为政策接近者
通过用链式法则,我们可以得到的 在哪里表示 ,和一个元素 被定义为 和一个元素 被定义为
让 。然后,我们可以得到 在哪里
把上述两个方程写成下面的递归形式:
此外,把上面的两个方程写成向量形式如下: 在哪里 是行向量的 。不幸的是,我们不能直接使用Sherman-Morrison公式(29日)来计算 ,上学期以来的右边方程(21)是一个向量乘积之和。
接下来,我们目前的平均近似方法来处理上述问题。考虑到所有训练样本都来自同一环境,因此他们的功能有一些相似性,我们重写方程(21)和(22)如下: 在哪里是近似因子,和被定义为
让 。通过使用Sherman-Morrison公式(23),我们可以得到 在哪里
将方程(24)和(27)(17),我们最后得到的 在哪里 在哪里 表示行向量的 。
3.2。实际的实现
节中提到的2.2,DQN通常使用梯度下降方法更新网络参数。MRLS-Q容易被集成到DQN,我们下一个重写方程(30.)的“梯度下降法”的形式 。
如果MRLS-Q的损失函数被定义为方程(4方程),利用链式法则(4),我们可以得到
回忆我们曾经的事实和在方程(23)和(24)来代替 和 在方程(19)和(20.),分别,这意味着
此外,从方程(31日),我们可以获得
使用方程(9)的收益率
然后,方程(35)可以写成
进一步,从方程(25),上述方程可以写成
因此,我们可以把方程(30.),
这表明 学习的速度吗在MRLS-Q。
然而,尽管RLS具有收敛速度快,它经常遭受过度拟合。近年来,在这个问题上已经有广泛的研究。基于Ekşioğlu的工作(30.),我们添加一个正则化项到上面的方程,即 在哪里正则化因子和吗是符号函数。
基于上面的推导,MRLS-Q总结了算法的伪代码1,MRLS-Q总结在图的流程图1。在实际实现中,在这里可以计算的自动分化包PyTorch或直接TensorFlow。除了单独使用,也可以用作MRLS-Q DQN的最后一层,因为它使用相同的损失函数和经验DQN重播。然而,仍有一个障碍MRLS-Q和DQN的结合。随着训练的推移,DQN网络的参数是不断变化的,和相同的输出输入正在改变。因此,我们不能使用DQN的最后一层的输入直接MRLS-Q的特点。为了缓解这种变化和MRLS-Q融入DQN,我们提出一个新的方法来定义MRLS-Q的功能函数 在哪里 是输出矩阵DQN倒数第二的层和是一个小hyperparameter防止分母为零。
|
4所示。实验
在本节中,我们使用两套实验演示MRLS-Q的有效性。我们的实验分为两个部分。节4.1,我们测试MRLS-Q CartPole问题作为一个独立的算法。节4.2,我们在四个测试MRLS-Q雅达利游戏DQN的最后一层。
4.1。CartPole问题
在这组实验中,我们首先验证的性能MRLS-Q CartPole-v0问题,从OpenAI健身房。出于比较目的,我们建立一个名为Adam-Q的新算法,通过替换 在方程(42)与亚当优化器,因为传统的q学习算法与线性函数近似很难收敛在100集。然后,我们验证的影响hyperparameters MRLS-Q,实验。
之间的性能比较MRLS-Q Adam-Q,总结了如下的实验设置。(1)两种算法使用400径向基函数(rbf)行为价值近似。这些rbf产生随机抽样CartPole的状态空间,通过使用八scikit-learn RBFSamplers [31日与内核参数{0.5,1.0,1.5,2.0,2.5,3.0,3.5,4.0}。(2)探索率被初始化为0.95和0.01逐渐下降到1000步。(3)贴现因子是0.99。(4)经验重播缓冲区的容量是 ,minibatch大小是32。学习开始时数量到达minibatch大小。(5)政策合拢器参数和目标合拢器参数随机初始化。(6)更新的每一个步骤。注意,两种算法的性能将变得更糟,如果我们增加更新步骤,自CartPole问题非常简单,两种算法收敛快。(7)马克斯规范剪1的吗规范。(8)的两个算法运行的5倍和100集。在每一集,每个算法运行200步。(9)此外,在Adam-Q,学习速率, ,和亚当的0.001、0.9和0.999;在MRLS-Q,初始化 ,遗忘因子 ,正则化因子 ,和近似因子是 ,1, ,和 ,分别。这个实验的平均结果如图2(一个)。可以看出,我们比Adam-Q MRLS-Q具有更好的收敛性。
(一)
(b)
(c)
(d)
调查hyperparameter影响MRLS-Q,我们测试 , ,和 ,分别。这些实验的其他设置是一样的我们在MRLS-Q在前面的实验。这些实验的平均结果给出数据2 (b)- - - - - -2 (d)。从图2 (b),它显示的能力MRLS-Q的性能有很大的影响。更大的能力将导致更好的性能,因为大有助于消除之间的相关性观察过渡。从图2 (c)可以看出,MRLS-Q健壮的初始化 ,而太大将使MRLS-Q变得不稳定,太小了将使MRLS-Q收敛缓慢。从图2 (d),可以看出对MRLS-Q也有重要影响。从方程(29日),大将会使更新和更高的强度。如果状态特征值变化很大,应该设置为一个大值。
4.2。雅达利四个游戏
在这组实验中,我们证实MRLS-Q四的最后一层DQN雅达利游戏:Pong-v0, Breakout-v0, SpaceInvaders-v0,和RiverRaid-v0 OpenAI健身房。这里我们选择亚当的传统DQN算法优化器进行比较。Adam-DQN和第二至第五层Hybrid-DQN,学习速率, ,和亚当的0.0000625、0.9和0.999;在最后一层Hybrid-DQN,初始化 ,遗忘因子 ,正则化因子 ,近似的因素 ,和是 ,1, , ,和 ,分别。注意,这里我们使用一个大的更新为适应特性变化。
平均评价结果呈现在图3。这表明Hybrid-DQN可以加快收敛的测试游戏。图3(一个)更清晰的展示这一优势,因为乒乓球比其他三场比赛游戏要简单得多。此外,数据3(一个),3 (c),3 (d)表明Hybrid-DQN可以提高乒乓球的融合质量,SpaceInvaders RiverRaid,图3 (b)表明Hybrid-DQN可以改善学习突破的稳定。总之,通过整合我们MRLS-Q Hybrid-DQN可以提高稳定性和性能。与LS-DQN算法相比,MRLS-Q可以直接用作DQN的最后一层,因此Hybrid-DQN更容易使用。
(一)
(b)
(c)
(d)
5。结论
如何提高DQN算法的收敛性和稳定性是深RL的关键问题之一。在本文中,我们提出MRLS-Q,线性RLS函数近似算法与DQN相似的学习机制。MRLS-Q可以使用不仅孤独而且DQN的最后一层。类似于LS-DQN, Hybrid-DQN MRLS-Q可以享受丰富的表示从深RL网络以及RLS方法的稳定性和数据的效率,但它可以无缝集成MRLS-Q,从而更容易使用。在MRLS-Q,我们使用的经验重复训练样本之间的相关性,目前平均RLS优化方法提高收敛性能和降低计算复杂度,采用一个正则化技术来防止过度拟合,并提出一个新的方法来定义减轻特性变化的特征函数相同的状态和集成MRLS-Q DQN。实验结果CartPole问题证明比Adam-Q MRLS-Q具有更好的收敛性,揭示MRLS-Q hyperparameter影响。此外,实验结果在四个雅达利游戏证明DQN可以通过结合MRLS-Q提高收敛性和稳定性。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称他们没有利益冲突或人际关系可能出现影响工作报告。
确认
这项研究得到了国家自然科学基金(批准号61762032和61762032)。