TY -的A2, Yugen盟——张Chunyuan盟歌,齐非盟-孟,曾PY - 2021 DA - 2021/10/08 TI - Minibatch递归最小二乘q学习的SP - 5370281六世- 2021 AB -深Q-network (DQN)是最成功的强化学习算法之一,但它也有一些缺点,如收敛速度慢和不稳定。相比之下,传统的强化学习算法与线性函数近似通常有更快的收敛性和更好的稳定性,尽管他们很容易遭受诅咒的维度。近年来,许多改进DQN,但他们很少使用传统算法的优势来提高DQN。在本文中,我们提出一个新颖的q学习算法与线性函数近似,称为minibatch递归最小二乘q学习(MRLS-Q)。有别于传统的q学习算法与线性函数近似,MRLS-Q的学习机制和模型结构更类似于DQNs只有一个输入层和一个线性输出层。它使用经验回放和minibatch训练模式和使用代理的状态而不是代理的政府行动对作为输入。因此,它可以单独使用低维问题,可以无缝地集成到DQN作为高维问题的最后一层。此外,MRLS-Q使用我们提出平均RLS优化技术,这样就能达到更好的收敛性能无论是单独使用还是与DQN集成。在本文的最后,我们证明的有效性MRLS-Q CartPole问题和四个雅达利游戏和调查hyperparameters实验的影响。SN - 1687 - 5265 UR - https://doi.org/10.1155/2021/5370281 - 10.1155 / 2021/5370281摩根富林明计算智力和神经科学PB - Hindawi KW - ER