IJP 国际期刊的Photoenergy 1687 - 529 x 1110 - 662 x Hindawi出版公司 10.1155 / 2015/496401 496401年 研究文章 一个基于强化学习光伏阵列的最大功率点跟踪方法 许 罗伊Chaoming 1 刘 Cheng-Ting 2 陈 文言文 2 谢长廷 Hung-I 1 王 Hao-Li 2 卡瓦尔康蒂 马塞洛•C。 1 电气工程系 国立嘉义大学 嘉义城60004 台湾 ncyu.edu.tw 2 计算机科学与信息工程系 国立嘉义大学 嘉义城60004 台湾 ncyu.edu.tw 2015年 16 6 2015年 2015年 28 11 2014年 20. 03 2015年 16 6 2015年 2015年 版权©2015年罗伊Chaoming Hsu et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

一个基于强化学习的最大功率点跟踪(RLMPPT)方法提出了光伏(PV)数组。利用光伏阵列的系统开发模型和配置环境的强化学习,提出RLMPPT方法能够观察到的环境状态光伏阵列在自主学习的过程,调整运行电压的扰动光伏阵列在获得最好的边际产量。模拟提出了一个光伏阵列进行RLMPPT。实验结果证明,翻译现有的MPPT方法相比,RLMPPT不仅达到更好的效率因素对天气模拟数据和真实数据,也适应环境快,学习时间很短。

 1。介绍

美国能源信息管理局(EIA)估计的主要能源包括石油、煤和天然气,总计超过85%份额的化石燃料在现代世界一次能源消费。然而,近年来的开发和消费,化石燃料枯竭的期望,给现代社会带来的能源危机。此外,环境保护意识和可持续发展在燃烧化石燃料和其产品作为主要的能量来源也出现。许多环境科学家和环保主义者提倡节约能源和二氧化碳(有限公司2)减少地球生物和人类的福祉。因此,许多能源替代品,如能源来自地热、太阳能、潮汐、风、和浪费,建议。其中,太阳能是最常用和有前途的替代能源市场份额快速增长的能源在世界能源行业由于以下优点。

阳光和热量的一代太阳能是无穷无尽的。

阳光很容易访问的辐照度覆盖大部分的土地。

没有噪音和污染的产生太阳能。

太阳能被认为是安全的能源不燃烧材料。

由于上述优点,世界上许多国家开始建立能源政策和发展太阳能70年代以来的相关行业。

生成通常是利用太阳能光伏电气设备,称为太阳能电池或光伏电池,把阳光的能量转化为电能。太阳能电池可以集成形成模块或面板,和大型光伏阵列也可能形成的面板。光伏(PV)阵列系统的性能取决于太阳能电池和阵列设计质量和操作条件。输出电压、电流和功率的光伏阵列不同功能的太阳能辐射水平,温度,负载电流。因此,在光伏阵列的设计,光伏阵列输出到负载/实用程序不应受温度的变化和太阳辐照负面影响的水平。另一方面,提高光伏阵列的转换效率是一个值得探索的问题。一般来说,有三种方法可以提高光电转换的效率: ( 1 ) 提高光电二极管组件的光电转换效率, ( 2 ) 增加直射光的频率,和 ( 3 ) 翻译提高最大功率点跟踪(MPPT)光伏阵列。第一个和第二个方法是提高硬件设备,然而,第三个是提高转换效率利用内部软件嵌入到光伏阵列系统,吸引了很多关注。因此,提出了翻译许多MPPT方法( 1),如扰动和观察法( 2- - - - - - 4),开路电压法( 5),群体智能方法( 6),等等。

摘要翻译基于强化学习MPPT翻译(RLMPPT)方法,提出了解决MPPT光伏阵列的问题。RLMPPT,观察光伏阵列的环境条件后,学习代理RLMPPT决定了微扰的光伏阵列的工作电压,即行动,收到奖励奖励函数。通过接受奖励,鼓励RLMPPT选择(状态、动作)对积极的回报。因此,一系列的行动与迭代生成收到积极的奖励,这样一双(状态、动作)选择策略逐渐实现了所谓的“学习”的过程。一旦代理RLMPPT学习策略,它能够自动调整运行电压的扰动光伏阵列获得翻译的最大功率跟踪MPPT的光伏阵列。研究总结了本研究的贡献如下:

光伏阵列的翻译提出RLMPPT解决MPPT问题与强化学习方法,这是小说,我们最好的知识,翻译领域的MPPT的光伏系统。

奖励函数由早期的MPP光伏阵列的知识,经历了从过去的天气数据,采用在学习过程中没有预先确定的参数要求翻译某些MPPT方法。

综合实验结果表现出的优点RLMPPT自学习和自适应各种天气条件跟踪光伏阵列的最大功率点。

剩下的纸是组织如下。节 2翻译的概念,我们现在MPPT光伏系统。部分 3介绍了提出RLMPPT光伏阵列。实验部分中描述的配置 4。节 5,结果用图和表进行了说明。最后,部分 6总结了纸。

 2。翻译的概念MPPT光伏系统 2.1。审查操作特征的太阳能电池

太阳能电池通常是由半导体器件产生直流电源时暴露于阳光充足的能量。细胞被太阳光子时,入射光子可以打破债券的极化子(价带,以更低的能级)电子,所以价电子可以注入光子从基态到激发态(传导带,在更高的能量级别)。因此,自由移动的电子驱动外部负载,通过电线来产生电能,然后返回到基态能级较低。基本上,一个理想的太阳能电池可以建模与一个二极管的电流源;然而,在实践中,一个真正的太阳能电池是更复杂的,包含一个并联和串联电阻 R 上海 和 R 年代 。图 1(一)显示了一个太阳能电池的等效电路模型,包括寄生并联和系列元素,在一个典型的实用太阳能电池与忽视的特征 R 上海 可以被描述为( 7- - - - - - 10] (1) 我 光伏 = 我 ph值 - - - - - - 我 pvo 经验值 ⁡ 问 一个 k T V 光伏 + 我 光伏 R 年代 - - - - - - 1 , (2) V 光伏 = 问 一个 k T ln ⁡ 我 ph值 - - - - - - 我 光伏 + 我 pvo 我 pvo - - - - - - 我 光伏 R 年代 , 在哪里 我 ph值 是产生电流, 我 pvo 是黑色的饱和电流, 我 光伏 是光伏电流, V 光伏 是光伏电压, R 年代 串联电阻, 一个 是nonideality因素, k 玻耳兹曼常量, T 是温度, 问 是电子电荷。光伏电池的输出功率可以由 (3) P 光伏 = V 光伏 我 光伏 = 我 光伏 问 一个 k T ln ⁡ 我 ph值 - - - - - - 我 光伏 + 我 pvo 我 pvo - - - - - - 我 光伏 R 年代 。 上述方程可以应用于模拟光伏阵列的特征方程的参数提供给用户。图 1 (b)说明了电流电压( 我 - - - - - - V )开路电压的特征( V oc ),短路电流( 我 sc ),动力操作的一个典型的硅太阳能电池。

(一)太阳能电池的等效电路模型。(b)太阳能电池 我 - - - - - - V 和权力运行曲线的特点 V oc 和 我 sc 。

在图中,可以看出寄生元件 R 上海 对当前没有影响吗 我 sc ,但它降低了电压 V oc ;反过来,寄生的元素 R 年代 对电压没有影响吗 V oc ,但它降低了电流 我 sc 。根据( 1)- ( 3),一个更精确的表征太阳能电池在不同辐照度,即电流-电压( 我 光伏 - - - - - - V 光伏 )和power-to-voltage ( P 光伏 - - - - - - V 光伏 )曲线,可以以同样的方式描述不同层次如图 2。最大功率点(MPP)以这种方式发生在权力的导数 P 光伏 对电压 V 光伏 是零, (4) d P 光伏 d V 光伏 = 0 。 由此产生的 我 - - - - - - V 和 P - - - - - - V 曲线呈现这样图所示 2。

的 我 光伏 - - - - - - V 光伏 和 P 光伏 - - - - - - V 光伏 特点不同的辐照度水平。最大功率点(MPP)导数时发生 dP/ dV是零。

 2.2。翻译的MPPT方法

著名的扰动和观察(P&O) PV MPP跟踪方法 2- - - - - - 4)已广泛应用于实际应用,因为思想和实现很简单。然而,据 11, 12],P&O方法不能够跟踪峰值功率条件下不同时期日晒。基本上,P&O方法是一种机制将操作指向最大功率点(MPP)增加或减少光伏阵列电压跟踪期。然而,P&O控制总是偏离MPP跟踪期间,其行为导致振荡在MPP常数或缓变大气条件。虽然可以改善这一问题进一步降低摄动一步,跟踪反应会慢。在快速变化的大气条件下光伏阵列,P&O方法有时可能会使跟踪点远离MPP [ 13, 14]。

 2.3。MPP估计通过使用< inline-formula > < mml:数学xmlns: mml = " http://www.w3.org/1998/Math/MathML " id = " M47 " > < mml: mrow > < mml: msub > < mml: mrow > < mml: mi > V < / mml: mi > < / mml: mrow > < mml: mrow > < mml:多行文字> oc < / mml:多行文字> < / mml: mrow > < / mml: msub > < / mml: mrow > < / mml:数学> < / inline-formula >和< inline-formula > < mml:数学xmlns: mml = " http://www.w3.org/1998/Math/MathML " id = " M48 " > < mml: mrow > < mml: msub > < mml: mrow > < mml: mi >我< / mml: mi > < / mml: mrow > < mml: mrow > < mml:多行文字> sc < / mml:多行文字> < / mml: mrow > < / mml: msub > < / mml: mrow > < / mml:数学> < / inline-formula >

开路电压 V oc 和短路电流 我 sc 分别的光伏面板可以测量,当光伏面板的终端或短开放。在现实中,这两个 V oc 和 我 sc 严重依赖于太阳日晒。然而,最大功率点(MPP)总是位于转出部分的周围 我 - - - - - - V 特性曲线在任何日晒。有趣的是,在MPP出现某些MPP集之间的关系( 我 mpp , V mpp )和一组( 我 sc , V oc ),这是值得研究的。进一步,提到关系实证估计似乎总是持有和不受日晒变异。它可以推测,从光伏阵列的一般知识,,在开路模式中,的关系 V mpp 和 V oc 将 (5) V mpp = k 1 V oc , ,在短路模式的关系 我 mpp 和 我 sc 将 (6) 我 mpp = k 2 我 sc , 在哪里 k 1 和 k 2 不变的因素是在0和1之间。从( 5)和( 6在MPP),我们有最大功率;也就是说, (7) P mpp = V mpp 我 mpp = k 1 k 2 V oc 我 sc 。 即使是 P mpp 学习点估计;它应该是由满足MPP标准( 4)。对于学习来说,实证结果表明,最初的因素 k 1 为 V mpp 大约是0.8的吗 k 2 为 我 mpp 大约是0.9。

 3所示。拟议中的RLMPPT光伏阵列 3.1。强化学习(RL)

RL ( 15- - - - - - 17)是一种启发式的学习方法,已广泛应用于许多领域的应用。强化学习,学会学习代理实现预定义的目标主要是通过不断地与环境相互作用并探索适当的行动在代理东南方。强化学习的一般模型图所示 3,其中包括代理、环境、状态,行动,和奖励。

强化学习的模型。

马尔可夫决策过程的强化学习建模(MDP), RL学习者,称为代理人,持续和自主与MDP交互环境通过行使其预定义的行为。MDP环境由一组预定义的州,一组控制行动,和一个状态转换模型。在一般情况下,一阶MDP RL被认为,下一个状态是只影响当前状态和行动。的情况下,所有的参数是已知的状态转换模型,最优决策可以通过使用动态编程。然而,在一些没有现实世界的情况下,模型参数和未知的用户;因此,代理的RL探索的环境,从环境中获得奖励try-and-error交互。代理然后维护奖励的运行平均值在一定政府行动。根据奖励价值,可以由一些exploration-exploitation决定下一步行动策略,如 ε 贪婪或softmax [ 15, 16]。

问则是一个有用的和紧凑的强化学习方法处理和维护运行的平均回报( 17]。假设一个动作 一个 由代理应用于环境和国家去吗 年代 ′ 从 年代 并获得奖励 r ′ ;的 问然后由则更新规则 (8) 问 年代 , 一个 ⟵ 问 年代 , 一个 + η Δ 问 年代 ′ , 一个 , 在哪里 η 是更新权重值的学习速率,以确保学习的收敛, 问 ( · ) 奖励功能,delta-term, Δ 问 ( · ) ,是由 (9) Δ 问 年代 , 一个 = r ′ + γ 问 ∗ 年代 ′ - - - - - - 问 年代 , 一个 , 在哪里 r 是最直接的奖励; γ 贴现率调整当前最优值的重量, 问 ∗ ( · ) ,其值是计算 (10) 问 ∗ 年代 ′ = 马克斯 ⁡ ∀ b ∈ 一个 ⁡ 问 年代 ′ , b 。 在( 10), 一个 是所有候选人的行为的集合。的学习参数 η 和 γ ,( 7)和( 8),分别,通常设置的值范围在0和1之间。一旦RL代理成功到达新的状态 年代 ′ ,它将得到一个奖励 r ′ 和更新 问价值;然后, 年代 ′ 被替换的下一个状态, 年代 ← 年代 ′ 然后,即将到来的行动决定根据预定义的exploration-exploitation策略,如 ε 本研究的贪婪。和最新的 问国家应用于环境的价值从一种状态到另一个。

 3.2。状态、动作和奖励RLMPPT的定义

RLMPPT,代理接收到可观察到的环境信号的( V 光伏 ( 我 ) , P 光伏 ( 我 ) ),它将从之前的信号减去在获得(Δ V 光伏 ( 我 ) , Δ P 光伏 ( 我 ) )对。 Δ V 光伏 ( 我 ) 和 Δ P 光伏 ( 我 ) 每个需要积极或消极的迹象来构成 状态向量, 年代 ,四个州。然后代理自适应地决定并执行所需的扰动 Δ v ( 我 ) ,特征 行动到 V 光伏 。执行选定的操作之后,奖励的信号, r ( 我 ) 、计算和授予代理;和,因此,代理然后评估政府行动的交互的性能。通过接受奖励,鼓励代理选择最好的行动回报。这将导致一系列的行为最好的奖励是迭代生成翻译这样MPPT跟踪与学习阶段后逐渐实现更好的性能。状态,行动,和奖励的RLMPPT光伏阵列在下列顺序定义。

(我)。在RLMPPT,状态向量表示为 (11) 年代 = ( 年代 0 , 年代 1 , 年代 2 , 年代 3 ] ⊆ 年代 , 在哪里 年代 是所有可能的空间环境状态向量元素从可观察到的环境变量,Δ吗 V 光伏 ( 我 ) 和Δ P 光伏 ( 我 ) ,在那里 年代 0 , 年代 1 , 年代 2 , 年代 3 分别代表在任何感应时间槽的状态会从左边向MPP,状态会从右边向MPP,离开的状态从左侧MPP,和国家MPP的离开。的四个州RLMPPT可以如图 4,在那里 年代 0 表明Δ V 光伏 ( 我 ) 和Δ P 光伏 ( 我 ) 有积极的迹象, 年代 1 表明Δ V 光伏 ( 我 ) 是负和Δ P 光伏 ( 我 ) 是积极的信号, 年代 2 表明Δ V 光伏 ( 我 ) 是积极和Δ P 光伏 ( 我 ) 是负号,最后 年代 3 表明Δ V 光伏 ( 我 ) 和Δ P 光伏 ( 我 ) 都是负号。

RLMPPT的四个州。

(2)行动。RLMPPT代理的作用被定义为所需的微扰Δ的可控变量 v ( 我 ) 到 V 光伏 ( 我 ) 代理人的行动的状态, 一个 每 ,是用 (12) 一个 每 ∈ 一个 = { d 0 , d 1 , … , d N } , 在哪里 一个 是一组代理所有的可控扰动Δ吗 v ( 我 ) 添加到 V 光伏 ( 我 ) 从光伏阵列在获得权力。

(3)奖励。在RLMPPT,奖励是整合完成的目标获得MPP的光伏阵列。直观地说,最简单但有效的奖励可以是一个来源 无计划的类型的函数,也就是说,一旦观察到的信号对( V 光伏 ( 我 ) , P 光伏 ( 我 ) )点击最甜蜜的 现货,也就是说,真正的MPP ( V mpp ( 我 ) , P mpp ( 我 ) ),一个积极的奖励了RL剂;否则,零奖励RL代理。的 无计划的类型的奖励可以直观地定义为函数 (13) r 我 + 1 = δ ( ( V 光伏 ( 我 ) , P 光伏 ( 我 ) ) , h _ z ( 我 ) ) , 在哪里 δ ( · ) 代表了 克罗内克符号功能, h _ z ( 我 ) 击球点定义的 我 th 感应时间槽。在定义( 13),一个负奖励明确表示惩罚代理的失败;打错位置,可以取得更好的学习成果与零奖励相比在MPP的跟踪光伏阵列。在现实中,可观察到的信号的可能性对( V 光伏 ( 我 ) , P 光伏 ( 我 ) 代理人的行动),含铅的扰动Δ v ( 我 ) 到 V 光伏 ( 我 ) ,完全达到最甜蜜的地方在任何传感时间段MPP很低 我 。除此之外,它还非常困难对环境的判断来定义每个传感时间段触及的地方。因此,击球点 h _ z ( 我 ) 在( 13)可以放松要求 打带是定义在前面的环境知识在日的基础上,积极/消极如果给予奖励( V 光伏 ( 我 ) , P 光伏 ( 我 ) )属于/预定义的击球区域外任何时间槽。因此,奖励函数可以作为制定 (14) r 我 + 1 = c 1 , V 光伏 我 , P 光伏 我 ∈ 打 区 - - - - - - c 2 , 否则 , 在哪里 c 1 和 c 2 是积极的价值观,表示权重因素最大化之间的区别奖励和惩罚更好的学习效果。在这项研究中, ε 贪婪算法在选择RLMPPT代理的行为,以避免反复选择相同的行动。本研究提出的流程图RLMPPT图所示 5。

提出的流程图RLMPPT光伏阵列。

 4所示。配置的实验

翻译实验的MPPT的光伏阵列利用RLMPPT是由仿真计算机和翻译结果与现有的MPPT光伏阵列的方法。

4.1。环境模拟和光伏阵列的配置

在这项研究中,使用的光伏阵列模拟sy - 175 m,唐山Shaiyang太阳能科技有限公司生产的中国有限公司。模拟光伏阵列的额定功率为175 W 44 V开路电压和短路电流5.2 A。翻译验证RLMPPT有效性的MPPT通过三个实验进行了使用两个模拟和一个真正的天气数据集。是第一次做基础实验来确定RLMPPT是否能达到翻译的任务MPPT通过使用一组高斯分布函数生成的温度和辐照度。和太阳掩星的影响通过添加云组高斯分布函数生成的温度和辐照度作为第二个实验。光伏阵列的实际天气数据,记录在4月,2014年,Loyola Marymount大学,加利福尼亚,美国,获得国家再生能源实验室(NREL)数据库提供了一个实证数据集测试RLMPPT实际天气条件下。配置在下面描述的实验。

假设光伏阵列位于亚热带地区(台湾嘉义城,在南方)在10点和下午两点在夏季温度和辐照度,分别模拟使用高斯分布函数的平均值30°C和800 W / m2和标准偏差4°C和50 W / m2。根据( 1),模拟的温度和辐照度产生MPP电压( V mpp )和MPP计算( P mpp ),如图 6(一),那里的 V mpp 和 P mpp 分别躺在 x 设在和 y 设在。数据 6 (b)和 6 (c)分别显示了( V mpp , P mpp )块高斯函数生成的温度和辐照度与太阳掩蔽效应和真正的天气数据记录在4月1日,2014年,Loyola Marymount大学。

MPP分布模拟环境下:(a)高斯分布函数生成的环境数据,(b)组(a)加上太阳掩星的云,和(c) MPP分布获得使用真实的天气数据。

 4.2。奖励函数和状态,行动安排

应用RLMPPT解决翻译问题的MPPT光伏阵列,奖励功能起着重要的作用,因为不仅很好的奖励函数定义可以实现正确的反馈学习和跟踪的每个执行,而且还可以提高学习算法的效率。在这项研究中,一个撞击区 椭圆的形状( V mpp , P mpp )定义这样一个积极的奖励值是给代理的时候获得( V mpp , P mpp )分为击球区域感应时间槽。图 7显示了不同大小的椭圆击球区域叠加在模拟的情节( V mpp , P mpp )的图 6(一)。红色椭圆圈图 7(一), 7 (b), 7 (c)分别代表了击球区域覆盖,37.2%,68.5%,总数的85.5% ( V mpp , P mpp )点,从模拟数据获得的。

不同大小的椭圆击球区域叠加在模拟的情节( V mpp , P mpp )第一组模拟环境数据:(a) 37.2%的差,(b) 68.5%的差,和(c)边际产量的85.5%。

在实现RLMPPT,状态向量的定义是 年代 = ( 年代 0 , 年代 1 , 年代 2 , 年代 3 ] ⊆ 年代 每个州的意义,而在前一节中解释,如图 5。六扰动Δ v ( 我 ) 到 V 光伏 ( 我 ) 被定义为一组的行动如下: (15) 一个 = 一个 我 ∣ 一个 0 = - - - - - - 5 V , 一个 1 = - - - - - - 2 V , 一个 2 = - - - - - - 0.5 V , 一个 3 = + 0.5 V , 一个 4 = + 2 V , 一个 5 = + 5 V 。

的 ε 贪婪是用于选择代理在RLMPPT这样的行动代理重复选择相同的操作是预防。的奖励政策打击区奖励函数是给一个奖励值为10 0,分别获得的代理只要它( V mpp , P mpp )在任何传感时间段下降和打带掉出来。

 5。实验结果 5.1。高斯分布函数生成的环境数据的结果

在这项研究中,实验的RLMPPT测试生成高斯和真实环境数据进行比较,结果与P&O法和开路电压法。

高斯分布函数生成的环境模拟,每个RL代理选择行动的百分比在早期阶段(0 ~ 25分钟),中间阶段(100 ~ 125分钟),和最后阶段(215 ~ 240分钟)RLMPPT显示的第二,第三,第四行,分别表 1在两个小时的时间。可以看出,在早期阶段的模拟,RL代理在快速学习阶段的行动选择的代理是集中在±5 V和±2 V的行动。然而,在中间和最后阶段的模拟,完成学习和代理利用已经学到了什么;因此,选择微调动作的百分比,即±0.5 V,从早期阶段的20%增加到40%和76%,分别为中间和最后阶段。它可以得出的结论是,学习代理快速学习策略对翻译的MPPT选择适当的行动,因此跟踪MPP的目标是通过RL代理来实现。

选择行动的百分比在不同的阶段。

时间间隔(分钟) 行动(V)
+ 5 + 2 + 0.5 −0.5 −2 −5
早期的0 ~ 25 16% 20% 8% 12% 24% 20%
中间100 ~ 125 4% 28% 24% 16% 20% 8%
最后215 ~ 240 4% 8% 36% 40% 8% 4%

实验结果之间的偏移量的计算和跟踪MPP RLMPPT和比较方法在感应时间如图 8。数据 8(一个), 8 (b), 8 (c)分别显示之间的偏移量计算MPP和跟踪MPP P&O方法,开路电压法和RLMPPT传感的方法。实验结果中可以看到,一个比较的三个方法,开路电压法获得最大的补偿,即集中大约15 W。即使补偿P&O方法获得的下降很大程度上低于10 W,然而,大部分抵消P&O获得的方法也随机分散1 - 10 W。另一方面,该RLMPPT方法达到至少和凝结补偿低于5 W,只有一小部分超出5 W甚至在早期学习阶段。

最大功率点减去预测电流功率点对应于相同的感应时间:(a) P&O方法,(b)开路电压法和(c) RLMPPT方法。

 5.2。高斯分布函数生成的结果与太阳掩星的云环境数据

在这个实验中,模拟数据是通过添加30%的机会获得太阳被云掩星测试数据在第一个实验中,温度将下降0到3°C和辐照度会降低0到300 W / m2。实验进行演示的能力RLMPPT跟踪光伏阵列在不同天气条件下的边际产量。图 9显示了模拟数据与击球区域定义添加太阳云掩星的高斯分布函数生成的环境数据。红色的椭圆形状图 9涵盖了总数的90.2% ( V mpp , P mpp )点,从模拟数据获得的。表 2显示选择行动的百分比,即扰动Δ v ( 我 ) 到 V 光伏 ( 我 ) RLMPPT。每个RL代理选择行动的百分比在早期阶段,中间阶段,也是最后一个阶段的RLMPPT方法显示在第二,第三,第四行,分别表 2。

选择行动的百分比在不同的阶段。

时间间隔(分钟) 行动(V)
+ 5 + 2 + 0.5 −0.5 −2 −5
早期的0 ~ 25 28% 8% 12% 8% 12% 32%
中间100 ~ 125 8% 16% 24% 20% 20% 12%
最后215 ~ 240 4% 12% 40% 32% 8% 4%

击球区域的定义为第二组实验数据。

从表可以看出 2选择微调行动的百分比,即扰动Δ v ( 我 ) ±0.5 V,从20%增加到44%,最后72%,分别为早期阶段,中间阶段,通过RL和MPP的最后阶段跟踪代理。这个表再次说明,学习代理快速学习策略对翻译的MPPT选择适当的行动,因此跟踪光伏阵列的MPP的目标是通过RL代理。然而,由于不同天气条件下对云,太阳掩星的比例选择微调动作稍微有点变化相比,获得的结果在表 1由高斯分布函数生成的模拟数据没有阳光掩蔽效应。

实验结果之间的偏移量计算和跟踪MPP的比较方法P&O,开路电压,RLMPPT同时传感数据所示 10 (), 10 (b), 10 (c),分别。实验数据图 11再次表现出三种比较方法中,开路电压法获得最大和分散补偿数据,集中在15 W。尽管P&O方法获得的补偿主要介于0和5 W,然而,大部分抵消P&O方法获得的散落在1到40 W 50分钟前的实验。另一方面,该RLMPPT方法达到最小的和浓缩的偏移量低于5 W,基本上接近3 W在最后200分钟后跟踪阶段。

最大功率点减去预测电流功率点对应于相同的感应时间:(a) P&O方法,(b)开路电压法和(c) RLMPPT方法。

(一)击球区域的定义实验使用真实的天气数据,(b)真正的温度数据记录在04/01/2014和用于生成测试数据,和(c)真正的辐照度数据记录在04/01/2014和用于生成测试数据。

 5.3。真正的环境数据的结果

光伏阵列的实际天气数据,记录在4月,2014年,Loyola Marymount大学,加利福尼亚,美国在线获得国家再生能源实验室(NREL)数据库用于测试RLMPPT方法在真实环境下的数据。选择数据库,因为地理位置的传感站也位于亚热带地区。一段时间的记录数据从10点到下午两点连续5天图所示 6 (c)和击球区域奖励功能从早期的数据显示在图 (11日)。红色的椭圆形状图 (11日)涵盖了总数的93.4% ( V mpp , P mpp )点,从以前连续5天的NREL获得真正的天气数据进行测试。数据 11 (b)和 11 (c)分别显示实际温度和辐照度数据记录在04/01/2014生成测试数据。

表 3显示了RLMPPT选择行动的百分比。每个RL代理选择行动的百分比在早期阶段(0 ~ 25分钟),中间阶段(100 ~ 125分钟),和最后阶段(215 ~ 240分钟)RLMPPT方法所示的第二,第三,第四行,分别表 3。

选择行动的百分比在不同阶段的实验与实际天气数据。

时间间隔(分钟) 行动(V)
+ 5 + 2 + 0.5 −0.5 −2 −5
早期的0 ~ 25 24% 16% 8% 12% 12% 28%
中间100 ~ 125 16% 16% 12% 24% 24% 8%
最后215 ~ 240 4% 16% 32% 32% 12% 4%

在表 3,你会发现选择的百分比微调操作,即扰动Δ v ( 我 ) 是 ± 0.5 V,从20%增加到36%,最后64%,分别为早期阶段,中间阶段,通过RL和MPP的最后阶段跟踪代理。即使选择微调动作的百分比在这个真实数据实验最小值在三个实验中,展品,RLMPPT学会运动扰动Δ的适当行动 v ( 我 ) 在跟踪光伏阵列的MPP真正的天气数据。这个表再次说明,学习代理快速学习策略选择合适的行动对MPP,因此跟踪光伏阵列的MPP的目标是通过RL代理。

实验结果翻译翻译之间的偏移量MPPT和预测MPPT的比较方法生成的模拟数据的读出时间真正的天气数据如图 12。数据 12(一个), 12 (b), 12 (c)分别显示翻译之间的偏移量计算MPPT和翻译跟踪MPPT P&O方法,开路电压法和RLMPPT方法。实验数据图 12再次表明,在三种比较方法,开路电压法获得最大和分散补偿数据,其分布主要集中在一个带盖的两个高斯分布函数的最大偏移值19.7 W。P&O方法获得的补偿主要落在5和2.5 W;然而,大部分抵消了P&O方法大幅降低了从1到40 W 70分钟的实验。观察图 12 (c),提出RLMPPT方法达到至少和凝结补偿1或2 W和附近没有补偿高于5 W的模拟5分钟后开始。

最大功率点减去预测电流功率点对应于相同的感应时间:(a) P&O方法,(b)开路电压法和(c) RLMPPT方法。

 5.4。性能与效率的因素

为了验证RLMPPT方法是否有效跟踪光伏阵列的MPP,效率的因素 η 是用来比较其他现有方法的性能三个实验。的 η 是定义如下: (16) η mppt = ∫ 0 t P 实际 ( t ) d t ∫ 0 t P 马克斯 ⁡ ( t ) d t , 在哪里 P 实际 ( t ) 和 P 马克斯 ⁡ ( t ) 分别代表了跟踪翻译MPP的MPPT方法和MPP计算。表 4显示了三个,测试数据集,开路电压法有至少三种比较方法中效率因素,和RLMPPT方法最好的效率因素略优于铁行港口(P&O)的方法。RLMPPT方法的优点在P&O方法如图 10和 12那里不仅RLMPPT方法显著提高了效率因素比较P&O,还学习代理RLMPPT快学会了翻译策略选择适当的行动向到达MPPT P&O方法要快得多的表现出一个缓慢的适应阶段。因此,RLMPPT不仅提高了效率因素跟踪光伏阵列的MPP,但也有快速学习能力在实现翻译的任务MPPT的光伏阵列。

比较三种比较方法的效率因素。

学习阶段(分钟) 方法
开路电压 P&O RLMPPT
早10点~ 10 86.9% 83.5% 89.2%
中间11:40 ~ 12:05 87.5% 97.8% 99.4%
最后35 ~ 14:00 87.8% 97.7% 99.3%
整体10点~下午两点 87.6% 95.4% 98.5%

6。结论

在这项研究中,一个基于强化学习的最大功率点跟踪(RLMPPT)方法提出了光伏阵列。RLMPPT方法监测环境的光伏阵列和调整运行电压的扰动光伏阵列的实现最好的边际产量。模拟光伏阵列的提议RLMPPT三种数据集,进行模拟高斯天气数据,模拟高斯天气数据加上太阳掩蔽效应,从NREL数据库和实际天气数据。实验结果表明,相比于现有的P&O方法,RLMPPT不仅达到更好的效率因素对模拟和实际天气数据集也适应环境快,学习时间很短。进一步强化翻译上优于MPPT方法将用于真正的光伏阵列来验证提出的翻译小说MPPT方法的有效性。

 利益冲突

作者宣称没有利益冲突有关的出版。

 Esram T。 查普曼 p . L。 比较光伏阵列最大功率点跟踪技术 IEEE能量转换 2007年 22 2 439年 449年 10.1109 / TEC.2006.874230 2 - s2.0 - 34249794869 赫姆 d . P。 Ropp m E。 最大功率点跟踪算法的比较研究 在光电研究进展和应用 2003年 11 1 47 62年 10.1002 / pip.459 2 - s2.0 - 0037238083 Femia N。 Petrone G。 Spagnuolo G。 维他 M。 优化的扰乱,观察最大功率点跟踪方法 IEEE电力电子 2005年 20. 4 963年 973年 2 - s2.0 - 22944480226 10.1109 / TPEL.2005.850975 Kumari j·S。 先生 d . c . S。 先生 答:K。 阿宝和翻译IPO MPPT设计与分析技术,光伏系统 现代工程研究的国际期刊 2012年 2 4 2174年 2180年 赫姆 d . P。 Ropp m E。 比较研究的最大功率点跟踪算法使用一个实验,可编程,最大功率点跟踪测试床 《IEEE 28日光伏专家会议的会议记录 2000年 1699年 1702年 陈 L.-R。 蔡 学术界。 林 杨绍明。关铭 赖 Y.-S。 一个生物群体追逐光伏最大功率点跟踪算法 IEEE能量转换 2010年 25 2 484年 493年 10.1109 / TEC.2009.2038067 2 - s2.0 - 77952953788 kotta t . L。 Boutalis y S。 Karlis 答:D。 新的光伏阵列最大功率点跟踪器使用模糊控制器与模糊认知网络密切合作 IEEE能量转换 2006年 21 3 793年 803年 10.1109 / tec.2006.875430 2 - s2.0 - 33947410775 Mutoh N。 Ohno M。 井上 T。 翻译方法MPPT控制而寻找参数为光伏发电系统对应的天气条件 IEEE工业电子产品 2006年 53 4 1055年 1065年 10.1109 / tie.2006.878328 2 - s2.0 - 33747616898 谢长廷 g . C。 谢长廷 h . I。 蔡 c . Y。 王 c . H。 翻译光伏power-increment-aided incremental-conductance MPPT时履行跟踪 IEEE电力电子 2013年 28 6 2895年 2911年 10.1109 / tpel.2012.2227279 2 - s2.0 - 84880143750 穆勒 r . L。 华莱士 m . T。 Iles P。 扩展名义太阳能电池阵列设计的阻抗 2 IEEE学报》1日世界会议上光伏能量转换 1994年12月 2034年 2037年 2 - s2.0 - 0028692432 Femia N。 Petrone G。 Spagnuolo G。 维他 M。 翻译P&O MPPT技术的优化采样率 3 IEEE第35届电力电子专家研讨会论文集(PESC ' 04) 2004年6月 1945年 1949年 2 - s2.0 - 8744230787 10.1109 / pesc.2004.1355415 Femia N。 Petrone G。 Spagnuolo G。 维他 M。 翻译技术改善P&O MPPT双级发电的光伏系统的性能 IEEE工业电子产品 2009年 56 11 4473年 4482年 10.1109 / tie.2009.2029589 2 - s2.0 - 70350424434 侯赛因 k . H。 问好 我。 星野 T。 Osakada M。 最大光伏功率跟踪:快速变化的大气状况的算法 IEE Proceedings-Generation、输电和配电 1995年 142年 1 59 64年 10.1049 / ip-gtd: 19951577 华 C。 林 J。 沈 C。 DSP-controlled光伏系统的实现与峰值功率跟踪 IEEE工业电子产品 1998年 45 1 99年 107年 10.1109/41.661310 2 - s2.0 - 0032000579 Kaelbling l . P。 利特曼 m . L。 摩尔 答:W。 强化学习:一项调查 人工智能研究杂志》上 1996年 4 237年 285年 2 - s2.0 - 0029679044 Barto a·G。 强化学习:介绍 1998年 麻省理工学院出版社 沃特金斯 c·J。 达扬 P。 q学习的 机器学习 1992年 8 3 - 4 279年 292年 10.1007 / bf00992698 2 - s2.0 - 34249833101