文摘

数字天空图像研究了天空的定义条件符合CIE标准一般天空指南。同样,适当的图像处理方法进行了分析,突出关键图像信息,之前的应用人工神经网络分类算法。22图像处理方法进行了综述和应用广泛而公正的数据集1500天空图像记录在布尔戈斯的西班牙,在一个广泛的实验活动。数据集由每个CIE标准天空类型的一百张图片,之前从天空同时扫描数据分类。颜色空间、光谱特性和纹理图像处理方法应用过滤器。而使用传统的RGB颜色空间对图像处理取得了良好的效果(安精度等于86.6%),其他颜色空间,如色相饱和度值(HSV),这可能是更合适的,增加全球分类的准确性。使用绿色或蓝色天空单色通道改进分类,为十五CIE标准天空类型和简单分类清楚,部分,阴暗的条件。主要结论是,特定的图像处理方法可以提高ANN-algorithm精度,根据所需的图像信息分类问题。

1。介绍

天空条件是至关重要的因素在评估采光和太阳能输出水平。天空一般分类的基础上,云的存在分成三个类别:万里无云的,部分多云和阴天。全球的许多模型计算,直接和散射辐照和照明为不同的天空类型定义基于几个气候参数的值(1]。2003年,欧盟委员会国际歌de L 'Eclairage (CIE)采用组提出的15个标准天空分类难应付的et al ., 1998年,分类3天空类型下,清晰,部分,阴云密布,每个五年级2]。这些天空CIE标准分类的一般光谱均匀天空世界各地在ISO标准化15469:2004 (E) / CIE 011 / E: 20033)为目的的评估室内视觉舒适建筑(4),太阳辐照度的计算(5),和能源效率改进照明(6),在其他应用程序中。

天空CIE标准分类是基于亮度测量(7在天空漫射亮度的角分布。天空在CIE类别有大约相同的定义良好的天空亮度和太阳能辐射模式。

设备被称为天空扫描仪是用来测量天空亮度模式。根据CIE指南(8),一个可靠的商业天空亮度从145年整片天空半球扫描措施。然而,各种替代程序已经开发了CIE标准天空分类(9),由于缺乏可用的天空扫描仪在地面气象站收集的天空亮度数据。在这个任务中,监督机器学习(SML)程序作为天空分类的有效工具,提出了基于访问气象指数(10),如决策树(DTs) (11),支持向量机(svm) [12)和人工神经网络(ann) [13- - - - - -15]。

近年来,兴趣表示校准天空亮度地图天空分类和云检测(16- - - - - -19]。数码相机配有鱼眼镜头可以映射在天空比商业高分辨率扫描仪和高动态范围(HDR)图像可以捕获完整的天空亮度范围(20.]。

也有新颖的图像处理方法,可以克服由于云层造成的误分类。虽然一些研究的焦点放在颜色空间,别人的焦点一直在原来的单色通道的修改和组合,称为光谱特性。第三个选择,纹理过滤器,调整灰色像素图像模式(21]。

RGB(红、绿、蓝色)色度的颜色模型,一个基本的标准计算机图像、光谱特性,可以适应云检测(CD) [22]。短阳光光谱波长将因大气散射粒子,让天空背景蓝色外观(23]的色度分量主要是蓝色而不是红色的。云层出现白色的制服可见光波长的散射,表明类似的红色和蓝色的组件。其他模型成功地应用于CD包括去除大气散射(RAS) (24),红蓝比(RBR) (21),红蓝的区别(RBD) [25),和标准化的红蓝比(NRBR) [17]。

一些策略旨在适应人眼的色彩感知形象。色相饱和度值(HSV) (17),Red-difference浓度(YCbCr) [18),和强度色相饱和度(他的)26),其他颜色空间,最近展示了自己对CD功效。

除了颜色空间和光谱特性,纹理程序使用像素的灰度分布及其空间邻域识别对象和地区。这些程序已被证明是非常有效的云检测(27),医学图像分类(28),和流量分析29日]。应用灰度共生矩阵建立灰度同现矩阵(),当地范围(LR),当地的标准差(STD),局部熵矩阵(EM)纹理过滤程序,统计处理的纹理图像的分类。

图像处理基于光谱、纹理和颜色空间提供了各种观点相同的图像。图像分析的组合可以产生成功的应用,如映射(30.)和航空摄影分类(31日]。摘要最近提议选择RGB颜色模型进行了综述和比较的改进图像处理方法应用于云检测和天空分类使用人工神经网络(ANN)算法。在某些情况下,初步的图像处理有意义的改善的准确性安用于相同的图像数据集进行分类。减少误分类的方法将确定一个详细的研究,在天空的CIE标准分类(15个类型)和三个类别的分类(清晰,部分,阴天条件)都认为。

本文将结构如下。一个完整的比较几种图像处理方法对CIE标准天空分类虽然人工神经网络将在部分2。节3实验数据的采集和处理将被描述。节4适合的ANN模型与实际结果天空条件将得到证实。分类算法的结果将节中讨论5最后,简洁的结论最有效的图像处理方法将在部分6。

2。回顾云检测的图像处理方法

表1总结了22个像素图像处理方法的主要特点,综述了和测试在这学习和分类的颜色空间,光谱和纹理特征。的完整描述所有的图像处理方法将在本节中完成。

表1
像素图像处理方法的总结。
2.1。颜色空间

RGB颜色空间使用一个通道为每个主要的颜色:蓝色,红色,绿色。实现直接在机器学习或与先前的处理,这种颜色空间将产生光谱特性。原色,子信道R, G, B,建立一个单色图像。创建一个灰度图像(GS)只有像素强度记录。如前所述,HSV空间是模仿人类视觉感知、分类对象的发光强度(亮度或价值)和色度。色度有两个独立的参数、色调和饱和度。色调的纯色从红色到紫红色(列为红色,黄色,绿色,青色,蓝色,和洋红色)。纯色的饱和度描述了稀释在白色(0 =白;1 =纯色)。色调,饱和度和价值通道也可以独立使用。 Clouds are mostly perceived on a grayscale, due to interactions between sunlight and the atmosphere, so different cloud cover can be analyzed through the saturation channel. This color space has proved itself to be highly effective for sky classification into three categories: blue sky, cloudy sky, and sunset sky [35]。

2.2。基于RGB模型的光谱特性

不同的直接实现RGB模型、光谱特征描述图像色调和颜色的变化。其检测能力的乌云从高和透明的卷云已经证明(25]。RAS通道提出了区分大气散射和大气背景光(24]。RAS通道获得一个全色通道(Y)的线性组合,明亮的通道(左),和黑暗的通道(D),表中定义1。渠道Y, L, D也可以独立应用。

红色和蓝色的不同组合渠道提出了云检测。红蓝的目的比率(RBR),产量小比蓝色的天空和云大的比率,是识别薄和不透明的云层和晴朗的天空36]。Heinle et al。25]指出几个问题RBR的使用渠道检测厚云与太阳周边的像素和困难。因此他们提出了RBD(红蓝的区别)通道作为替代。山下式等。37)执行一个完整的蓝色和红色通道的修订和实施天空指数或NRBR(规范化的红蓝比)分离蓝色的天空和云区。这些改编的RGB通道已经成功地对比了CD。然而绿色通道是图像处理中经常被忽视。调整后的红绿的区别(ARGD) [22]介绍了纠正任何可能饱和的蓝色组件。提出了光谱特征的线性组合在其他作品中,如C1 [17)和C2 (22表中列出)1。

2.3。纹理过滤器

纹理过滤器使用灰色像素分布(灰度级,从0到255,g矩阵)及其空间邻域识别对象和地区。纹理过滤器GS矩阵划分为本地邻居,应用数学接线员:范围为当地范围(LR),熵矩阵(EM),和当地的标准差性病图像处理(34]。图1显示了一个示例的LR材质过滤过程。g是一个单色矩阵的元素 。GS矩阵的大小,定义的邻国,在图表示19×9蓝色方块。它的大小是在GS边界(元素表示为小 )。过滤器函数应用数学运算符在这附近,结果包含在这个职位 的新矩阵。


图1
示例9×9的LR计算社区(蓝色区域)的元素 。
2.3.1。当地范围纹理过滤

LR过滤的目的是使图像的边缘和轮廓清晰可见。最高的价值中减去9×9的社区内从最小的一个,如图1。LR矩阵函数保存结果。

2.3.2。EM纹理过滤

熵是衡量图像的纹理随机性。熵矩阵(EM)计算的局部熵GS社区(34]。EM值成正比的变异程度计算一个像素对邻国

在图2与高变化显示,图像直方图。 反映了灰度的发生 元素; 的总数是灰色的水平附近。


图2
局部直方图的熵的计算示例。 。
2.3.3。当地的标准偏差(STD)纹理过滤器

下面的方程是用来计算当地的标准偏差(STD)在每个社区:

是在附近的元素数量; 不同−1比1的邻域矩阵。

3所示。实验数据采集和处理

如前所述,这项工作的主要目的是分析图像处理算法CIE标准天空分类使用ANN-processed天空图像。图中描述的工作流3以下各部分将对此进行说明。


图3
图像处理的工作流程。例子与RGB空间。
3.1。实验数据采集

这项工作中所使用的实验数据记录在一个气象气象站位于高等理工学校建筑的屋顶布尔戈斯大学(42°21′04”N;3°41′20”啊;平均海平面856米以上)。气象设施的完整描述可能会发现其他地方1,10,38]。在图所示的实验设备4。天空亮度分布特征的天空条件根据CIE标准一般天空分类测量与商业女士- 321 lr天空扫描仪(EKO最近欧洲乐器诉海牙,荷兰)。天空扫描仪是测量调整每月从日出到日落。它完成了一个完整的扫描在四分钟,开始一个新的扫描每10分钟。第一个和最后一个的测量 被丢弃的,测量数据高于50 kcd / m2,低于0.1 kcd / m2后,天空的推荐规范扫描设备。天空图像记录由商业SONA每15秒201 - d天空相机一整天(Sieltec加S L,西班牙)。相机的触发频率是1秒和图像分辨率 像素,记录与RGB颜色模型(每个像素使用8位,整数值从0到255)。表2和3的技术规格天空天空扫描仪和照相机,分别。


图4
实验设备的位置越高的屋顶上理工大学教学楼布尔戈斯SONA 201 - d天空相机(上)和EKO最近ms - 321 lr(下)(来源:谷歌地球)。
表2
天空扫描仪技术规格。
表3
天空相机技术规格。

实验活动发生在2016年11月1日至2020年3月31日。曲撒规范化亮度方法(NL)提出的2004年(39之前的文献[中],详细38),被用来确定CIE标准天空类型在布尔戈斯在实验活动。总共有1500张图片从实验中选择数据集(超过80000天空图像),天空从每个CIE 100类别,以更大的和谐与CIE模式类别。因此实验数据集是由一百年的天空影像编目CIE标准天空类别。这天空天空分类作为参考条件。

3.2。数据处理

原来天空图像处理使用22个不同的渠道选择的研究和总结在表1。虽然有些人从天上直接生成图像,生成人通过互补的渠道。在图5,结果图像处理方法应用于图像的天空条件分类清楚,部分,和阴,CIE分类后。可以观察到,每个过滤器突出图像的不同特征。围绕太阳的区域和最近的地平线区云检测目前最大的困难。在图5可以看出,围绕太阳的RGB图像敏感地区和能够检测日冕。然而,在RGB图像,不能欣赏差异在天空dark-homogenous条件。的出现直接天梁可以错误的来源。虽然蓝色通道饱和太阳周边的地区,红色和绿色通道显示更大的敏感性检测多云的地区。相比之下,地平线上被Y, D, L, RAS, V,性病,和EM方法,和LR主要定义轮廓。不像大多数其他的渠道,RGB模型与图像的方向均匀性很难阴天条件下的检测。RAS方法的家庭(RAS, Y, D, L)显示类似水平的准确性在天空所有的情况下,他们的主要差异是在围绕太阳的区域附近。


图5
图像处理方法应用到清晰,结果部分,阴暗的天空CIE标准类型。
3.3。图像压缩

原来天空的高分辨率图像( 像素)需要压缩来减少数据集的维数,提高数据存储和后续的图像处理。在这项研究中,最初的天空图片被压缩 在每个通道像素。图6显示了图像压缩过程的结果为0.89%,这有利于安调优没有效率下降的情况。

(一)
(一)
(b)
(b)
图6
图像压缩过程的结果。(一)实际天空图像。(b)图像压缩的天空。

4所示。安天空CIE标准分类

人工神经网络(ann)经常用于气象科学:CIE和云分类(40,41),太阳辐照度和风速预测(42- - - - - -47),大气污染分布(48,49),和降雨50,51]。安分类模型对输入信息进行分类服务为特定类别或目标。监督机器学习(SML)神经网络需要CIE标准天空分类天空类型是已知的。模型工作时有效地预测匹配的目标。模仿生物神经元的概念,安是一个非常强大的技术分类问题。图7显示了一个传统安结构,由一个输入层、一组几个隐藏层和输出层。


图7
安系统架构。

从输入层的神经元的信息 穿过隐藏层(这项工作)、单向连接后,有一个神经元的输出层 每一个目标。每个加工中心或神经元调整到其他神经元通过一个互动的过程,使用(3)。按比例缩小的共轭梯度法(SCG) (52)是用来适应重量(加权矩阵, )为每个迭代。 在哪里 是权重矩阵, 是输入变量, 是偏见。神经元生成输出, ,通过激活函数, ,的双曲正切乙状结肠传递函数在这项研究中,所示(13]

监督机器学习需要三个数据集:培训、验证和测试数据集。培训组用于确定偏差的加权矩阵和一个迭代的过程。培训结束时的结果产生的性能模型,计算验证,达到所需的质量。测试数据组是用来计算的性能模型。随机数据集划分实现可靠的性能是至关重要的。传统的训练数据集是随机选择的,由数据总量的70%,而验证集和测试集分别代表15%,分别。

安是适应了数据库的设计和过程模拟。没有标准化的过程建立最有效数量的神经元和隐藏层42),所以实验或调整是必要的。在这项研究中,几个在试验过程中,神经元的数量(1 - 100)是多种多样,寻找最好的精度, ,安的,给出的 TP和TN的正确预测安(真阳性和真正的阴性)和FP和FN是错误的预测(假阳性和假阴性)。精度评价正确预测的数量超过总数的预测。神经网络结构(隐层神经元的数量)的基础上选择精度最高。经过几次试验,隐藏层的数量是固定在一个。

5。结果

在图8改进的ANN模型的准确性,使用天空图像作为输入。每张图片以前处理的每个总结在表21图像处理方法1关于RGB空间,定义为 所示, 在哪里 和 时获得的准确的输入集安的天空图像处理方法 (x=每个图像处理方法总结表1), ,分别。每个安和的准确性在其隐层神经元的数量如表所示4。


图8
安改善准确性、∆(Acc),天空CIE标准分类,使用每个图像处理方法的结果作为输入,总结如表1,安精度获得与原来的RGB图像作为输入。
表4
精度和结构(隐层神经元的数量)的选择安每个图像处理方法。

我们可以看到在图8,HSV颜色空间比RGB CIE标准天空分类使用图像,用小改善精度(0.66%)对RGB图像处理。GS的颜色空间和RGB空间也同样准确。使用R, G, B单色通道也改善了安天空CIE标准分类的准确性,G通道是最适合这项任务。安的准确性上使用个人频道,H和S,恶化在RGB颜色空间,而安V频道显著提高准确性。

类别的光谱特性,RAS处理方法恶化天空安的分类精度。然而,天空频道Y L显示更好的行为分类,尽管他们使用更多的隐层神经元。在光谱特性的其他渠道,只有RBD和C1显著提高安准确性。关于纹理过滤器,EM显示很少或没有优势的使用RGB颜色空间和其他两个过滤器,LR和性病,受损的准确性产生的神经网络。隐层神经元的数目,表所示4,安没有增加的准确性,可以看到从图像处理方法的使用Y和V。

图8显示每个安分类的结果天空天空到十五CIE标准类别。简单分类为三个类别(清晰、阴,部分条件)通常是足够的对于许多应用程序,如光视效能计算(53和建筑照明设计54]。的拟合结果安天空分类为三个类别如图9和表5。


图9
安改善准确性、∆(Acc),天空CIE标准分类在天空三个类别:阴,部分,和清晰的条件下,利用输入图像处理每个图像处理方法总结表1在安准确性得到的RGB图像作为输入。
表5
精度和结构(隐层神经元的数量)的安选择为每个图像处理方法。

CIE标准天空天空分类为三个类别,低精度的差异可以看出,只有G B, G单色通道和光谱特性L和C1安精度提高。在所有这些分类情况下,隐层神经元的数量较低。

准确的拟合优度指数用于集团所有类别的安,尽管每个类别中的安装质量不处理。混淆矩阵分析数据所示10- - - - - -13。混淆矩阵,当监督机器学习算法预测和目标匹配彼此(TP、TN的结果),相应的对角矩阵的盒子是彩色的。当没有匹配预测和目标之间价值(FP和FN),另一个盒子的混淆矩阵填充。最好的图像处理方法将有最多数量的彩色盒子在矩阵的对角线。下面的数字代表混淆矩阵对应的15种CIE标准的天空。


图10
混淆矩阵ANN-calculated RGB-CIE天空分类分为十五类,分为三个类别:阴暗的天空(CIE标准类型1 - 5),部分(CIE标准天空类型6到10),和清晰的天空(CIE标准类型1到5)。关键是指案件分类的类别。颜色刻度显示了每个类别的巧合。

图11
混淆矩阵的彩色空间图像处理methods-CIE天空分类标准。

图12
图片处理天空methods-CIE标准分类混淆矩阵谱特性。

图13
混淆矩阵纹理过滤图像处理methods-CIE天空分类标准。

图10显示的混淆矩阵ANN-calculated RGB-CIE天空为测试集分类数据集(总额的15%)。可以看出RGB-CIE分类与机器学习分类错误的多云的和部分:一些匹配箱沿对角线是可见的。在图10天空,CIE标准分类为三个类别(清晰,部分,阴天条件)。这些情况下分类对应的类别外被指定为关键,即。晴朗的天空,分为部分或阴暗的,反之亦然。

相同的信息如图11天空颜色空间的CIE标准分类,对应于其他颜色空间下处理方法分析。红色、绿色和蓝色通道显示类似的行为到RGB颜色空间。红色通道充分分类CIE标准天空类型7到15,换句话说,所有晴朗的天空和天空部分类型。HSV颜色空间显示类似的性能在所有类别,在RGB颜色空间相比,晴朗的天空类型的分类可能会高亮显示。色相和饱和度渠道引入太多的噪音,但通道值表现出良好的性能。

在图12,光谱特性的混淆矩阵所示图片处理methods-CIE天空分类标准。RBR和NRBR光谱特性引入的噪声,但结果组合,C1,减少了误分类,改进传统的RGB颜色空间。因此它似乎是一个适当的替代图像处理方法CIE标准天空分类使用天空相机图像。RAS信道理论上被大气散射,但混淆矩阵没有反映出更好的性能比RGB颜色空间。混淆矩阵表明,它不能区分CIE天空类型1,3,5。RAS方法还介绍了太多的噪音在天空cloudy-to-partial类型。

最后,混淆矩阵如图13天空纹理过滤处理methods-CIE标准分类和安。可以看到,所有的纹理通道表现良好,尤其是新兴市场渠道,而LR基本上没有CIE标准分类部分和阴天。

详细研究了CIE标准天空分类分成三个类别呈现在图14,混淆矩阵提出了数字10- - - - - -13被分成四个余子式:阴暗的天空(CIE标准类型1 - 5),部分(CIE标准天空类型6到10),明确(CIE标准天空类型1 - 5),和关键,是指情况下分类的类别。红色线表示RGB的结果,作为一个基线精度的改进, 。天空的一些图像处理方法分类某些类别突出显示在图14。RBD D和B显示最佳性能的检测阴暗的天空,增加每个安各自的性能。G、年代和GS取得更好的结果检测部分的天空,晴朗的天空也在同一类别中传统的RGB颜色空间达到最佳性能。


图14
通过天空天空CIE标准分类图像和安,使用不同的图像处理方法记录在表1。

一些渠道强调某些天空类型但彻底失败了对其他类型进行分类。蓝色通道饱和在晴朗的天空,这样的一个点,其性能几乎是最晴朗的检测。这种行为还指出了D通道。

不幸的是,没有图像预处理的方法大大提高了RGB分类的三个子类(清晰、部分和阴暗的条件)。然而,Y,绿色,红色,RBD, V,和EM处理方法突出在一个或两个类别和它们的结果是可以接受的在所有其他类别,如表所示6。

表6
总结的结果。

几乎所有的图像处理方法减少关键错误或误分类,应该尽量避免。遵循这一标准,RBR RBD、NRBR ARGD, H, S被丢弃的图像预处理方法安天空天空图像分类。

6。结论

天空从天空和云检测图像和机器学习分类可以很大程度上提高通过初步的图像处理,减少错误分类和简化算法。在这项研究中,22天了图像处理方法,包括三个最常见的类别,颜色空间、光谱特性和纹理过滤器。天空CIE标准分类已经被选择来确定天空的特点,因为它被认为是大气状况的代表。一个非常广泛的无偏数据集已经使用,其中包括1500天空图像和相应的CIE分类,通过归一化计算亮度从天空亮度分布数据的方法。人工神经网络(ANN)是所选的机器学习算法。

作为第一个结论,数码相机配有鱼眼镜头可以作为替代天空天空扫描设备ANN-assisted CIE标准分类。可以提高分类算法的准确性与足够的初步图像处理,突显出天空图像信息和优化算法结构。

HSV彩色空间是一个比RGB,单色通道的R, G, B,天空为分类的基础上的图像到十五CIE标准天空类型。只有HSV的V个人频道工作比HSV和RGB。光谱特性渠道Y L显示更好的行为的天空比RGB颜色空间分类,但是他们使用更多的隐层神经元。在其余的通道光谱特性,只有安RBD和C1显著提高准确性。纹理过滤器添加无显著优于RGB颜色空间。

天空CIE标准分类明确、部分和阴暗的条件,RGB似乎是最好的图像处理方法,只有单色通道G和B, G,由光谱特性C1 RGB颜色空间的准确性提高。没有安改善性能因此指出使用额外的通道。

与先前的研究[14]在多云天气有弱的准确性,有几个频道工作成功,提高机器学习算法的准确性10%为多云的天空RGB颜色空间。这些通道是B, R, S, V, ARGD, RBD, C1, C2, Y,性病,EM。

RGB和它的主要渠道,R, G, B,不够好了黑暗的多云天气,由于图像处理信息的损失。而传统的云检测通常省略了G通道,G和B通道已被证明是同样有效。相比之下,B通道往往在晴空条件下饱和。

突出显示的混淆矩阵安未能区分CIE天空类型1,3,5。

主要结论是,使用一个特定的图像处理方法可以改善一个ANN算法的准确性,根据所需的信息从图像的分类问题。未来的工作将集中在天空的分类根据CIE标准使用专门设计的神经网络的分类图像卷积神经网络等。

数据可用性

神经网络数据库用于支持这项研究的结果已经存入布尔戈斯大学机构库(https://riubu.ubu.es/)。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

d . Granados-Lopez参与调查,方法论,软件,和可视化;a . Garcia-Rodriguez和美国Garcia-Rodriguez参加调查,方法,正式的分析,和验证;a . Suarez-Garcia导致方法和软件;m . Diez-Mediavilla负责概念化,草稿准备、监督以及资金收购和项目管理;c·阿隆索特里斯坦扮演了一个角色在概念化,草稿准备,和监督(写作、审查和编辑)。

确认

作者欣然承认地方政府提供的财政支持下的合并案莱昂“支持项目认可的公立大学研究小组卡斯蒂利亚y Leon”(BU021G19)和西班牙595下的科学和创新我+ D +国家项目“挑战研究项目”(Ref。rti2018 - 098900 b - i00)。迭戈格拉纳多斯洛佩兹表达他的感谢经济支持军政府de Castilla-Leon (PIRTU计划,ORDEN EDU/556/2019)。