使用更快的R-CNN对日冕调光和日冕波的单波长和多波长检测

抽象

太阳活动，尤其是罕见的事件，如日冕暗（CD）和冠波（CW）的自动检测，是太阳物理学的研究非常重要。在CD和CW不仅关系到探测日冕物质抛射的同时也影响空间天气。在本文中，我们有自动检测他们研究的方法。此外，我们已经收集和处理的数据集，其包括太阳能图像和事件记录，其中太阳能图像来自太阳动力学观测的大气成像组件（AIA）（SDO）和事件记录来自太阳物理学事件知识库（HEK)。从之前所使用的方法不同的是，我们引入深度学习的想法。我们培养的单波长和基于更快的R-CNN多波长模式。在准确度方面，单波长模型进行更好。的多波长模式对多个太阳能事件比单波长模型更好的检测性能。

1.介绍

太阳喷发是一种产生大量能量、释放大量辐射的事件，以日冕物质抛射(CMEs)的形式向日球层喷射等离子体。日冕物质抛射可引起地磁风暴，进而影响电力系统的可靠性。此外，日冕物质抛射也会影响太空天气[1,2]。日冕物质抛射的检测是至关重要的。然而，由于其复杂的特性，日冕物质抛射很难被探测到。日冕物质抛射与许多太阳现象有关。日冕调光(CD)在时间和空间上与日冕效应一致[3.和与调光相关的日冕物质抛射具有比其他日冕物质抛射高得多的速度[4]。日冕波(CWs)可由日冕物质抛射器膨胀的侧面驱动和塑造[5]。因此，CD和CW成为主要的探测对象。

对于CD，提出了几种识别算法。Bewsher等讨论了一种全自动检测CD的算法。对图像进行差分运算，形成基差图像，然后对像素强度进行阈值处理，找到调暗区域[6]。Podladchikova等。继续研究这种算法和执行的最小和最大像素映射来描述调光区域[7]。此外，计算运行差值图像的统计分布，以发现显著的干扰，即调光区域。与上述方法不同的是，Krista等人利用原始的无差图像和对应的磁图来检测变暗区域[8]。

为了检测CW，Thompson等人的。人工识别它[9)，收集了1997年至1998年太阳和日光层天文台(SOHO)的数据。随后，Nitta等人做了类似的工作，确定了CW [10]由美国友邦卫星在SDO航天器上观测[112003年)。手动识别完全依赖于用户，这种方法只适用于小数据集。Podladchikova等人利用自动调光检测算法NEMO检测基于SOHO的CW [7]。Wills-Davey等人提出惠更斯跟踪技术[12]。该算法利用百分比基差图像，通过寻找与高斯截面峰值相对应的峰值强度线来识别脉冲。半自动检测算法冠状脉冲识别与跟踪算法(CorPITA)由Long等人提出[13]。CroPITA使用强度剖面技术来识别传播脉冲，跟踪它的整个进化过程，然后返回它的运动学估计。

2010年，美国宇航局发射了SDO航天器，该航天器绕地球轨道飞行，以捕捉太阳的全盘图像。AIA是SDO的一个独立仪器，每10到12秒捕捉8张不同波长的高清(4096×4096)全磁盘图像。SDO每天生成大约1.5 TB的数据，因此手动和传统的识别方法不再适合当前的情况。在大数据情况下，CD和CW的自动快速检测算法具有很强的研究价值。2017年，Kucuk等人使用深度卷积神经网络对太阳事件进行分类[14，包括Sigmoid (SG)和Flare (FL)。与此同时，他们也使用深度学习模型来探测太阳活动，如活动区域(AR) [15]。

在计算机视觉领域中，目标检测就是定位目标在图像中的位置，识别目标的类别。这是一个基本的问题，但也非常具有挑战性，因为在图像中有很多干扰因素，如背景杂波和视角的变化。近年来，深度神经网络成为研究热点，基于深度学习的高精度目标检测有很多，如单镜头多盒检测器(Single Shot MultiBox Detector, SSD) [16，你只能看一次(YOLO) [17]，基于区域的全卷积网络(R-FCN) [18]，和更快的与卷积神经网络区域相关的特征（更快的R-CNN）[19]。SSD和YOLO都是完全端到端的检测模型，但是SSD有一个额外的层来预测默认的框偏移量，以提高准确性。与它们不同的是，R-FCN和更快的R-CNN使用区域提议网络(RPN) [18]。RPN是一个独立的网络，它生成建议的区域和标志，这些区域和标志是否包含对象。R-FCN和更快的R-CNN的区别在于边界盒分类。R-FCN所使用的分类特征是从基网络的最后一层进行裁剪。

本文引入了深度卷积神经网络(Faster R-CNN)来检测CD和CW。本文的其余部分如下。部分2介绍了数据集。部分3.规定的深度学习算法。实验和结果在节中讨论4。部分5给出了结论。

2.数据准备

在本节中，我们介绍了我们的数据，包括数据收集和处理。

2.1。数据收集

该数据集由两个部分组成。一个是太阳能图像。另一种是太阳活动的记录，尤其是位置坐标和太阳活动的范畴。至于图片，他们来自SDO的AIA模块。AIA可以在多个波长捕获的高清晰度图像，但AIA的元数据是FITS格式和不能直接用来训练检测模型。我们可以处理的元数据为JPEG（4096×4096）格式来继续工作。对于太阳能事件记录，它们根据HEK从许多自动化事件检测模块接收的元数据来确定。元数据包含了大量的信息，包括位置坐标，开始时间，结束时间，以及太阳活动的范畴。

为了收集所需数据，我们使用SunPy (https://sunpy.org/)，它是python语言的一个包。通过这个包的API，我们可以根据太阳事件的时间和类别从HEK获取太阳事件记录。例如，我们可以搜索2014 - 2017年的CD和CW，我们可以得到不同波长的CD和CW事件记录(171A, 193A, 211A)。从事件记录中，我们可以得到开始时间和结束时间。根据它们和API，可以从SDO的AIA模块下载相应事件的元数据。在SDO的AIA模块中，每12秒记录一次事件的元数据，在事件发生时，我们可以获得多个元数据。此外，我们使用Solarsoft (http://www.lmsal.com/solarsoft/)，它是IDL的一个套件，用于解析和预处理元数据。更重要的是，元数据被转换成JPEG图像格式。事件记录还包含位置坐标、边框的左下和右上坐标。但这些获取的坐标是基于日射影笛卡尔坐标系的，需要转换为图像像素坐标。我们可以使用套件提供的API来实现这一点。到目前为止，我们已经完成了数据收集工作，然后对数据进行处理和清理。

2.2。数据处理

有在HEK数据库中的许多数据源，数据比较凌乱。难免有一些不正确的数据。此外，太阳能事件的发生是一个动态过程，但HEK数据库仅提供一组坐标，这是不合理的。我们需要清洁和处理数据，使之更加可靠。正如上述数据收集的描述中提到的，我们可以在事件发生的时间范围内获得多个元数据。然后，我们使用API​​来区分这些元数据来获得运行中的差分图像。它可以帮助我们更容易找到事件的位置。同时，我们比较了事件记录的位置坐标，清理一些不合理的数据，并简单地调整事件的位置坐标。其中，运行差异图像是需要花费大量的时间工作，就必须不断地调整一些参数，使该事件明显。数据1和2显示CD和CW的一些例子中的数据集，分别。

最后，我们把数据集分为八个部分。至于CD，它由四个部分组成，其中三个是单波长（171A，193A，211A）和其中的一个是多波长。在数据集中的每个图像具有4096×4096像素。每个部分包含了训练集和测试集。值得一提的是，我们收集的数据2014至17年，但训练和测试集随机分成。三个单波长的训练集和测试集是不同的。多波长训练集是单波长训练集的并集，测试集与单波长测试集一致。剩下的四个部分是CW，形势与CD相一致。在表1我们给出的训练集和测试集的细节。我们都知道，CD和CW是不常见的太阳活动，特别是CW。这样的事件仍有争议，并检测他们是一个非常具有挑战性的任务。

3.深度学习的CD和CW检测

在本节中，我们将介绍用于检测CD和CW的快速R-CNN深度学习模型。

3.1。深度学习和卷积神经网络

传统的机器学习技术难以完成目标检测任务。深度学习是机器学习中一个相对较新的研究领域。它也以其强大的学习能力而闻名。深度学习的本质是特征不是人工提取和指定的，而是通过数据学习来表征。

卷积神经网络（细胞神经网络）是一种深度学习模式。通过训练滤波器，卷积和汇集原始输入图像上交替地操作，从而分层结构的日益复杂的特征被提取。细胞神经网络可以建立输入和输出之间的映射，这是非线性的。相对于传统的算法，深细胞神经网络在大数据面前表现良好。KUCUK等。使用卷积深层神经网络对太阳活动进行分类，该模型可以来调整它们的高精度分类。

3.2。快R-CNN

更快的R-CNN是基于命名来自Caffe [深学习框架更快的对象检测器20.]。在介绍Faster R-CNN之前，我们简要描述了fast -based convolutional neural networks (fast R-CNN)。

快速R-CNN的主要思想是把物体检测问题转换成基于候选特征提取分类问题。这使得以深学习对分类问题强劲的性能优势。的图像被输入到快速R-CNN，和细胞神经网络被首先用于获得图像的特征。细胞神经网络被称为训练前的网络。快速R-CNN使用选择性搜索（SS），这是一种算法，以产生所述对象的候选区域[21]。与此同时，提出了兴趣（ROI）的区域，其映射由SS向细胞神经网络的特征层产生的候选区域和直接提取特征层上的深特征。然后，SOFTMAX被用于将提取的特征进行分类，和边界框的回归被训练以提高对象位置的精度。可以看出的是快速R-CNN集成了训练，分类和细胞神经网络的回归来提高对象检测的效率作为一个整体。但SS算法是独立于深层神经网络，而不能使用GPU计算。计算速度对算法的整体性能有一定的影响。为了解决这个问题，更快的R-CNN提出。

更快的R-CNN是基于快速R-CNN算法改善。相反，在快速R-CNN的SS算法，建议区网络（RPN）提出了一种提取候选区域的目的。更快的R-CNN整合候选区域提取，深特征提取，分类，边框回归到深层神经网络。所有这些任务都可以在GPU进行培训，提高了算法的效率，而不会丢失精度。

较快的R-CNN的输入是太阳图像和对应的标签。标签包括图像中的事件类型(CD)和位置坐标。通过深度卷积神经网络从太阳图像中提取特征，然后对特征图进行两行处理。其中一条线是RPN网络，其目的是获取候选区域。对得到的候选区域和特征图进行感兴趣区域操作，得到候选区域特征。另一条线是候选区域特征的分类和边界盒回归。网络拓扑如图所示3.。

RPN是一个完整的卷积神经网络。该网络的输入的前一层是特征图，并且输出是矩形候选区域。首先，共享卷积网络的特征地图上执行的滑动窗口以获得 窗口。该窗口被用作输入到网络，和候选区域在同一时间预测。在这里，我们命名候选区域的ancher每个ancher具有不同的尺寸和比例。每个窗口被映射到由卷积运算的低纬度矢量。该载体在两个子网络所使用的，与包围盒回归和边界框的分类。边界框分类网络的输出是每个ancher是否包含一个对象，即，前景或背景，并输出矢量的大小是 。边界盒回归网络的输出是对每个ancher的位置进行调整，使其更加准确，输出向量的大小为 。RPN的网络结构显示在图4。

通过RPN网络得到目标候选区域，也就是目标的粗略位置。根据目标候选区域和特征图进行感兴趣区域操作，提取深度特征。对深特征进行两次全连接层操作，然后对全连接特征并行操作。一个是softmax分类层，输出类别中每个候选区域特征的概率分布;另一个是边界盒回归层，再次对目标的位置进行校正，使其更加准确。损失函数由这两部分组成 在哪里 表示各候选区域上特征的概率分布 类别,代表真实的类别， 边界框的输出是否回归，以及代表类别的地面实况 。 是真正的类的物流损失作为 是边界框回归损失（3.)。它基于两组参数， , 。 损失在给定（4)。 为 ,值是1 ,表明候选区域为正，存在回归损失;否则，值为0，表示没有损失。此时候选区域为背景，背景没有ground truth。用来平衡这两种损失。

4.实验结果和讨论

4.1。实验设置

实验在GPU服务器上进行，GPU类型为NVIDIA GM200。此外，我们使用名为Caffe的深度学习框架。我们使用的是第二节提到的数据集，包括训练集和测试集。对于CD，由于数据集较小，我们使用的是ZF预训练模型。对于CW，尺寸大于CD，我们使用VGG1024预训练模型。我们训练了单波长和多波长两种不同的模型，并使用相同的测试集对模型进行了测试，所有模型迭代35000次。训练一个模特需要很长时间，大概需要18个小时。为了获得最佳性能，我们只尝试几个参数值，“迭代”和“学习率”。

我们用平均精度（AP），精确度和召回表征模型的性能。为了检验模型，它有一个正确的测试标准是非常重要的。如果该值预测的边界框（PBbox）和地面实况盒（GTbox）之间（交点到联合的比率，IOU）大于0.5时，该检测被认为是正确的。召回是如图中的所有地面实况校正PBboxes的比率（5)。精度是如图中所有PBboxes校正PBboxes的比率（6)。 AP是关系到精确召回曲线，由平均精度十一召回水平计算 : 基于水平 ,找出相应召回超过的最大精度值作为 在哪里精确度是否在召回级别 。

4.2。单波长更快的R-CNN

对于CD，211埃的p值是0.909，这是最好的三个单波长模式。相比之下，193A的型号具有最低p值。但总体来说，三个单波长模型的精度是非常高的，如表2。此外，我们将预测的边界框与HEK数据库中获取的标签进行比较。这三种模型可以准确地定位事件的位置。检测结果的部分样本图像如图所示5。

对于连续波，单波长检测模型的精度约为78%。美联社171年Å值,193Å和211Å模型如表所示2。其中,美联社171Å是最高的价值,211年的Å是最低的,但三个模型之间的差异并不大。并将模型的测试结果与HEK数据库进行了比较。可视化结果如图所示5。我们可以看到，在HEK中标记的事件在我们的检测模型中被识别。

此外，我们培养出来的R-FCN模型来检测CD和人工湿地。为了保证对比实验的有效性，我们使用相同的数据集和实验环境。在表3.至于连续波,美联社193年Å高于R-CNN越快,和多波长检测的Ap模型高于R-CNN 211Å越快。其他情况不如更快的R-CNN好。我们还记录了两个模型的训练时间。对于单波长模型，更快的R-CNN大约需要18个小时，而R-FCN需要20个小时。对于多波长模型，更快的R-CNN需要21小时，而R-FCN需要23小时。考虑到这两个因素，更快的R-CNN比R-FCN要好。

4.3。级快R-CNN

由于单波长模型具有良好的准确性和直观的效果，因此我们将三种波长太阳事件的特征混合起来，相互补充，形成多波长探测模型。CD和CW检测模型的Ap值也如表所示2。与单波长检测模型的结果相比,只有193年的测试图像Å美联社高于单波长模型,而其他人则低于单波长Ap模型。但这并不意味着多波长效应不如单波长效应好。精度和召回率也是模型性能的指标。单波长和多波长事件的精度和回忆率如图所示6。这里的precision和recall是每个测试图像上的均值。结果表明，单波长模型的精度高于多波长模型，但召回率高于单波长模型。我们可以直观地检验多个模型的检测效果。与单波长模型相比，我们可以看到多波长模型在探测多个太阳事件方面更好。如图所示7，原多个太阳能事件不完全单波长检测到，但该多波长模型相对精确地检测这些事件。不过，也有在多波长模式被用来检测一些不正确的边界框的情况。因为这些不正确的边界框，它会导致准确率的下降。因此，多波长模型的精度是比单波长模式下。召回率，由于Gtbox的数量是固定的，在分母（5)不变，检测到的正确边界框数量增加，召回率增加。虽然Ap是衡量模型的一个重要指标，但它不是绝对的。从以上分析可以看出，多波长检测模型仍然有一定的效果。

5.结论

我们培养的深度学习模型分别检测CD和CW单波长和多波长。结果表明，该模型可以准确地检测一下CD和CW的70％。单波长机型在检测单太阳活动精度高，但有时，当他们发现多个太阳活动是不全面的。相比于单波长模式，多波长机型在检测多个太阳活动更好的性能，但不准确的单波长模式。此外，多波长模型预测一些不正确的边框，这可能误解了一些地区作为太阳活动。这是可行的深度学习应用到太阳能电池事件检测领域，具有一定的研究价值。

对于以后的工作，我们首先考虑在模型的训练过程中加入不同的图像。换句话说，差分图像中的太阳事件更容易识别，可以增强对原始图像的检测。此外，我们还考虑了多波长的特征融合。同一太阳事件可能出现在多波长的图像中，多波长合并的特征可以增强对某一波长太阳事件的探测。

数据可用性

SolarData由CD和CW两部分组成。CD由三个波长(171 A, 193 A, 211 A)组成。每个波长包含太阳图像和标签(事件类型和坐标)。CW的情况与CD一致。支持本研究结果的SolarData数据已存放于GitHub储存库(https://github.com/Gkllmon/SolarData.git)。

的利益冲突

作者宣称，有兴趣对此文件发表任何冲突。

致谢

作者感谢SunPy开发人员、SDO和HEK提供了本文中使用的数据。这项工作得到了国家自然科学基金61432011、U1435212、61105054和太阳活动重点实验室开放研究计划的资助。

参考

1. “日冕物质抛射层内部日冕物质抛射层的全球图片”，刊于太阳和日球层是一个完整的系统，第317卷天体物理学和空间科学图书馆， 201-251页，施普林格，多尔德雷赫特，荷兰，2004年。视图:出版商的网站|谷歌学术搜索
2. “1972-2000年太阳活动最小和最大条件下的地磁风暴的来源”，李志伟、李志伟、李志伟合著。地球物理研究快报卷。28，没有。13，页。2569年至2572年，2001年。视图:出版商的网站|谷歌学术搜索
3. t·h·霍华德和r·a·哈里森，《日冕物质抛射的发生和日冕变暗》，太阳物理第219卷，no。2004年，第315-342页。视图:谷歌学术搜索
4. A. A. Reinard和D. A. Biesecker，《日冕暗化与日冕物质抛射特性的关系》，《天体物理学杂志》上，第705卷，第2期。1，第914-919页，2009年。视图:出版商的网站|谷歌学术搜索
5. M. Temmer, A. M. Veronig, N. Gopalswamy, S. Yashiro，“2008年4月26日事件中日冕波的三维几何与相关日冕物质抛物的关系”，太阳物理，第273卷，no。2，第421-432页，2011。视图:出版商的网站|谷歌学术搜索
6. D. Bewsher，R. A.哈里森，和D. S.布朗，“EUV变暗和日冕物质抛射之间的关系，”天文学和天体物理学，第478卷，no。3, 2008年897-906页。视图:出版商的网站|谷歌学术搜索
7. O. Podladchikova和D Berghmans，“自动检测EIT波和dimmings中，”太阳物理第228卷，不。1-2, 265-284页，2005。视图:出版商的网站|谷歌学术搜索
8. L. D.克丽斯塔，A. Reinard，和A.阿利莎，“研究由重复的调光区域中的AR 11305检测到使用日冕暗跟踪（CODIT），”《天体物理学杂志》上第762卷，no。2，第91页，2013。视图:谷歌学术搜索
9. b·j·汤普森和d·c·迈尔斯，"日冕" EIT波"瞬变"目录，"天体物理学杂志增刊系列卷。183，没有。2期，第225-243，2009。视图:出版商的网站|谷歌学术搜索
10. N. V. Nitta, C. J. Schrijver, J. Carolus等人，“由太阳动力学观测台上的大气成像组件观测到的太阳喷发中的大尺度日冕传播锋面——一个集成研究，”《天体物理学杂志》上卷。776，没有。1，第1567至1579年，2013。视图:谷歌学术搜索
11. P. C.马滕斯，G. D. Attrill, A. R. Davey等，《太阳动力学观测台的计算机视觉》，太阳物理卷。275，没有。1-2，第79-113，2012。视图:出版商的网站|谷歌学术搜索
12. M. J.遗嘱-戴维，“使用自动跟踪方法大规模传播冠状波阵面（EIT波），”《天体物理学杂志》上，第645卷，no。1，第757-765页，2006。视图:出版商的网站|谷歌学术搜索
13. D. M.龙，D. S.布卢姆菲尔德，P. T.加拉格尔，和D.佩雷斯苏亚雷斯，“CorPITA：自动算法用于识别和分析冠状‘EIT波浪’，”太阳物理，第289卷，no。9，第3279-3295页，2004。视图:出版商的网站|谷歌学术搜索
14. J. M. Banda和R. A. Angryk，“利用深度卷积神经网络对太阳活动进行分类”，台北人工智能与软计算国际会议录，施普林格，瑞士Cham，2017年。视图:谷歌学术搜索
15. 用更快的R-CNN探测多波长太阳事件>，刊于2017年第5届IEEE大数据国际会议论文集，大数据， 2552-2558页，2017年12月。视图:谷歌学术搜索
16. W. Liu, D. Anguelov, D. Erhan等人，SSD：单发多光碟探测器，第9905卷，欧洲计算机视觉会议，施普林格，瑞士，2016。视图:出版商的网站
17. J. Redmon, S. Divvala, R. Girshick，和A. Farhadi，“你只看一次:统一的实时对象检测”，in计算机视觉与模式识别CVPR 2016 2016年IEEE会议论文集, 2016年7月。视图:谷歌学术搜索
18. J.戴，李Y.，K他，和J.太阳报“R-FCN：通过基于区域的完全卷积网络的目标检测，”在NIPS 2016第30届神经信息处理系统年会论文集, 2016年12月。视图:谷歌学术搜索
19. S. Ren, K. He, R. Girshick，和J. Sun，“更快的R-CNN:面向区域建议网络的实时目标检测，”IEEE模式分析与机器智能汇刊第39卷，no。6，第1137-1149页，2015。视图:出版商的网站|谷歌学术搜索
20. 贾，E. Shelhamer, J. Donahue等，朱古力：卷积架构快速功能嵌入，ACM，2014年视图:出版商的网站
21. J. R. R. Uijlings, K. E. A. Van De Sande, T. Gevers，和A. W. M. Smeulders，“物体识别的选择性搜索，”国际计算机视觉杂志卷。104，没有。2，第154-171，2013。视图:出版商的网站|谷歌学术搜索

版权

版权所有©2019谢宗夏、季春阳这是一篇开放获取下发布的文章知识共享署名许可，其允许在任何介质无限制地使用，分发和再现时，所提供的原始工作正确的引用。