文摘

产生了大量的大型巡天望远镜天文数据,包括光谱。必须使用机器学习方法来自动处理这些望远镜获得的光谱数据。恒星光谱分类运用深度学习是一个重要的研究方向为高维天体光谱的自动分类。在这篇文章中,一个健壮的合奏卷积神经网络(ECNN)的设计和应用提高分类精度的大规模从斯隆数字巡天恒星光谱。我们设计了六个分类器由六种不同的卷积神经网络(CNN),分别识别DR16的光谱。然后,根据熵测试误差的光谱在不同的信噪比,我们整合结果的不同分类器集成学习方法提高分类效果。实验结果证明了我们的一维ECNN策略能达到95.0%的准确率在恒星光谱的分类任务,一定程度的准确性超过经典的主成分分析和支持向量机模型。

1。介绍

雪崩的天文数据预计完成调查最先进的望远镜,如斯隆数字巡天(SDSS)和大的天空,进一步研究多目标光纤光谱天文望远镜(LAMOST)区域。SDSS [1- - - - - -4进一步研究多目标光纤光谱望远镜)是一种被认为是世界上最具影响力的天文望远镜。数据发布16 (DR16) (5是第四个数据释放SDSS的第四阶段。LAMOST [6,7)是一种反射施密特望远镜的光轴沿着南北子午线固定。施密特镜子和主镜是分段。焦面圆的直径1.75米(∼5°),与4000年纤维均匀分布。

SDSS和LAMOST调查产生了大量的光谱数据。在天文学中,恒星光谱分类是基于光谱特征分类的恒星。分析了电磁辐射从恒星分裂与棱镜或衍射光栅成光谱表现出彩虹的颜色点缀着谱线。每一行表示一个特定的化学元素或分子,与线的强度指示元素的丰度。不同谱线的强度变化主要是因为光球层的温度,虽然在某些情况下丰富真实的差异。恒星的光谱类是一种短代码,主要总结了电离状态,从而提供一个客观的衡量光球层的温度。

随着计算能力的提高,机器学习和深度学习方法在天文学领域已经成为流行。Gabruseva et al。8)算法用于梯度提高决策树的自动分类为各种天体光度光曲线。李等人。9应用主成分分析(PCA)和随机森林分类恒星光谱(RF);他们在这个任务已经达到了93%的准确率。Vioque et al。10)发现693年经典是星星从大量的数据。亲爱的et al。11)取得优秀的成果在光谱分类1 d卷积神经网络(CNN)。

然而,大型巡天项目有大量的光谱数据与低信噪比(信噪比)。这些方法往往不能达到理想的结果,因为低信噪比的光谱。

要解决这些问题,这项工作旨在改进传统卷积神经网络的拓扑结构(CNN),和一个卷积神经网络(ECNN)模型和应用提出了提高分类精度。CNN是一个经典深勒存等提出的学习方法。12,13]。而不是依靠经验手动提取特征,CNN可以自动学习层次特性分层技术。整体学习(14- - - - - -19]是一种机器学习方法,结合多个个体学习者获得一个更好的结果。大多数现有的集成学习算法可以分为两组:提高算法(20.- - - - - -23)和装袋算法(24- - - - - -26]。前增加训练样本的重量,如演算法(20.,21),或构造的标签值(GBDT [22]和XGBoost [23])来训练每个薄弱的学习者。每个弱学习者彼此相关,后者弱学习者使用前弱的学习者的信息。后者火车每个弱学习者通过随机抽样原始训练样本集,并形成不同的训练样本集。大约每个薄弱的学习者可以被认为是独立的,和典型的代表是随机森林26]。随着机器学习的发展和深度学习,更多的集成学习算法被提出并在许多领域取得突破性进展。

在这项工作中,我们设计了一个卷积神经网络(ECNN)装袋的方式。通过建立多个基本分类器,轻轻将每个学习结果按照一定的集成策略,提高了模型的泛化能力,获得更好的结果比单一的基本分类器。

2。实验数据

斜小矮人在主序星阶段,是最常见的类型的银河系的星星(27]。斜小矮人亮度很低,一个小直径和质量,和表面温度低于3500 K,寿命长,因为内部氢聚变的速度是缓慢的28]。这样的天体存在在所有的银河系的进化阶段。因此,他们可以反映各种信息的星系演化时期,他们通常是用来跟踪银河系的结构和演化[29日]。除了其重要性在研究银河系的本质,斜小矮人是必要寻找系外行星可能适合人类居住。

总共有28925斜恒星光谱选择从SDSS-DR16不同信噪比分布的数据集。只有M0-M4的光谱选择由于缺乏M5-M9光谱。波长归一化到4000 - 9000,和每个原始光谱是规范化的通量数据预处理如下: 在哪里年代我代表了1维向量形成的光谱变化,意味着(•)的意思是因素,和b(-)是标准偏差。光谱的信噪比和类型是影响分类的两个重要因素。他们两个都这个实验的分析和讨论。分布的光谱子类类型和信噪比的实验光谱如图1。


图1
光谱子类和信噪比分布。

从图可以看出1,大多数的光谱较低信噪比(5 <信噪比< 10)。在随后的实验中,这些数据被分成训练集,验证集和测试集的比例6:2:2。具体来说,不同信噪比下每个子类划分的比例6:2:2,最后合并成三个数据集。通过这种方式,训练集、验证集,测试集,整体数据可以保持更好的一致性。

3所示。方法

3.1。基本的基于卷积神经网络分类器
3.1.1。卷积神经网络

典型的CNN架构有两个明显的特点:本地连接和重量共享。本地连接确保网络可以提取不同的地方特色,而重量大大减少了权重的数量必须共享培训。在这项工作中,CNN模型与不同的结构设计和一个CNN应用分类器。

CNN的一般结构通常包括一个输入、卷积,池、连接和输出层(30.]。作为最重要的部分CNN,卷积层主要用来提取特征。它使用多重卷积核卷上一层的特性和非线性映射结果通过激活函数,最终生成一个特征映射。卷积操作如下所示: 在哪里X的jth的特点nth层,M j输入特征图的设置, 代表了卷积的内核,b偏移量的值,然后呢f(.)是激活函数。在这个实验中使用的激活函数修正线性单元如下所示:

汇聚层,也称为downsampling层,主要是用于压缩的数据量和参数,从而减少计算量。共同max-pooling池方法和均值池。Max-pooling采用在这工作。完全连接层使用的CNN,和两层之间的所有神经元连接,如左边面板的图所示2。有效地缓解过度拟合训练过程中,这项工作辍学技术用于第一个完全连接层。在培训过程中,某些节点之间的连接被随机丢弃根据一定的概率,如右边面板的图所示2。


图2
CNN2的结构。

这项工作将Softmax原始输出层函数后,使用模型的原始输出变成一个概率分布,导致最终的输出层。假设原始模型的输出y1,y2、…yn,将Softmax函数计算使用以下方程:

3.1.2。基本分类器

在这项工作中,我们构建了六个CNN模型与不同结构的基本分类器。为了衡量分类的影响,我们使用叉损失函数测量的区别预测和分类器的真实分布的预测输出和使用反向传播来优化分类器的参数: 在哪里n表示数量的光谱,k显示类别的光谱, 显示的类 ,和 分类器预测的概率是 属于类j。

事实上,网络的深度有一个伟大的对学习效果的影响,和CNN1-CNN4 1 d卷积网络,从小型到大型不同深度。加工的尺寸数据的差异也影响了学习效果,和CNN5-CNN6二维卷积网络(13]。获取二维数据输入CNN5 CNN6,我们改变了原来的1×5000 1 d数据到两个不同的50×100 2 d数据通过使用以下方程:

CNN1-CNN6得到的结构参数表1,“1×5-16”表示卷积核的大小1×5和通道16岁。图2显示CNN2的结构。

表1
分类器的结构参数。
3.2。CNN合奏

一个经典装袋算法旨在训练k独立基础的学习者和集成的结果每个基本学习者获得强大的学习者。因此,有三个问题需要解决:(a)如何训练基地学习者和(b)如何将每个基本学习的结果。本文根据装袋算法,我们应用引导方法和加权投票的训练方法和集成策略,分别。整体模型的总体结构如图3。


图3
光谱子类和信噪比分布。

对问题一个为了实现一个强大的综合集成,基础学习者之间的差异应尽可能大,以及每个学习者的能力不能太坏,所以我们应用引导方法15]。在这个实验中,60%的光谱被随机选中整个训练数据,而20%的光谱被随机选中作为验证数据。对于每一个分类器,训练数据来自50%的整体随机抽样的训练集。分类器设计是不同的,如部分所示3.1。2。

对问题b,最受欢迎的集成策略之一是投票,包括多数表决,多数投票,和加权投票。六个CNN的基本分类器模型,该模型使用了加权投票的整合策略来获取最终的分类结果。假设的分类结果我th基分类器 ,分类结果F(x)的系综分类器可以使用以下公式计算: 在哪里 是计算 在哪里r代表每个基本分类器的精度的顺序从低到高光谱。

设置单个模型的期望和方差 和 ;然后,数学期望和方差的预测装袋 在哪里 表示预期的预测分类器我,n表示分类器的数量, 表明单一模型的相关系数。与n增加,方程(11)往往 ;这表明,装袋可以减少方差同时保持期望。

4所示。实验和分析

4.1。比较的方法

CNN的性能进行了测试,通过比较其与PCA +支持向量机(SVM)和PCA +射频,经典光谱分类方法。在这两种方法,首次使用PCA进行降维,特征提取50维度,然后,支持向量机的参数和射频进行调整,直到模型是最优的。CNN模型,一个合理的CNN网络结构第一次设计,然后,网格搜索寻找最优参数进行训练,最后输出训练模型。在对比实验中,CNN显示比其他方法拟合能力更强。表2总结了比较实验的结果。CNN模型表现出优良的性能在低信噪比谱分类任务。

表2
与其他方法进行比较。
4.2。培训过程的基分类器

培训的基本分类器,每个网络模型的最优参数输入通过网格优化法探讨了。早期停止策略是添加在培训过程中,防止过度拟合,并允许基分类器显示优良的性能和良好的泛化能力。的训练过程的一些基本分类器如图4。在培训过程中,分类器的准确率首先迅速收敛,然后稳步增加,表明训练我们的模型是稳定的和可靠的。


图4
每个基分类器的训练过程(从左到右和从上到下CNN1-CNN6)。
4.3。系综分类器的影响

这里的六种基本分类器训练是验证使用验证数据,和每个的重量基本分类器生成根据方程(8)。表3显示验证数据的准确性和相应的每个分类器的重量。网络的深度和输入数据的尺寸都有一个对分类结果的影响。

表3
准确性和分类器的重量。

在表3发现,肤浅的卷积网络更适合光谱分类的任务。相比之下,深层网络遭受梯度和梯度爆炸消失由于自己的深层结构。此外,参数调优是困难的和高训练开销是必需的。相比之下,浅卷积网络泛化能力强和低的优势培训开销。训练后,肤浅的网络可以达到相同的性能随着深层结构网络,他们也可以有一个更好的泛化性能的评价集。

由于一维光谱数据,我们可以很明显看到,一维卷积的效果明显优于两位卷积。

然后,合奏CNN分类器构造根据整合策略提出。六种基本分类器的准确性和系综分类器在测试数据图所示5。


图5
每个分类器的工作。

经过调整和训练,基本分类器实现一个相对理想的性能。如图5,系综分类器精度最高,接近95%,展示的优势集成策略。鉴于每个分类器的训练数据有一定程度的独立性,基分类器有一定的差异,这些分类器的集成和一定程度的独立从而减少方差和保持的数学期望,从而提高集成的性能模型。然而,这种方法的成本改善模型性能的方法是一个高的计算开销。

5。讨论和结论

这项工作集中在提取恒星光谱的卷积特性通过CNN和评估的有效性分析恒星光谱分类。提高光谱采样的鲁棒性在培训过程中,这项工作提出了一个合奏CNN学习模式取代传统的模型。实验结果证明,1 d CNN可以提取更多有效的光谱特性实现恒星类型分类与传统方法相比。和提出的整体模型可以显著提高分类器的性能通过集成多个基本分类器,证明了整体学习天文光谱分类的有效性。这里描述的方法不仅适用于SDSS也是对其他特定光谱进行分类,比如恒星和星系的对象。

数据可用性

SDSS数据用于支持本研究的结果可从SDSS网站(http://www.sdss.org)。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是在山东省自然科学基金的支持下,中国(没有。ZR2020MA064)。斯隆数字巡天IV经费提供的斯隆基金会,美国能源部科学办公室,和参与机构。SDSS承认支持和资源从犹他大学高性能计算中心。作者承认光谱从LAMOST SDSS的使用。