标志”src=

计算智能和神经科学
PDF
计算智能和神经科学/2020年/文章

研究文章|开放获取

体积 2020年 |文章的ID 7980434 | https://doi.org/10.1155/2020/7980434

韩惠珍Kim Min唱公园,崔Byung金Seung-Hyun月亮,Yong-Hyuk金姆, ”时空的方法用于质量控制和纠错的大气数据通过机器学习”,计算智能和神经科学, 卷。2020年, 文章的ID7980434, 12 页面, 2020年。 https://doi.org/10.1155/2020/7980434

时空的方法用于质量控制和纠错的大气数据通过机器学习

韩惠珍金,1 圣民公园,2 崔Byung金,2 Seung-Hyun月球,3 和 Yong-Hyuk金1

1Kwangwoon大学计算机科学系20 Kwangwoon-ro Nowon-gu, 01897年首尔,韩国

2研发中心,Jubix有限公司,b - 808, Gunpo山谷,17日Gosan-ro 148 beon-gil Gunpo-si,京畿道15850年,韩国

3计算机科学与工程系,首尔国立大学,1 Gwanak-ro Gwanak-gu, 08826年首尔,韩国

学术编辑器:莱昂纳多佛朗哥
收到了 2019年11月05
修改后的 2020年1月13日
接受 2020年1月28日
发表 2020年3月11日

文摘

我们提出三个质量控制(QC)技术使用机器学习取决于输入数据的类型用于培训。这些包括QC基于时间序列的一个天气元素,QC基于时间序列结合其他天气元素,和QC使用时空特征。我们执行机器上优于QC在每个天气元素的大气数据,如温度,从七种获得物联网传感器和应用机器学习算法,支持向量回归等数据有错误作出有意义的估计。通过使用根均方误差(RMSE),我们提出的性能评估技术。因此,QC做与其他天气元素RMSE平均低于0.14% QC只有一个天气元素进行的。在质量控制与时空特征考虑,QC通过培训与AWS数据显示性能RMSE低17%比QC只有原始数据。

1。介绍

大气数据实时收集在许多应用程序中用于各种目的,如医疗保健(1和自然灾害打击2]。出于这个原因,收集到的大气数据的高稳定性的重要性。此外,收集到的原始数据对他们的分析有很大的影响,研究需要确保稳定的大气数据。稳定的大气数据的关键因素之一是错误数据。错误数据等各种原因可能发生故障的设备,网络问题,或沟通问题,所有这些都可以在数据分析结果产生重大影响。由于这些原因,质量控制(QC)用于确定错误数据。此外,相应的插值用于取代错误数据和更精确的数据。插入更准确地比传统的线性插值等方法,基于机器学习的有一个方法(3- - - - - -9]。

使用机器学习的研究时间序列数据在很大程度上进行预测天气和股票价格(10- - - - - -14]。有几个相关的先前的研究大气数据的各种应用程序通常使用机器学习的方法。作为一个主要的例子,科尔特斯和莫莱斯15)开发了一个系统通过气象数据预测森林火灾。在这个研究中,数据挖掘的方法被用来预测森林火灾爆发。使用五个方法,包括支持向量机(SVM)和随机森林,他们能够通过数据挖掘应用于气象数据预测火灾从东北地区的观测所获得的葡萄牙。空间校正通过机器学习是一个活跃的研究课题4- - - - - -6]。金等。4)提出了一种修正方法,空气压力从微机电压力传感器获得的数据嵌入到智能手机。的校正方法,利用线性回归和校正进行了基于质量控制进行空间位置、温度、湿度、和个人用户。克服的缺点标准自动气象站(aws), Ha et al。5)建造了一个小型移动mini-AWS。Mini-AWSs有利的安装,操作,和维护成本,以及减少了安装空间要求。然而,需要校正的安装面积可能受到外部环境的影响。为此,他们使用机器学习空气压力的修正数据。金等。6)对空气压力数据进行聚类和回归获得智能手机通过分类根据时域。此外,他们分析了机器学习方法的结果,如多层感知器(MLP)和支持向量回归(SVR)。当与期望最大化聚类回归分析时,SVR的平均绝对误差降低了26%平均比没有分析过程的结果。李等人。7)是第一个尝试使用时间序列数据修正。他们纠正异常AWS采集的数据进行了研究。使用机器学习为基础,三种评估模型(决策树、人工神经网络和SVR)提出和比较现有的估计和插值方法。5年内和超过692个地点在韩国,他们发现它是更好地估计比现有方法参考价值。金和金8]提出了递归神经网络模型误差校正的流浪汉观测数据。通过实验,大约14%的数据修正和流浪汉移动预测的性能提高了1.4%左右。李等人。9)是第一个尝试使用机器学习空间QC。在他们的研究中,利用SVR检测并纠正异常观测值。测试与实时数据显示方法利用SVR低45%平均均方误差(RMSE)比基线估计。

正如这些例子所显示的,大气数据的使用机器学习的研究活跃。特别是,有许多研究使用机器学习空间QC和修正。在这项研究中,我们基于机器学习进行时空QC使用多点时间序列数据,我们提出三个质量控制技术,依赖于特定类型的训练数据。第一种技术,基于机器学习QC使用齐次时态数据(MLQC-HT)的预测是当前观测值对于一个给定的天气元素通过使用数据从过去10分钟进行训练。第二个技术,基于机器学习QC使用非齐次时态数据(MLQC-NT),是当前观测值的预测天气对于一个给定的元素通过使用数据从过去10分钟在同一天气元素,以及从其他天气元素当前值。最后,基于机器学习使用时空数据质量控制(MLQC-ST)是独立于前两种方法是机器学习的数据从传感器在不同地点同时实例通过使用时空特征。通过基于机器学习的这三个技术,我们进行质量控制,和原始数据错误检测到机器学习估计被纠正。

本文的其余部分组织如下:首先,在部分2,使用的传感器和大气数据介绍了这项研究。此外,本节将介绍预处理和基于机器学习的基本质量控制进行质量控制。节3我们使用的机器学习技术,比如SVR [16),决策表(DT) [17中长期规划),(18),以及质量控制方法根据数据类型如MLQC-HT MLQC-NT,和MLQC-ST每个部分中描述。部分4解释了实验方法和环境,本节描述实验结果根据应用的质量控制方法。最后,部分5总结了本研究的结论,提出了潜在的研究。

2。气象数据

2.1。物联网传感器

00之间七天我们收集详细的数据:4月30日2nd24:00 4月8日th2018年,来自七个不同的物联网传感器位于Deokyang-gu Goyang-si,韩国京畿道(经度,纬度:37.708:126.895),如图1。物联网传感器使用的类型和天气观测元素如表所示1,传感器都安装在同一时间在12月9日,2016年。收集到的观测数据预处理根据传感器的类型。在太阳辐射的情况下,因为它是culminative数据,转化为瞬时数据单元的分钟。另外,风向( )和风速( )数据, 是风矢量,转换成吗 和 ,分别。的转换 和 见以下方程:


图1
物联网传感器安装的位置(经度,纬度:37.708:126.895)从谷歌地图(https://www.google.com/maps)。
天气因素 类型的传感器 物理限制(7] 时间一致性 持久性
最小值 马克斯 最大变化 最小值变化
温度(°C) mht - 100 t −40 60 0.1 0.1
湿度(%) mht - 100 t 0 One hundred. 1 1
叮咬(W / m2) su - 100 - - - - - - - - - - - - - - - - - - - - - - - -
Air-PM2.5 (μ/ m3) es - 642 0.1 359.9 - - - - - - - - - - - -
太阳辐射(W / m2) sp - 110 0 1500年 - - - - - - - - - - - -
风向(程度) fst200 - 202 0 360年 - - - - - - - - - - - -
风速(米/秒) fst200 - 201 0 75年 1 0.5
表1
传感器信息采集气象数据和细节的基本质量控制。
2.2。基本的质量控制

对收集到的气象数据,显然错误的数据过滤基本qc增加过滤后的数据是真实的可能性。基本质量控制进行顺序立即通过传感器检测异常数据。在本研究进行的三个基本质量控制使用的李et al。9)由一个物理极限测试、时间一致性测试和持久性测试。首先,物理极限试验确定一个值作为一个错误,如果测量值大于最大值或低于最小值。一致性测试的时间决定了一个错误,如果当前物联网传感器测量和数据之间的差异从一分钟前大于阈值。最后,持久性测试确定一个错误如果价值波动的大小没有达到60分钟内参考尺寸。我们应用这些测试过滤的数据肯定是假的可能性增加过滤数据是真实的。然而,过滤后的数据可能仍然包含噪声数据。没有地面实况信息,但通过这些测试,我们的实验在过滤后的数据被视为可能是真实的。预计,如果过滤数据整体真实的,我们的结果是可靠的。每个天气正常范围内引用值元素的基本质量如表所示1。此外,错误检测的结果序列的应用基本QC收集的数据如表所示2。
天气因素 物理限制 时间一致性 持久性
#犯错 率正常的(%) #犯错 率正常的(%) #犯错 率正常的(%)
温度 0 One hundred. 251年 97.50 13 99.87
湿度 0 One hundred. 798年 92.07 2475年 75.40
叮咬 0 One hundred. 0 One hundred. 0 One hundred.
PM2.5 34 99.66 0 One hundred. 0 One hundred.
太阳辐射 0 One hundred. 0 One hundred. 0 One hundred.
风向 0 One hundred. 0 One hundred. 0 One hundred.
风速 0 One hundred. 1571年 84.38 402年 96.00
气象数据的数量是10050。
表2
基本的质量控制的结果。
2.3。输入数据的插值

异常的数据,确定了基本的质量控制进行插值作为机器学习的训练输入数据。如果确定为一个错误的数据基本质量控制不是连续的,每个人都不是一开始或结束训练输入数据的长度,每个错误纠正了线性插值无论错误的数量。相反,如果连续两个数据点的开始或者结束需要修正,整个数据集的时间排除在外。插值完成排除所有数据对于一个给定的时间步如果插值数据从这个过程决定是一个错误。通过不同的实验,我们比较了机器学习的表演以这种方式使用数据插值对机器学习使用noninterpolated数据。

3所示。基于机器学习的质量控制

3.1。机器学习方法

在这项研究中,主要的机器学习算法,如SVR, DT,中长期规划和用于进行基于机器学习的质量控制。SVR在机器学习领域是一个有用的技术,使用支持向量机(19,20.)执行回归(21]。SVR的统计方法,从训练数据创建一个回归函数。我们使用另一个机器学习算法DT。该算法采用决策树是一个预测模型,它允许一个清晰的视觉识别决策过程的方法。最后,中长期规划(22)是一个典型的机器学习算法的多层神经网络结构作为SVR和DT。该算法利用反向传播(23)分类实例,因为它是一个与至少一个隐层神经网络现有的输入和输出层之间。

我们执行MLQC-HT,独立通过SVR火车每个天气元素,DT,并简要分析其结果。基于性能的分析结果,选择SVR和应用于MLQC-NT MLQC-ST,因为它被认为是最有意义的三个机器学习算法。详细描述的三个节给出了基于机器学习的质量控制技术3所示。2。

3.2。基于机器学习的质量控制

我们提出三个基于机器学习质量控制技术根据输入数据用于训练的时空特征。

3.2.1之上。基于机器学习使用齐次时态数据质量控制

MLQC-HT技术,利用过去的数据的观察一个天气元素为质量控制培训。我们执行基本的QC过去10分钟的独立观测数据从每个天气元素,然后应用线性插值数据确定为错误和使用它们作为训练输入数据生成模型如图2。机器学习模型生成的评估通过10倍交叉验证(24]。基于该模型生成的机器学习从过去10分钟,每个天气元素的当前估计独立计算。随后,标准偏差(σ从过去10分钟计算)的数据设置范围通过基于机器学习的质量控制。在李的方法等。7),我们设定的误差范围通过基于机器学习质量控制方程(2)。如果估计生产使用机器学习落在这个范围内,它被认为是正常的,如果它的范围内,这被视为一个错误:


图2
描述数据估计在QC使用齐次时态数据。
3.2.2。基于机器学习使用非齐次时态数据质量控制

MLQC-NT天气要素的质量控制是一个技术培训与来自多个不同类型的天气的数据元素。每个天气元素的质量控制,我们用过去十分钟的数据从相同的天气元素和其他类型的天气元素作为训练输入数据。在当前数据的基本质量控制与其他类型的天气元素和过去10分钟的数据选择的天气元素,数据确定一个错误是线性插值和作为训练数据产生模型,如图3。这QC方法也有一个模型生成的机器学习评估通过10倍交叉验证。此外,当前每个天气元素的估计是通过机器学习所产生的模型。此外,基于机器学习的传递范围QC设置通过计算标准差(σ)有关天气的训练数据元素(方程(2))。如果估计由机器学习在设定范围内,它被认为是正常的,如果这个范围内,这被视为一个错误。


图3
描述数据估计在QC使用非齐次时态数据估计。
3.2.3。基于机器学习使用时空数据质量控制

MLQC-ST QC,执行数据从传感器在不同的位置。这是独立于MLQC-HT和MLQC-NT进行。MLQC-ST发现错误的技术获得的数据是真实的从空间的观点。此外,近似找到错误从空间的角度来看是更加困难比从时间的角度来看。对于这种方法的测试,我们收集的数据从八个地点Goyang-si,韩国京畿道(见表3的详细信息),并使用相同的时间步大气数据从每个点训练输入数据。我们的位置传感器安装数据采集图所示4并贴上“A”——“H”。“J”和“K”aws,和从这些获得的数据可选作为给定的输入数据质量控制技术。基本质量控制和线性插值后的错误,每个点收集的数据作为训练数据来生成一个模型如图5。这个质量控制技术也经历了10倍交叉验证进行评估。目前每个天气元素的估计是通过机器学习所产生的模型。此外,标准偏差(σ)计算训练数据集的传递范围机器学习QC(方程(2))。如果估计从机器学习是在设定范围内,它被认为是正常的,如果超出这个范围,它被视为一个错误。
位置 地理坐标(经度、纬度、高度)
一个 37.6983,126.7524,22米
B 37.7078,126.8951,127
C 37.7025,126.9011,60米
D 37.6305,126.8353,19米
E 37.6819,126.7632,25米
F 37.6426,126.8175,25米
G 37.6371,126.8364,22米
H 37.6283,126.8376,34米
J 37.6343,126.8917,26米
K 37.6555,126.8334,16米
表3
位置信息的传感器用于数据收集。

图4
地图的位置安装传感器(“A”-“H”:物联网传感器数据;“J”和“K”:从谷歌地图AWS数据)。

图5
描述数据估计在QC使用时空数据估算。

4所示。结果

我们配置实验环境与AMD Ryzen 5 1600 x在3.60 GHz CPU(台)和16 GB的内存。我们也用的怀卡托环境知识分析(WEKA)包25,26)来实现三个质量控制技术通过10倍交叉验证和评估它们。因为10倍交叉验证的性能通常是检查与平均值(27- - - - - -31日),我们显示的平均RMSE 10倍。的参数应用到每个机器学习技术如下。SVR的训练输入数据归一化在0.0和1.0之间使用多项式核(32]。此外,序列最小优化算法(33)是用作回归参数的优化算法。输入神经元电路的延时变化通过质量控制技术,MLQC-NT 10 MLQC-HT和16。MLQC-ST有7个输入神经元在默认情况下,可选9,使用额外的AWS的数据。中长期科学训练与一个隐藏层,5隐藏神经元,一个输出神经元,学习速率为0.3和500年的时代。乙状结肠被用作一个激活函数。最后,最好优先搜索用于DT。组合使用的DT的性能评估是基于精度和RMSE [34]。DT,计算熵值在0和1之间通过应用包含的每个类值的对数和添加所有值。三种质量控制方法的性能提出了基于RMSE评估。此外,实际观察和预测的值之间的相关性机learning-generated模型可以通过皮尔森相关系数。

首先,MLQC-HT是一个独立的方法执行QC每个天气元素,其结果如表所示4。平均插值数据的均方根误差为39%低于原始数据。在三种机器学习方法,SVR最好RMSE比其他机器学习算法对所有天气元素不包括太阳辐射。从这些机器学习算法,SVR显示11%的RMSE值低于平均延时和32%低于DT当训练数据插值和QC的QC原始数据一起训练。出于这个原因,SVR被认为最有意义的结果;因此,机器学习方法MLQC-NT和MLQC-ST将SVR。
方法 天气因素 原始数据 插入数据
相关系数 RMSE 3σ错误 时间(秒) 相关系数 RMSE 3σ错误 时间(秒)
#呃/ #总 率犯错(%) #呃/ #总 率犯错(%)
SVR 温度 1.000 0.0589 292/10050 2.91 1464年 1.000 0.0556 287/9665 2.97 1402年
湿度 0.9995 0.6456 148/10050 1.47 2378年 0.9997 0.4712 129/6429 2.01 798年
叮咬 0.9919 1.7307 4508/10050 44.86 2202年 0.9919 1.7307 4508/10050 44.86 2202年
PM2.5 0.9209 8.1594 390/10050 3.88 888年 0.9834 3.6107 388/10013 3.87 928年
太阳辐射 0.9062 0.0049 138/10050 1.37 1126年 0.9062 0.0049 138/10050 1.37 1126年
u 0.7576 0.5815 432/10050 4.30 717年 0.7739 0.3589 332/7254 4.58 245年
0.7639 0.7385 565/10050 5.62 704年 0.7837 0.4251 436/7254 6.01 219年
中长期规划 温度 0.9999 0.0662 1710/10050 17.01 53 0.9999 0.0648 493/9665 5.10 46
湿度 0.9993 0.7906 1585/10050 15.77 53 0.9996 0.5484 281/6429 4.37 31日
叮咬 0.9902 1.9707 3688/10050 36.70 49 0.9902 1.9707 3688/10050 36.70 49
PM2.5 0.9039 8.9938 772/10050 7.68 54 0.9805 3.9132 405/10013 4.04 50
太阳辐射 0.9016 0.0051 88/10050 0.88 50 0.9016 0.0051 88/10050 0.88 50
u 0.6273 0.7208 1006/10050 10.01 52 0.654 0.4535 419/7254 5.78 34
0.7256 0.7901 1420/10050 14.13 53 0.7075 0.4935 478/7254 6.59 16
DT 温度 0.9943 0.6297 7680/10050 76.42 4 0.9945 0.6095 7716/9665 79.83 2
湿度 0.9947 2.1775 6752/10050 67.18 5 0.9937 2.2225 4315/6429 67.12 1
叮咬 0.9796 2.7371 7033/10050 69.98 2 0.9796 2.7371 7033/10050 69.98 2
PM2.5 0.8968 9.2503 3466/10050 34.49 8 0.9704 4.7958 3398/10013 33.94 2
太阳辐射 0.9181 0.0045 136/10050 1.35 2 0.9181 0.0045 136/10050 1.35 2
u 0.6854 0.6418 794/10050 7.90 5 0.7202 0.391 501/7254 6.91 2
0.7130 0.7959 1158/10050 11.52 4 0.7337 0.464 613/7254 8.45 2
SVR支持向量回归,延时是多层感知器,DT是决策表。
表4
比较MLQC-HT结果原始数据和插入数据。

MLQC-NT不仅仅是一种使用方法给定天气元素,而且其他相关天气元素执行QC。其结果如表所示5。MLQC-HT相似,这种方法也进行了单独的实验训练数据插值和基本应用QC和培训原始数据。QC原始数据上执行时使用此方法,RMSE低于0.16%时质量控制进行原始数据的利用MLQC-HT SVR。此外,QC插值数据显示RMSE MLQC-NT方法低0.11%。通过这个,它验证了基于机器学习质量控制执行与其他天气元素结合比独立天气元素上执行基于机器学习的质量控制。
天气因素 原始数据 插入数据
相关系数 RMSE 3σ错误 时间(秒) 相关系数 RMSE 3σ错误 时间(秒)
#呃/ #总 率犯错(%) #呃/ #总 率犯错(%)
温度 1.0000 0.0586 177/10050 1.76 1363年 1.0000 0.0553 192/9665 1.99 1487年
湿度 0.9995 0.6424 504/10050 5.01 6881年 0.9997 0.4690 185/6429 2.88 3298年
叮咬 0.9919 1.7307 4039/10050 40.19 5995年 0.9919 1.7307 4039/10050 40.19 5995年
PM2.5 0.9211 8.1466 382/10050 3.80 5400年 0.9834 3.6097 372/10013 3.72 3044年
太阳辐射 0.9388 0.0039 52/10050 0.52 3605年 0.9388 0.0039 52/10050 0.52 3605年
u 0.7592 0.5801 560/10050 5.57 1414年 0.7772 0.3563 386/7254 5.32 543年
0.7650 0.7378 591/10050 5.88 1496年 0.7848 0.4244 451/7254 6.22 580年
表5
比较MLQC-NT利用SVR对原始数据和插值结果数据。

MLQC-ST QC方法,应用时空特征的观测数据和MLQC-HT和MLQC-NT独立运作。换句话说,在MLQC-HT RMSE值和MLQC-NT MLQC-ST不能相比。在这种方法中,质量控制是由每个天气元素关联数据从物联网传感器安装在每个8 Goyang-si位置。通常这个QC方法中使用的所有数据都收集在八个地点。换句话说,数据被排除在外,如果他们从任何点都省略了。此外,额外的质量控制是由使用AWS数据从外部物联网与大气数据传感器。使用AWS数据包括温度、湿度、风向、风速、测试进行共有四天气元素组成的温度、湿度、 ,和 。的平均结果8位置MLQC-ST表现如表所示6和QC对AWS数据如表所示7。质量控制与AWS数据执行时,RMSE的温度、湿度、 ,和 平均低17%比只在原始数据质量控制进行。
天气因素 相关系数 RMSE 3σ错误 时间(秒)
#犯错 率犯错(%)
温度 0.9968 0.4408 101年 1.02 1037.25
湿度 0.9943 2.1522 135年 1.36 1156.625
叮咬 0.9281 4.6200 1815年 18.33 1302.25
PM2.5 0.8982 9.6520 393年 3.97 578.5
太阳辐射 0.8122 0.0072 10 0.10 83.125
u 0.3927 0.5180 764年 7.72 541.75
0.4869 0.6256 554年 5.60 563.25
总天气数据的数量是9900。
表6
利用SVR MLQC-ST结果原始数据。
天气因素 相关系数 RMSE 3σ错误 #省略数据 时间(秒)
#呃/ #总 率犯错(%)
温度 0.9975 0.3863 19/7923 0.24 1742年 1048.5
湿度 0.9927 1.8442 20/4406 0.45 2023年 121.375
u 0.3659 0.3750 15/2029 0.74 5225年 10.5
0.5347 0.4845 28/2029 1.38 5225年 9.875
表7
一起MLQC-ST结果原始数据利用SVR AWS数据。

我们还通过估计基于MLQC-HT和MLQC-NT作为最后的正常数据在经历了整个过程的基本质量控制,MLQC-HT MLQC-NT, MLQC-ST。评估的结果从两个机器上优于QC方法如表所示8。质检结果进行最后的正常数据通过MLQC-HT和MLQC-NT方法给平均均方根误差为0.8990和0.8971,分别对所有天气元素。通过这个,这是发现MLQC-NT估计比从MLQC-HT估计有更好的性能。此外,还发现,排除叮咬,所有大气数据估计用最后的正常数据进行顺序QC比估计精度高的结果包括由错误。估计数据图中可以看到6这情节u数据图。可以看到原始数据绘制在图6(一)。图6 (b)显示数据估计MLQC-HT和图6 (c)显示估计由MLQC-NT。为了更好的比较,图7(一)显示MLQC-HT之间的区别和MLQC-NT整个时期。图7 (b)显示了一个覆盖图和提取领域表现出了明显的差异。图7 (c)显示MLQC-NT之间的区别和MLQC-HT在提取的地区。通过这个图,可以看到数据使用基于机器学习的质量控制和验证估计比MLQC-HT MLQC-NT能够更准确的估计。
天气因素 #数据 平均 MLQC-HT MLQC-NT
相关系数 RMSE 时间(秒) 相关系数 RMSE 时间(秒)
温度 9346年 8.5291 (5.9146) 1.0000 0.0516 1376年 1.0000 0.0514 4111年
湿度 6229年 77.0694 (21.1415) 0.9998 0.4256 1043年 0.9998 0.4240 2522年
叮咬 5432年 8.4278 (13.6254) 0.9909 2.0303 583年 0.9910 2.0243 1337年
PM2.5 9613年 21.8624 (20.9066) 0.9877 3.0947 1366年 0.9877 3.0933 2709年
太阳辐射 9896年 0.0064 (0.0114) 0.9176 0.0045 1244年 0.9484 0.0036 1518年
u 6844年 −0.6097 (0.8803) 0.8066 0.3117 255年 0.8101 0.3089 360年
6788年 −0.2789 (1.1347) 0.8102 0.3751 308年 0.8110 0.3746 493年
平均 - - - - - - - - - - - - 0.9304 0.8990 - - - - - - 0.9354 0.8971 - - - - - -
括号里的数字是标准偏差。
表8
估计最后的结果利用SVR正常数据。
(一)”name=
(一)
(b)”name=
(b)
(c)”name=
(c)
图6
图的u数据。(一)原始数据u。(b)的修正数据u使用MLQC-HT。(c)修正数据u使用MLQC-NT。
(一)”name=
(一)
(b)”name=
(b)
(c)”name=
(c)
图7
比较原始数据和两个修正数据(MLQC-HT和MLQC-NT)。(一)可视化MLQC-HT之间的差距和MLQC-NT(整个时期)。(b)比较三种类型的数据(提取时间)。(c)可视化MLQC-HT和MLQC-NT(提取时间)。

5。结论

尽管积极的研究空间QC和校正使用机器学习在最近一段时间,这项研究是基于机器学习的第一次尝试时空QC进行多点时间序列数据。在这项研究中,提出了三种基于机器学习的方法对大气数据根据其执行QC时空特征。此外,QC方法构建适合训练数据的类型和RMSE作为一个指标来比较三种质量控制方法的性能。总的来说,这是确认机器上优于QC训练与线性插值数据有更好的性能。比较三种基于机器学习的质量控制方法在这项研究中,讨论MLQC-NT,进行基于机器学习的质量控制与其他类型的天气元素相结合,发现性能优越于MLQC-HT执行机器上优于QC天气在每个独立元素。此外,MLQC-ST,进行独立的前两个方法,显示改进的性能对温度,湿度, ,和 当执行QC一起AWS数据包括,而不是只有原始数据。此外,当最后一个正常数据,经历了基本的质量控制和基于机器学习的三个QC方法,估计MLQC-HT和MLQC-NT的RMSE MLQC-NT-based估计较低。总的来说,估计用最后的正常数据,它经历了基本质量控制和三本研究提出的基于机器学习的质量控制方法,显示优越的性能估计由错误数据包括在内。

在未来的研究中,预计QC和校正使用机器学习将进一步提高性能通过理解关系与其他数据通过减少维等方法技术(35- - - - - -37]。此外,这项研究可能会导致实际的基础研究收集的数据和预测的估值等传感器故障。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

非常感谢先生可能Soo李Jubix有限公司研究员实验中提供的帮助他。目前的研究已经由Kwangwoon大学2020年的研究资助。这项研究受到了技术进步的格兰特(19 ctap-c130567-03)研究项目(TARP)由土地、基础设施和交通的韩国政府。这项研究也是一个项目的一部分题为“海上溢油风险评估和响应支持系统通过大数据分析的发展由韩国海岸警卫队。

引用

  1. w·赵罗x, t .秋,“智能医疗”应用科学,7卷,不。11日,2017年。视图:出版商的网站|谷歌学术搜索
  2. 美国他,:s Chakraborty s Ghosh A . Chakrabarti和b . Chakraborty”回顾应用数据挖掘技术来对抗自然灾害,”Ain Shams工程杂志,9卷,不。3、365 - 378年,2018页。视图:出版商的网站|谷歌学术搜索
  3. 周宏儒。金,h·s·李,b . j . Choi和中州。金,“基于机器学习的质量控制和误差修正使用齐次颞物联网传感器收集的数据,”《韩国社会融合,10卷,不。4,17-23,2019页。视图:谷歌学术搜索
  4. 纽约。金,中州。金,y Yoon, h。Im,崔r·k·y, y . h·李,“纠正气压数据收集的MEMS传感器在智能手机领域,“杂志上的传感器文章ID 245498卷,2015年,10页,2015。视图:出版商的网站|谷歌学术搜索
  5. 黄永发。哈,中州。金,h。Im,纽约。金,美国Sim和y Yoon”,气象数据的误差修正得到Mini-AWSs基于机器学习,”气象学的进展卷,2018篇文章ID 7210137、8页,2018。视图:出版商的网站|谷歌学术搜索
  6. 中州。金,黄永发。哈,y Yoon et al .,“改进修正获得大气压力数据通过机器学习的智能手机,“计算智能和神经科学卷,2016篇文章ID 9467878, 12页,2016。视图:出版商的网站|谷歌学术搜索
  7. M.-K。李,工程学系。月亮,中州。金,B.-R。月亮”,纠正异常气象数据的机器学习”学报2014年IEEE国际会议系统,人,控制论(SMC)圣地亚哥,页888 - 893,美国2014年10月。视图:出版商的网站|谷歌学术搜索
  8. g . d。金和中州。金,“流浪汉数据使用递归神经网络校正”,《韩国社会融合,9卷,不。3、15至21,2018页。视图:谷歌学术搜索
  9. M.-K。李,工程学系。月亮,y Yoon,中州。金,B.-R。月亮,“检测异常气象数据使用支持向量回归,”气象学的进展ID 5439256条,卷。2018年,14页,2018。视图:出版商的网站|谷歌学术搜索
  10. j·帕特尔沙,p .塔迦尔,k . Kotecha”预测股票和股票价格指数运动使用确定性趋势数据准备和机器学习技术,”专家系统与应用程序,42卷,不。1,第268 - 259页,2015。视图:出版商的网站|谷歌学术搜索
  11. r .破折号和p . k .破折号混合股票交易框架集成技术分析与机器学习技术,”《金融和数据科学》杂志上,卷2,不。1,42-57,2016页。视图:出版商的网站|谷歌学术搜索
  12. 麦克纳利,j .罗氏,卡顿,“比特币的价格预测使用机器学习,”Euromicro国际会议的程序并行、分布式和基于网络的处理剑桥大学,页339 - 343年,英国,2018年3月。视图:出版商的网站|谷歌学术搜索
  13. a . Khosravi r . n . n . Koury l . Machado和j·j·g . Pabon”每小时预测太阳辐射在阿布·穆萨岛使用机器学习算法,”《清洁生产卷,176年,第75 - 63页,2018年。视图:出版商的网站|谷歌学术搜索
  14. 陆w .长,z, l .崔”深上优于特性为股票价格运动预测工程,“以知识为基础的系统卷,164年,第173 - 163页,2019年。视图:出版商的网站|谷歌学术搜索
  15. p·科尔特斯和A·莫莱斯”数据挖掘的方法来预测森林火灾使用气象数据,”《13日葡萄牙人工智能大会吉马良斯,页512 - 523年,葡萄牙,2007年12月。视图:谷歌学术搜索
  16. A . j . Smola和b . Scholkopf教程支持向量回归。”统计和计算,14卷,不。3、199 - 222年,2004页。视图:出版商的网站|谷歌学术搜索
  17. 美国w .狗”,决策表的翻译”,ACM计算调查》第六卷,没有。2、125 - 151年,1974页。视图:出版商的网站|谷歌学术搜索
  18. f . Rosenblatt神经动力学原理:感知器和大脑机制的理论,康奈尔大学航空实验室Inc .,布法罗,纽约,美国,1961年。
  19. 范德维尔j . k . Suykens和j .最小二乘支持向量机分类器”,神经处理信件,9卷,不。3、293 - 300年,1999页。视图:出版商的网站|谷歌学术搜索
  20. s . k . Shevade s . s . Keerthi c . Bhattacharyya和k·r·k·没吃,“SMO算法的改进支持向量机回归。”IEEE神经网络,11卷,不。5,1188 - 1193年,2000页。视图:出版商的网站|谷歌学术搜索
  21. n . r . Draper和h·史密斯,应用回归分析美国新泽西州霍博肯市威利,第3版,1998年版。
  22. s . k . Pal和s . Mitra多层感知器、模糊集和分类。”IEEE神经网络,3卷,不。5,683 - 697年,1992页。视图:出版商的网站|谷歌学术搜索
  23. m . Riedmiller h·布劳恩,“直接自适应方法更快的反向传播学习:RPROP算法”《IEEE国际会议上神经网络,页586 - 591年,旧金山,美国,1993年3 - 4月。视图:谷歌学术搜索
  24. r . Kohavi”,交叉验证的研究和引导精度估计和模型选择”人工智能国际联合大会组织,14卷,不。2、1137 - 1145年,1995页。视图:谷歌学术搜索
  25. e·弗兰克·m·a·霍尔,即h·威滕数据挖掘:实用机器学习工具和技术美国摩根Kaufmann伯灵顿,马,第四版,2016年。
  26. m·霍尔·e·弗兰克,g .福尔摩斯b . Pfahringer p . Reutemann和i . h .威滕”WEKA数据挖掘软件:一个更新”,ACM SIGKDD探索通讯,11卷,不。1,10 - 18,2009页。视图:出版商的网站|谷歌学术搜索
  27. k·雷诺兹,a . Kontostathis和l·爱德华兹,“使用机器学习来检测网络欺凌,”学报2011年10日机器学习和应用国际会议和研讨会火奴鲁鲁,页241 - 244年,美国,2011年12月,你好。视图:谷歌学术搜索
  28. n . Sharma p·沙玛,d·欧文·谢诺”预测太阳能发电使用机器学习,从天气预报”《2011年IEEE国际智能电网通信(SmartGridComm)会议上,页528 - 553年,布鲁塞尔,比利时,2011年10月。视图:出版商的网站|谷歌学术搜索
  29. a . m . Chekroud r . j . Zotti z Shehzad et al .,“Cross-trial预测在抑郁症治疗效果:机器学习的方法,”《柳叶刀》精神病学,3卷,不。3、243 - 250年,2016页。视图:出版商的网站|谷歌学术搜索
  30. r . Gargeya t愣,“自动识别使用深度学习的糖尿病性视网膜病变,”眼科学,卷124,不。7,962 - 969年,2017页。视图:出版商的网站|谷歌学术搜索
  31. l . Tapak n . Shirmohammadi-Khorram p . Amini b . Alafchi o .哈米迪和j . Poorolajal”预测生存和转移的乳腺癌患者使用机器学习分类器,”临床流行病学和全球健康,7卷,不。3、293 - 299年,2019页。视图:出版商的网站|谷歌学术搜索
  32. y . Goldberg和m . Elhadad plitSVM:快速、空间、充分,多项式内核为NLP应用程序计算,”学报ACL-08:停止哥伦布,页237 - 240年,哦,美国,2008年6月。视图:谷歌学术搜索
  33. j·c·普拉特,“序列最小优化:一个快速算法训练支持向量机,”微软,华盛顿特区,美国,1998年,技术报告,msr - tr - 98 - 14所示。视图:谷歌学术搜索
  34. t·柴和r . r . Draxler均方根误差(RMSE)或平均绝对误差(MAE) ?参数对避免RMSE文学。”立模型开发,7卷,不。3、1247 - 1250年,2014页。视图:出版商的网站|谷歌学术搜索
  35. 黄永发。黄懿慧Lee Seo,中州。金,“特征选择使用进化计算非常短期暴雨预报,“气象学的进展203545卷,2014篇文章ID, 15页,2014年。视图:出版商的网站|谷歌学术搜索
  36. 中州。金姆和y Yoon”遗传筛选癌症基因表达数据分类”生物医学材料与工程,26卷,不。s1, S1993-S2002, 2015页。视图:出版商的网站|谷歌学术搜索
  37. 工程学系。月亮,中州。金、y . h·李和B.-R。月亮”,应用机器学习非常短期的暴雨的预警系统,”《水文卷,568年,第1054 - 1042页,2019年。视图:出版商的网站|谷歌学术搜索

版权©2020韩惠珍金等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。

更多相关文章

PDF 下载引用 引用
下载其他格式更多的
ePub
XML
订单打印副本订单
的观点431年
下载517年
引用

相关文章