从互联网上收集到的气象数据。这个工作请求使用Python库和爬虫框架Scrapy从国家温室数据采集气象数据系统。当爬行气象数据,首先确定爬行区域,然后使用gydF4y2Ba urlencodegydF4y2Ba函数发送一个HTTP请求获得相应的gydF4y2Ba 站gydF4y2Ba_gydF4y2Ba idgydF4y2Ba气象站的这个区域,然后使用这个gydF4y2Ba idgydF4y2Ba的参数gydF4y2Ba getWeatherDatagydF4y2Ba要求,加上所需的日期,发送一个HTTP请求。gydF4y2Ba

收集到的气象数据的特点如表所示gydF4y2Ba 2gydF4y2Ba:gydF4y2Ba

为了训练数据模型,我们需要注释的原始数据。流感发病率的数据收集和当地的气象数据集成在标记之前。gydF4y2Ba

有两个基本思想研究气象因素的预警阈值。一是采取日常的流感发病率随着解释变量,即因变量,治疗和解决问题作为机器学习的一个回归问题,训练模型和预测未来的流感发病率的数量,和发布预警预测案例的数量大于某个阈值。gydF4y2Ba

第二个是将连续的流感病例数转换成离散的0和1的标签通过特定的数据标记方法。这里使用的数据标记方法是定义流感暴发的阈值和测量当前发病率是否代表了流感疫情。标记完成后,问题可以解决机器学习中分类问题,而当数据预测,日期预计为1的日期被视为需要发出预警。gydF4y2Ba

因为流感具有典型的季节性特征,比较是不太合理的预测连续值与一个特定的阈值根据第一个想法。如果我们的数据除以季节和火车多个模型,它使问题变得更加复杂。与第一个想法相比,第二个是更容易理解,更容易实现。经过全面的考虑和比较,决定选择第二个作为解决问题的方法。gydF4y2Ba

根据流感爆发的具体问题,本文提出了三种方法的数据标签:gydF4y2Ba (我)gydF4y2Ba

移动百分位数法gydF4y2Ba。移动百分位数法比较局部电流观测周期的病例数与相应的实时历史基线数据。如果病例数发生在当前观测周期达到或超过警告阈值时,流感爆发被认为是;即数据标签被定义为1。例如,如果年的回顾历史的数量是3年,计算周期是7天,移动,和历史时期两个参考来回摇摆周期。假设我们设置一个P80流感疫情早期预警阈值;设置标签1只有病例数在当前观察期间(7天)大于或等于80%的历史基线数据;否则,设置为0。gydF4y2Ba

在这项工作中,我们想要构建一个模型,该模型能产生流感疫情早期预警基于气象数据和流感发病率数据通过机器学习和数据可视化。gydF4y2Ba

决策树算法可用于分类和回归。当自变量和因变量之间的关系是非线性的或有一个交互变量之间线性模型的效果会差,应该考虑和非线性模型。的一个重要特征的决策树算法与支持向量机相比,BP神经网络可解释性,因为构造决策树的过程相当于形成一个if - then规则集。根据数据可视化结果的决策树模型,气象条件流感警报的门槛。因此,在这项工作中,使用决策树构建的基本模型。gydF4y2Ba

CART决策树算法使用基尼系数作为评价标准,取代了对数操作二次操作。基尼系数越小,杂质越小代表特征,决策树将优先选择分裂时最小的基尼系数的特点。与熵的基于模型的算法相比,CART算法的计算复杂度低得多。车只在每个节点上产生两个分支,所以形成一棵二叉树,每个特性可以重用。和购物车算法可用于处理连续变量。gydF4y2Ba

,正如之前所讨论的,我们对待工作产生预警的流感爆发的一个分类问题;在这项工作中,我们选择购物车分类树算法构建的基本模型。gydF4y2Ba

购物车分类树算法使用基尼系数来进行特征选择,通过下面的方程来描述:gydF4y2Ba (1)gydF4y2Ba 基尼gydF4y2Ba pgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba kgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba KgydF4y2Ba pgydF4y2Ba kgydF4y2Ba 1gydF4y2Ba −gydF4y2Ba pgydF4y2Ba kgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba kgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba KgydF4y2Ba pgydF4y2Ba 2gydF4y2Ba kgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba KgydF4y2Ba 样品中类的数量,而gydF4y2Ba pgydF4y2Ba kgydF4y2Ba 的概率是一个样本属于gydF4y2Ba kgydF4y2Ba 类。gydF4y2Ba

因为我们治疗的工作产生预警流感爆发的0 - 1 two-classification问题,方程(gydF4y2Ba 1gydF4y2Ba)可以进一步简化如下:gydF4y2Ba (2)gydF4y2Ba 基尼gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 2gydF4y2Ba pgydF4y2Ba 1gydF4y2Ba −gydF4y2Ba pgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba pgydF4y2Ba 一个样本属于类的概率是0。gydF4y2Ba

对于给定的数据集gydF4y2Ba DgydF4y2Ba ,假设类的数量gydF4y2Ba DgydF4y2Ba 作为gydF4y2Ba KgydF4y2Ba 。定义gydF4y2Ba CgydF4y2Ba kgydF4y2Ba 属于类的样本数量gydF4y2Ba kgydF4y2Ba 。然后,数据集的基尼系数gydF4y2Ba DgydF4y2Ba 可以计算如下:gydF4y2Ba (3)gydF4y2Ba 基尼gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba kgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba KgydF4y2Ba CgydF4y2Ba kgydF4y2Ba DgydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba

对于数据集gydF4y2Ba DgydF4y2Ba 显示购物车,当树分裂功能gydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba DgydF4y2Ba 将分为gydF4y2Ba DgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba DgydF4y2Ba 2gydF4y2Ba 。在这种情况下,基尼系数gydF4y2Ba DgydF4y2Ba 将如下:gydF4y2Ba (4)gydF4y2Ba 基尼gydF4y2Ba DgydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba =gydF4y2Ba DgydF4y2Ba 1gydF4y2Ba DgydF4y2Ba 基尼gydF4y2Ba DgydF4y2Ba 1gydF4y2Ba +gydF4y2Ba DgydF4y2Ba 2gydF4y2Ba DgydF4y2Ba 基尼gydF4y2Ba DgydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba

计算的基尼系数比这更简单的熵,尤其是two-classification问题,精度的损失也较小。此外,车分类树算法生成的决策树是一棵二叉树。与其他形成的multitree决策树算法相比,效率无疑是进一步改善。gydF4y2Ba

购物车的流动决策树算法由两个阶段组成:决策树生成和决策树修剪。我们使用成本复杂性修剪(CCP)策略直接决策树修剪阶段我们的工作。gydF4y2Ba

为了充分利用CART算法的潜力,车的几个参数需要优化(如表所示gydF4y2Ba 3gydF4y2Ba)。gydF4y2Ba

的gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba指定树的最大深度;限制这个参数可以确保预警模型的规模不是太复杂。的gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 杂质gydF4y2Ba_gydF4y2Ba 减少gydF4y2Ba代表节点的最小杂质分离(即。基尼系数)。因为节点的杂质减少节点分裂时,节点的值时立即停止分裂杂质小于该阈值的值。这些参数,特别是gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba树的参数,是非常重要的限制分裂后的决策树的规模,减少过度拟合,提高模型的泛化性能。gydF4y2Ba

因为有更少的日子每年的流感暴发和预警比没有预警,数据集本身具有不均匀样本比率。的样品gydF4y2Ba 标签gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 占据了多数,和样品gydF4y2Ba 标签gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 只有几个。机器学习模型,正负样本的比例不均将导致结果的偏差;也就是说,模型无法达到最好的效果,和预测的准确性是不好的。为此,需要调整的参数gydF4y2Ba 类gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba。我们的算法将计算所有样本并给予适当的体重在一个类根据每个类的比例在整个样本。的gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba_gydF4y2Ba 分数gydF4y2Ba_gydF4y2Ba 叶gydF4y2Ba参数也起着重要的作用,因为不同的类都有一个不同的重量。因为upsampling会引入大量的冗余数据,将采样将失去的大部分信息,所以最常见的做法是分配不同的权重。gydF4y2Ba

的设置gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba,gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 杂质gydF4y2Ba_gydF4y2Ba 减少gydF4y2Ba,gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba_gydF4y2Ba 分数gydF4y2Ba_gydF4y2Ba 叶gydF4y2Ba购物车算法将决定通过实验,这将稍后讨论。gydF4y2Ba

集成学习方法几个简单的模型结合形成一个更复杂的和全面的模型。车可以通过整体优化的学习提高稳定性;然而,在整体学习优化,使用一个可视化方法是不可行的解释流感疫情的预警阈值之间的关系和气象数据的某些特性和流感发病率数据。因此,我们提出一个方法来提高预测精度,实现可视化的解释的决定同时流感疫情的预警阈值。gydF4y2Ba

基于集成学习的想法,我们提供了一个优化模型来生成一个更准确的预测流感爆发基于气象数据和流感发病率数据通过结合购物车,XGBoost, LightGBM。XGBoost(极端的梯度增加)Tianqi陈等人提出的2015年,这是一个在GBDT优化。GBDT LightGBM是另一个优化,主要考虑如何减少内存的使用和如何减少多机通信的成本。gydF4y2Ba

我们的方法是显示在图gydF4y2Ba 1gydF4y2Ba。gydF4y2Ba

车的基本模型是用于决定流感疫情的预警阈值通过数据可视化。如果车基本模型预测,达到预警阈值根据气象数据和流感发病率的数据,然后形成的组合模型用于预测,如果组合模型决定,确实达到预警阈值,那么我们的模型将预警信号。gydF4y2Ba

这种方法减少了购物车中预测错误的概率模型单独使用,但当气象和流感发病率大数据满足警告车模型的条件,他们将发送到组合预测模型。gydF4y2Ba

模型的运行效率可以大大提高。该算法的复杂性与基本CART算法相当,这是gydF4y2Ba OgydF4y2Ba 日志gydF4y2Ba NgydF4y2Ba ,在那里gydF4y2Ba NgydF4y2Ba 代表了训练集样本的数量。gydF4y2Ba

实验结果为不同的gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba如表所示gydF4y2Ba 4gydF4y2Ba。gydF4y2Ba

从结果可以看到,当gydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba pgydF4y2Ba tgydF4y2Ba hgydF4y2Ba ≤gydF4y2Ba 4gydF4y2Ba ,ACC更高。当gydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba pgydF4y2Ba tgydF4y2Ba hgydF4y2Ba >gydF4y2Ba 4gydF4y2Ba ACC减少。f1-score到达时的最大数量gydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba pgydF4y2Ba tgydF4y2Ba hgydF4y2Ba =gydF4y2Ba 4gydF4y2Ba 。gydF4y2Ba

和AUC也相对较高gydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba pgydF4y2Ba tgydF4y2Ba hgydF4y2Ba =gydF4y2Ba 4gydF4y2Ba 。f1-score和AUC减少gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba变得比4。我们可以得出这样的结论:如果gydF4y2Ba 马克斯gydF4y2Ba_gydF4y2Ba 深度gydF4y2Ba大于4,模型可能会过度拟合。因此,我们决定的设置gydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba pgydF4y2Ba tgydF4y2Ba hgydF4y2Ba =gydF4y2Ba 4gydF4y2Ba 。gydF4y2Ba

实验结果为不同的gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 杂质gydF4y2Ba_gydF4y2Ba 减少gydF4y2Ba如表所示gydF4y2Ba 5gydF4y2Ba。gydF4y2Ba

它可以看到,随着增加的gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 杂质gydF4y2Ba_gydF4y2Ba 减少gydF4y2Ba、ACC f1-score, AUC显示的趋势先增加然后减少。后的值gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 杂质gydF4y2Ba_gydF4y2Ba 减少gydF4y2Ba大于0.08,ACC, f1-score, AUC都有大幅下降。因此,可以认为模型参数时具有最好的效果在0.02至0.08的范围。进一步评估后,最后,我们集gydF4y2Ba 米gydF4y2Ba 我gydF4y2Ba ngydF4y2Ba _gydF4y2Ba 我gydF4y2Ba 米gydF4y2Ba pgydF4y2Ba ugydF4y2Ba rgydF4y2Ba 我gydF4y2Ba tgydF4y2Ba ygydF4y2Ba _gydF4y2Ba dgydF4y2Ba egydF4y2Ba cgydF4y2Ba rgydF4y2Ba egydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba egydF4y2Ba =gydF4y2Ba 0.04gydF4y2Ba 。gydF4y2Ba

实验结果为不同的gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba_gydF4y2Ba 分数gydF4y2Ba_gydF4y2Ba 叶gydF4y2Ba如表所示gydF4y2Ba 6gydF4y2Ba。gydF4y2Ba

它可以看到,当gydF4y2Ba 米gydF4y2Ba 我gydF4y2Ba ngydF4y2Ba _gydF4y2Ba wgydF4y2Ba egydF4y2Ba 我gydF4y2Ba ggydF4y2Ba hgydF4y2Ba tgydF4y2Ba _gydF4y2Ba fgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba cgydF4y2Ba tgydF4y2Ba 我gydF4y2Ba ogydF4y2Ba ngydF4y2Ba _gydF4y2Ba lgydF4y2Ba egydF4y2Ba 一个gydF4y2Ba fgydF4y2Ba =gydF4y2Ba 0.05gydF4y2Ba 、f1-score和AUC都达到最大值,而ACC是相对较高的。尽管ACC增加min_weight_fraction_leaf增加时gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba_gydF4y2Ba 分数gydF4y2Ba_gydF4y2Ba 叶gydF4y2Ba大于0.05,f1-score和AUC下降很大程度上。因此,我们可以得出这样的结论:该模型得到最好的效果gydF4y2Ba 最小值gydF4y2Ba_gydF4y2Ba 重量gydF4y2Ba_gydF4y2Ba 分数gydF4y2Ba_gydF4y2Ba 叶gydF4y2Ba大约是0.05。进一步评估后,我们集gydF4y2Ba 米gydF4y2Ba 我gydF4y2Ba ngydF4y2Ba _gydF4y2Ba wgydF4y2Ba egydF4y2Ba 我gydF4y2Ba ggydF4y2Ba hgydF4y2Ba tgydF4y2Ba _gydF4y2Ba fgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba cgydF4y2Ba tgydF4y2Ba 我gydF4y2Ba ogydF4y2Ba ngydF4y2Ba _gydF4y2Ba lgydF4y2Ba egydF4y2Ba 一个gydF4y2Ba fgydF4y2Ba =gydF4y2Ba 0.062gydF4y2Ba 。gydF4y2Ba