文摘

森林与决策树是一个乐团成员。提出了一项新策略来修剪森林提高合奏泛化能力,减少整体尺寸。不同于传统的合奏修剪方法,该方法试图评估的重要性,树枝,对整个乐团使用一种称为重要性的小说提出了度量收益。一个分支的重要性考虑整体设计的准确性和乐团成员的多样性,因此指标合理评估改善整体精度能达到多少时剪掉一个分支。我们的实验表明,该方法可以显著降低整体规模和提高整体精度,无论乐团是由一个特定的算法如装袋或通过一个选择算法,无论每个决策树修剪或unpruned。

1。介绍

集成学习是一个非常重要的研究课题在机器学习和数据挖掘。基本的启发式是创建一组的学习者和聚合每个学习者的预测分类的例子。许多方法如装袋(1],增加[2),和哥本哈根蓝色3]提出了创建乐团,和这些方法成功的关键在于基础学习者是准确的和多样化的4]。

整体方法已经应用于许多应用,如图像检测(5- - - - - -7和不平衡的学习问题8]。然而,一个重要的集成学习方法存在的缺点是,他们试图不必要的大乐团训练。大型集成需要一个大的内存来存储基地学习者和响应时间的预测。此外,大型合奏可能减少其泛化能力而不是提高性能(9]。因此,很多解决这个问题进行了研究,研究主要集中在整体选择:选择一个子集乐团成员的预言,比如ordered-based合奏选择方法(10- - - - - -12)和基于贪婪启发式的系综选择方法(13- - - - - -21]。研究结果表明,一个设计良好的系综选择方法可以减少整体规模和提高整体精度。

除了搭配选择,我们可以通过以下两种方法如果删除一个乐团成员决策树:修剪个别成员单独和组合预测和修剪的成员在一起反复修剪个别成员通过考虑的整体性能。第一战略,许多决策树剪枝方法如用于车(22]和C4.5 [23研究了。尽管修剪可以简化模型结构,修剪能否提高模型精度仍然是一个有争议的话题在机器学习(24]。第二个战略恰逢全球期望提高模型的泛化能力。然而,这种方法并没有被广泛地研究过了。本文着重于这一战略和名称策略森林修剪(FP)。

森林修剪的主要任务是定义一个有效的指标评估的重要性一定分支的树。传统指标不能应用于森林修剪,因为这些指标只考虑影响一个决策树分支时修剪。因此,我们需要一种新的衡量标准修剪森林。我们在本文的贡献如下:(我)引入一个新的合奏修剪修剪策略基于决策树的合奏;(2)提出一种新颖的指标来衡量某个节点时的性能改进的森林生长子树;(3)呈现一个新的合奏修剪算法,提出了度量修剪一个基于决策树的。合奏可以学到通过某种算法或得到一些系综选择方法。每个决策树可以修剪或unpruned。

实验结果表明,该方法可以显著降低整体规模和提高其精度。这个结果表明,本文提出的指标合理措施影响整体精度长在一个子树当某个节点。

本文的其余部分的结构如下。部分2决策树提供了一个整体的调查;部分3礼物的正式描述森林削减和本研究的动机的一个例子。部分4引入了一个新的森林修剪算法。部分5报告和分析实验结果,我们得出结论本文简单的评论和未来的工作6。

2。森林

森林是一个乐团成员由决策树学习方法学习。两种方法通常用于火车森林:传统方法和专门为森林的方法。

装袋(1和提高2)是两个最常用的传统方法来构建森林。装袋需要引导的样本对象树和火车在每个样本。多数表决的分类器投票相结合。在一些实现,分类器产生估计后验概率的类。这些概率是平均分类器和最可能的类被分配,称为“平均”或“的意思是”聚合的输出。装袋与平均聚合实现Weka和用于实验。因为每个个体分类器训练引导样本,训练期间的数据分布类似于原始的分布。因此,装袋合奏的个体分类器有较高的分类精度。这些分类器之间的因素鼓励多样性的比例不同的训练集的例子。促进家庭的方法和演算法是最突出的成员。这个想法是为了提振“软弱”的性能分类器(决策树)通过使用它在一个整体结构。 The classifiers in the ensemble are added one at a time so that each subsequent classifier is trained on data which have been “hard” for the previous ensemble members. A set of weights is maintained across the objects in the data set so that objects that have been difficult to classify acquire more weight, forcing subsequent classifiers to focus on them.

随机森林(25)和旋转森林(26)是两种重要的方法特别设计为构建森林。随机森林是一个变体版本的装袋。森林是建立再次引导样品。区别在于建设的决策树。分裂一个节点的功能是选为最好的一组特性随机选择的特性,在那里是一个参数的算法。这个小改变似乎是一个成功的引入了启发式的多样性没有太多影响单个分类器的准确性。旋转森林随机分裂特性集(子集是一个参数的算法)和主成分分析(PCA) (27应用于每个子集。所有主成分保留为了保护中的变化信息数据。因此,轴旋转形成的新特性和旋转森林构建树使用新空间中的所有训练集定义为一个给定的新功能空间。

3所示。问题描述和动机

3.1。问题描述

让是一个数据集,让决策树是一个整体,,学习。表示由一个节点树并通过,实现的例子从根的,。假设每个节点包含一个向量(),中的例子的比例吗与标签。如果一片叶子,的预测在是 同样的,对于每一个例子分类,合奏返回一个向量这表明属于标签的概率,在那里 的预测在是=。

现在,我们的问题是,给定一个森林与决策树,如何删除每棵树来减少的规模和提高其精度,是由一些算法或通过系综选择方法。

3.2。动机

首先,让我们来看一个例子,它显示了森林削减能够提高整体精度的可能性。

例1。让与十决策树是一个森林,如图1。假设,;,;和。让十个例子达到节点,在那里与标签1和与标签2。假设的例子到达叶子节点,到达叶子节点。
显然,对于的孩子,我们不能删除节点,因为治疗叶子会导致更多的错误分类的例子。
假设的预测如下: 在哪里的概率是与标签。从上面的预测,我们有被错误地分类。更新来通过修剪的孩子和更新来。一个简单的计算告诉我们,十个例子,返回: 很容易看到正确分类的所有十个例子。

这个例子表明,如果一个决策树,也许不应该修剪。然而,对于整个森林,仍然可以删除一些决策树的分支,修剪,这可能会提高整体精度,而不是减少它。

虽然上面的例子是由我们,类似案件随处可见,当我们进一步研究集合体。这个观察激励我们学习森林削减的方法。然而,需要更多的努力来把可能性变成可行性。进一步讨论这个问题将在下一小节中介绍。

4所示。森林修剪基于分支的重要性

4.1。提出度量和算法

为了避免过早捕获详细,我们假设被定义,它是节点的重要性吗当森林分类的例子。如果,然后。否则,细节的定义介绍了部分3.2。

让是一个树,让是一个节点。的重要性对森林被定义为 在哪里是一套修剪和的例子在吗达到节点从。反映了节点的影响在”年代的准确性。

让叶节点的集合分支(子树)作为根。的贡献来被定义为 这是叶子的重要性的总和。

让是一个非终结节点。获得的重要性来定义的重要性的区别吗和节点,也就是说, 可以被认为是获得的重要性吗,它的价值反映了多少改善整体精度时实现生长成一个子树。如果> 0,那么这一扩张有助于改善”年代的准确性。否则它是无益的提高甚至降低”年代的准确性。

的想法修剪的决策树的方法如下。对于每个非终结节点在每棵树,计算它的重要性修剪。如果小于一个阈值,修剪和治疗一片叶子。这个过程一直持续到所有决策树不能修剪。

在介绍该算法的具体细节之前,我们将介绍如何计算在接下来的小节。

4.2。计算

让是一个分类器,让是一个整体。Partalas et al。28,29日)确定的预测和上一个例子可以分为四种情况: :=, :, :, :。他们得出的结论是,考虑所有的四个病例设计整体多样性指标是至关重要的。

基于上面的四个病例中,陆et al。11引入了一个指标,评估的贡献th分类器,当分类的实例。Partalas et al。28,29日)引入了一个称为不确定性度量加权的准确性,评估”年代的贡献分类的例子。

类似于上面的讨论中,我们定义 在接下来的讨论中,我们假设和。让和是最大的元素和第二大元素下标,分别。很明显,的标签预测的合奏。同样,让。如果是一个叶节点,那么的标签预测的决策树。否则,的标签预测的,在那里决策树得到吗通过修剪。为简单起见,我们的电话的标签预测的节点然后说节点正确分类如果=。

我们定义根据公式4例(8),分别。如果或,然后,因为正确分类。否则,,因为错误的分类。

为,被定义为 在哪里基分类器的数目在吗。在这里,和,然后,,因此。自节点的贡献吗的概率正确谓词属于类而节点的贡献吗来的概率不正确的谓词属于类,可以被认为是网络节点的重要性吗当分类。的重量是”净贡献,它反映了节点的重要性的分类正确。常数是为了避免为零或太小。

为,)被定义为 在这里,。在这种情况下,两者都有和正确分类。我们对待作为节点的净贡献来和,的重量”年代的净贡献。

为,被定义为 很容易证明)≤0。这种情况下反对第一种情况。在这种情况下,我们请客作为节点的净贡献来和,的重量”年代的净贡献。

为,被定义为 在哪里的标签,)≤0。在这种情况下,两者都有和错误的分类,即≠和≠。我们对待作为节点的净贡献来和,的重量”年代的净贡献。

4.3。算法

森林修剪的具体细节(FP)所示的算法1,在那里 是一套修剪包含吗情况下, 系综的概率是预测与标签, 的概率是目前的树预测与标签, 是一个变种与节点相关联为了节省的重要性, 是一个变种与节点相关联保存的贡献。

《外交政策》第一次计算的概率在每个实例的预测(行~)。然后迭代处理每一个决策树(行~)。行~计算每个节点的重要性,在那里排队计算使用的一个方程(9)~ (12基于方程的四个病例()8)。行调用PruningTree递归删除。自森林修剪后改变了吗,我们调整”年代预测行- - - - - -。行- - - - - -可以重复多次,直到所有决策树不能修剪。实验结果表明,森林后性能稳定的迭代执行2次。

递归过程PruningTree采用自底向上的方式修剪决策树作为根。修剪后 ,保存叶节点的重要性的总和。然后等于树的重要性的总和作为根。使用的本质根叫PruningTree旅行。如果当前节点nonleaf,程序计算的重要性增加,保存到重要性的叶子(行~),并决定修剪或不是基于CG和阈值之间的差异(行~)。

4.4。讨论

假设修剪组包含情况下,森林包含决策树,决策树的深度最深的在吗。让在决策树的节点数量,。FP的运行时间是由循环线来。循环从行来遍历,这是可以做到的;循环从行来搜索的道路为每个实例,这是复杂的;的主要操作PruningTree(根()是一个完整的遍历的的运行时间;循环从行来扫描一个线性长度的列表在。自,我们得出FP的运行时间。因此,《外交政策》是一个非常有效的森林修剪算法。

与传统所使用的指标如购物车(22]和C4.5 [23),提出了衡量使用全球评估。事实上,这种方法涉及到预测价值,造成多数投票整个合奏。因此,拟议的衡量标准是基于不仅乐团成员的个人预测性能也分类的互补性。

从方程(9),(10),(11)和(12),我们提出了衡量考虑当前分类器的预测的正确性和合奏的预测和衡量故意有利于更好的性能的分类器分类的样本总体不会工作得很好。此外,不仅测量考虑分类的正确性,而且乐团成员的多样性。因此,使用该测量修剪一个导致更好的结果准确性。

5。实验

5.1。实验装置

19日数据集的细节如表所示1随机选择来自UCI剧目(30.),#,# Attrs, # Cls的大小、属性的数量,分别和每个数据集的类数。我们设计四个实验研究该方法的性能(森林修剪、FP):(我)第一个实验研究FP的性能与运行FP的时代。在这里,四个数据集,即汽车、天平、德国信用,皮马人,选为代表,和每个数据集随机分为三个子集以同样的大小,其中一个作为训练集,一个修剪组,另一个作为测试集。我们重复50独立试验在每个数据集。因此总共300次试验的实验。(2)第二个实验是评价FP的表现和FL的规模(数量的基分类器)。数据集的实验装置和第一个实验一样。(3)第三个实验的目的是评估FP的性能在修剪合奏由装袋(1和随机森林26]。这里,十倍交叉验证工作:每个数据集分为十倍(31日,32]。对于每一个人,其他九倍训练模型和当前是测试训练模型。我们重复10次10倍交叉验证,因此,100年模型是构建在每个数据集。在这里,我们将训练集修剪。此外,排名算法用于进一步的测试算法的性能(31日- - - - - -33):在一个数据集,表现最好的算法得到的1.0,第二个表现最佳算法2.0的秩,等等。在关系的情况下,平均分配。(iv)最后一个实验是评价外交表现修剪subensemble通过系综选择方法。史诗(11)被选中的候选人系综选择方法。最初的合奏与200个基分类器库,和subsembles的大小是30。数据集的设置是一样的第三个实验。

在实验中,装袋用于火车最初的合奏,和基分类器是J48 C4.5的Java实现(23]从Weka [34]。在第三个实验中,随机森林也用于构建森林。在过去的三个实验,我们运行FP两次。

5.2。实验结果

第一个实验是研究该方法的性能之间的关系(FP)和运行FP的时期。在每个试验中,我们首先使用30 unpruned装袋学习决策树作为森林,然后迭代运行线路~多次的FP削减森林。更多的实验装置是指节5.1。相应的结果如图2,四大subfigures森林节点数量的变化趋势是随着迭代数量增加,和底部四个整体精度的变化趋势。图2表明,FP显著减少森林面积(几乎40% ~ 60%的原始合奏),显著提高其准确性。然而,《外交政策》的表现几乎是稳定的后两个迭代。因此,我们在以下的实验设置迭代次数是2。

第二个实验的目的是调查性能的FP修剪和不同尺度的森林。决策树的数量从10到200年逐步发展壮大起来的。更多的实验装置是指节5.1。实验结果如图所示3,四大subfigures修剪和unpruned集合体之间的比较是决策树的数量的增长,和底部的四个是整体精度的比较。如图3,对于每一个数据集,森林节点修剪FP的速度保持稳定和森林的准确性提高了FP也基本持平,不管有多少构造决策树。

第三个实验来评估性能的FP修剪合唱团由合唱团学习法。安装细节部分所示5.1。表2,3,4,5显示实验结果比较的方法,分别在表2报告的平均精度和算法,表3报告的平均排名使用nonparameter弗里德曼测试(32)(使用STAC网络平台(33]),表4报告比较结果用事后Bonferroni-Dunn(使用STAC网络平台(33])0.05显著性水平,和表5报告的平均节点数和标准差。标准差在表不提供2为清晰。“FP”表的列2修剪森林的结果,“包装”和“随机森林”unpruned森林的结果由装袋和随机森林,分别。在表中3和4,Alg2 Alg1 Alg3、Alg4 Alg5,和Alg6表明PF修剪与unpruned C4.5装袋,与unpruned C4.5装袋,PF修剪修剪C4.5装袋,与修剪C4.5装袋,PF修剪随机森林,和随机森林。从表2,FP显著提高整体精度在大多数19数据集,无论个体分类器是修剪或unpruned,无论整体是由装袋或随机森林。此外,表2表明,FP的排名总是发生的这些数据集最好的三种方法。表3和4验证结果表2,表3表明,PF的平均排名比其他方法和表小得多4表明,与其他方法相比,PF显示明显更好的性能。表5显示了FP明显小于装袋和随机森林,无论个体分类器是否修剪。

最后一个实验是评价FP的性能在修剪subensembles选择通过系综选择方法史诗。表619显示了结果的数据集,在左翼和右翼的准确性和大小,分别。如表所示6,FP可以进一步显著提高subensembles由史诗的准确性,减少subensembles的大小。

6。结论

与决策树也被称为一个森林。本文提出了一种新颖的合奏修剪方法称为森林修剪(FP)。FP修剪树的分支机构的基础上,提出度量称为分支的重要性,这表明一个分支(或节点)的重要性对整个合奏。这样,FP达到降低整体规模和提高整体精度。

实验结果数据集19日表明,FP显著减少森林规模和提高其准确性的大多数数据集,无论森林是乐团由一些算法或subensembles选择集合选择方法,无论每个森林成员是一个决策树修剪或unpruned。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这部分工作是由中国国家自然科学基金(批准号61501393和61501393),部分由河南省科学技术厅项目(号。162102210310,172102210454,152102210129),部分学者推进西安科技技术转让项目局(CXY1516部分,南湖学者计划XYNU的年轻学者。