简单线性回归,也被称为普通最小二乘法(OLS)试图最小化误差的平方的总和。错误,在这种情况下,实际的区别(观察)数据点和其预测价值。这个模型的方程称为成本函数,找到最优的方法通过最小化误差和测量: (.) ∑ 我 = 1 米 y 我 − y ^ 我 2 = ∑ 我 = 1 米 y 我 − ∑ j = 0 p w j × w 我 j 2 。

梯度下降算法找到最优成本函数通过数次迭代。但是我们需要定义和分析的数据并不总是那么容易与基础OLS模型描述。情况之一是数据显示多重共线性,这是预测变量时相互关联和响应变量。产生一个更准确的模型复杂的数据,我们可以添加一个惩罚项OLS方程。一个点球添加一个偏向某些值。这些被称为L1正则化(或套索回归)和L2正规化(或岭回归)。

岭回归添加以下惩罚项,称为L2, OLS方程: (a) + λ ∑ j = 0 p w j 2 。

L2项等于系数的大小的平方。在这种情况下,如果λ( λ)是零,那么方程是基本的OLS。如果λ大于零,然后添加一个约束系数。这种约束最小化的目标系数(或者非正式的演讲,萎缩)。系数的值趋向零当λ的值变大。收缩系数导致降低方差,进而降低错误值。因此岭回归降低模型的复杂度。然而,脊并不减少变量的数量,而只是收缩它们的效果。

套索(至少绝对收缩和选择算子)回归使用L1惩罚项,等于的绝对值的大小系数: (a) + λ ∑ j = 0 p w j 。

类似地岭回归,也对套索,λ值等于零对应于基本OLS方程。然而,考虑到一个合适的λ值,套索可以驱动一些系数为零。λ的值越大,更多的功能被缩小为零。这可以消除一些特性和给我们的一个子集预测,帮助减少多重共线性和模型的复杂性。如果一个变量不是缩小到零,这意味着变量是很重要的。换句话说,L1正规化允许特征选择(的选择)。

第三个常用的回归模型是弹性网,从L1和L2正规化了处罚: (各) ∑ 我 = 1 n y 我 − x 我 j β ^ 2 2 n + λ 1 − α 2 ∑ j = 1 米 β ^ j 2 + α ∑ j = 1 米 β ^ j 。

除了选择一个值λ参数,弹性网还允许我们调整α( α)参数。α等于零的值对应于山脊;α等于1的值对应于套索。如果我们选择一个alpha值在0和1之间,我们可以将处罚L1和L2正规化和α允许我们决定这两个点球的相对重要性。感兴趣的读者被称为Fonti [ 15)深化套索的功能和属性,脊,弹性净回归方法。

一个人工神经网络(ANN)是一个计算模型基于生物神经网络的结构和功能。它是由一组基本计算单元,称为神经元,强烈相互联系相互之间的连接,或突触,特点是重量。安一个编码函数(或模型)可以产生输出一次输入了。监督学习人工神经网络的研究本文的目标返回预期的输出为输入向量的每一个包含在一个给定的数据集。学习阶段,旨在获得预期的输入/输出匹配,包括修改的权重的连接网络。每一个神经元可以表示如图 23。

一旦设定的值权重的连接已经建立了进入一个神经元,神经元的输出计算 (本) y = f ∑ 我 = 1 n w 我 x 我 + θ 。

在一个安,神经元通常组织成层。监督学习人工神经网络是由三种不同类型的层形成的人工神经元: (我)

输入层

输入层与外部环境,提出了神经网络数据。它的职责是处理所有输入值。这些输入值转移到隐藏层,下面解释。每一个输入神经元代表一些独立变量都有一个影响神经网络的输出。隐藏层过渡层,发现输入层和输出层之间。每一个隐层的工作是处理先前获得的输入层。最后,输出层包含的单位计算的结果返回给外面的世界。前馈神经网络的一般结构,即。,one of the most diffused types of supervised ANN and the one used in this work, is shown in Figure 24。

几个学习规则存在,旨在寻找一个配置连接的权重,使一个完美的输入/输出匹配。最分散的之一,本文中使用的一个叫做反向传播。感兴趣的读者被称为格尼( 16深化主题。

介绍了支持向量机(SVM)在 17),对于分类问题。目标是寻找最优分离超平面类之间。点躺在类的边界被称为支持向量,中间的空间,超平面;当一个线性分离器不能找到一个解决方案,数据点投影到一个更高维的空间,在非线性分离点前变得线性可分的,使用内核的功能。整个任务可以制定为一个二次优化问题,能够解决具体技术。在图 25线性可分的一个例子,使用SVM分类问题解决了。支持向量机的目的是最大化利润支持向量和超平面之间。

一年后的引入支持向量机,Smola [ 18)提出了一个替代损失函数,使得支持向量机也被应用于回归问题。SVR的想法是地图数据的事件 X成一个 k维特征空间 F通过一个非线性映射 φ j X ,这样可以适合线性回归模型在这个空间数据点。获得的线性学习者用于预测在新的特征空间。再次,从输入空间映射到新的特征空间是由内核函数定义的。SVR的最有吸引力的特点之一是与模型相关的错误;观察到的训练误差最小化,而是SVR最小化的组合训练误差和正则化项,旨在提高模型的泛化能力。SVR的其他有吸引力的特性相关的内核函数的使用,使他们既适用于线性和非线性预测问题,以及缺乏局部最小值的误差表面由于适应度函数的凸性及其约束。鉴于 (我)

训练数据集 T,由

目标是适应训练数据集 T,通过一个函数 f( x)尽可能最小的偏差 ε从目标 y 我 。方程( A.7)可以改写成一个受约束的凸优化问题如下: (如) 最小化 1 2 w T w , 受 y 我 − w T Φ x 我 − b ≤ ε , w T Φ x 我 + b − y 我 ≤ ε 。

目标函数的目的在方程( 如系)是最小化 w ,同时满足其他约束。一个假设是, f( x)存在,也就是说。,the convex optimization problem is feasible. This assumption is not always true; therefore, one might want to trade off errors by the flatness of the estimate. Having this in mind, Vapnik reformulated equation ( 如系), (A.9) 最小化 1 2 w T w + C ∑ 我 = 1 米 ξ 我 + + ξ 我 − , 受 y 我 − w T Φ x 我 − b ≤ ε + ξ 我 + , w T Φ x 我 + b − y 我 ≤ ε + ξ 我 − , ξ 我 + ξ 我 − ≥ 0 , 在哪里 C指定< 0是一个常数,负责正规化和代表的重量损失函数。目标函数的第一项 w T w 正则化项,而第二项吗 C ∑ 我 = 1 米 ξ 我 + + ξ 我 − 被称为经验条件和措施 ε 不敏感损失函数。求解方程( A.9),拉格朗日因子 ∝ 我 + , ∝ 我 − , η 我 + , η 我 − 可以用来消除的一些原始变量。最后方程将SVR的双重优化问题 (A.10) 最小化 1 2 ∑ 我 , j = 1 米 K x 我 , x j ∝ 我 + − ∝ 我 − ∝ j + − ∝ j + + ε ∑ 我 = 1 米 ∝ 我 + + ∝ 我 − − ∑ 我 = 1 米 ∝ 我 + − ∝ 我 − , 受 ∑ 我 = 1 米 ∝ 我 + − ∝ 我 − = 0 , ∝ 我 + , ∝ 我 − ε 0 , C , 在哪里 K x 我 , x j 核函数;上述配方允许SVR的扩展非线性函数,因为内核函数允许非线性函数近似,同时保持了线性SVR的简单性和计算效率。SVR的性能和良好的泛化取决于三个训练参数: (我)

核函数

再邻居(事例) 19)是最简单的一个现有的机器学习算法,尽管它很简单,往往是能够做出准确的预测上大量应用。基于事例的基本思想如下:假设我们想要的数据集分割成类,假设我们有监督训练数据集,在一些训练观察已经分为正确的类。假设我们有一个新的数据 x我们要预测哪些类 x属于。这个想法是考虑的 k训练观察最近或最相似 x(相似性量化是一个预定义的距离测量)并返回到这些观察所属类(多数投票)。同样的想法后,回归问题,输出在一个看不见的实例 x给出的平均输出 k训练观察最相似 x。

事例是监督,非参数,基于实例的分类方法。它不是参数因为之前预测,你不需要做任何假设的分布数据,也不需要考虑模型的形状。它是基于实例的,没有培训阶段:只要我们有监督的数据和我们想要预测的数据,我们可以预测。事例虽非参数,我们通常用两个参数来建立模型: k(邻居)的数量和距离度量。没有严格的选择规则 k。事实上,这个选择取决于数据集和经验选择一个最优值。一般来说,当 k小,预测将很容易受到噪声的影响,什么时候 k较大,同时减少异常值的影响,它会显示更多的偏见(极限情况,当我们增加 k训练数据的数量,预测将永远是多数类训练集)。距离度量的选择在不同的情况下也有所不同。默认情况下,最常用的指标是欧几里得距离(L2标准),曼哈顿距离和闵可夫斯基距离。

使用事例有几个优势:这是一个简单的方法,很容易实现和解释,没有模型训练阶段,没有先前的假设数据分布(这是特别有用,当我们有质量差和非结构化数据),并且它通常有相对较高的精度。当然,也有一些缺点:高内存需求(我们需要存储所有训练数据在内存中执行方法)和计算昂贵的(我们需要计算新的数据点之间的距离和所有现有数据点来决定的 k最近),这是相当昂贵的计算和对噪声敏感(尤其是如果我们选择小 k,预测结果可能会受到噪声的影响,如果有的话)。

随机森林( 20.]是一种整体模型,它使用装袋作为一个整体法和决策树模型作为一个个体。

决策树是一个预测模型,其中每个内部节点表示一个变量,一个几近一个子节点代表一个可能的属性值,和一片树叶代表目标变量的预测值从其他属性的值。一个决定是由从根节点到叶子节点的路径。

一个预测相结合的方法是一个技术从多个机器学习算法,比任何单一模型预测更准确。装袋代表一个通用程序,可以用来减少方差高方差的算法,如决策树,在随机森林。事实上,决策树是敏感的特定数据。如果训练数据更改(例如,树是训练有素的训练数据的一个子集),由此产生的决策树可以完全不同,反过来,预测可能非常不同。装袋引导程序的应用是一个高方差的机器学习算法。一个随机森林很多决策树结合成一个模型。单独的预测决策树可能并不准确,但是组合在一起,平均预估将更接近的结果。最终结果返回的随机森林只不过是返回的数值结果的平均值不同树木的回归问题,或返回的类最多的分类树。