文摘

提出了一种基于贪婪算法实现有效的稀疏学习与数据相关基函数。泛化误差的上界是获得基于复杂性程度的假设空间覆盖数字。仔细分析显示了错误在温和条件下一个令人满意的衰变率。

1。介绍

内核方法被广泛使用在各种学习任务,和其泛化性能调查从近似理论的观点1,2]。在这些方法中,其中一个家庭可以视为系数正则化框架视假设空间;见,例如,(3- - - - - -8]。对于给定样本这些内核方法的解决方案具有以下表达式,在那里和是一个mec内核。这些系数算法的目的是搜索一组系数具有良好的预测性能。

受贪婪的近似方法(9- - - - - -12),我们提出一个稀疏贪婪算法的回归。贪婪的近似在正则化方法有两个优点:一是稀疏被贪婪的近似算法直接控制,而不是由正则化参数;另一个是贪婪的近似不改变目标优化函数,而正规化方法通常修改目标函数包括稀疏正则化项(13]。

在引入贪婪算法之前,我们回忆起一些初步背景回归。让输入空间是一个紧凑和子集为一个常数。在回归模型中,学习者样本集,在那里独立,是随机从一个未知的分布在。学习的目的是选择一个函数预期的错误 尽可能小。请注意,回归函数 的最小值,在那里条件概率测度在哪里引起的。

经验主义的错误被定义为

我们称之为对称半正定连续函数美世的内核。再生核希尔伯特空间再生核希尔伯特空间理论()定义的闭包函数集的线性范围与内积定义为。对所有和,复制属性。我们可以看到因为的连续性的密实度。

不同的系数正则化方法(3- - - - - -6),我们使用顺序贪婪的近似实现稀疏学习的想法。表示,在那里和。(取决于假设空间)被定义为 对于任何假设函数空间,我们表示。

的定义告诉我们,所以它是自然限制近似函数。投影算符被用于错误的分析学习算法(见,例如,2,14])。

定义1.1。投影算子是定义在可测函数的空间作为

基于内核的贪婪算法可以概括如下。让是一个停止时间和让是一个积极的常数。集。然后对,定义 不同的正则化算法(6,12,14- - - - - -18),上面的学习算法试图实现高效学习的贪婪的近似。其泛化性能的研究可以丰富基于学习理论的回归。在本文的其余部分中,我们专注于建立的收敛速度回归函数在选择合适的参数。理论结果是依赖于弱条件比之前的误差分析基于正则化框架(4,5]。

2。主要结果

定义一个数据免费基函数集

调查的近似来介绍一个data-independent函数

观察到 这里,右边三个术语称为抽样误差,假设错误,分别和近似误差。

估计样本误差,我们通常需要假设函数的复杂性度量空间。出于这个原因,我们介绍一些定义的数字来衡量的复杂性。

定义2.1。让是一个伪度量空间和表示的一个子集。对于每一个,覆盖数的关于被定义为半径的最小数量的球吗联盟的封面,也就是说, 在哪里是一个球。

经验覆盖数指标定义如下。

定义2.2。让一组函数,和。集。的经验覆盖的数量被定义为 在哪里度规

表示球的半径与,在那里。我们需要以下能力的假设,已用于(5,6,18]。

假设2.3。存在一个指数,和一个常数这样

我们现在制定的泛化误差范围。结果从命题遵循3所示。2- - - - - -3所示。5在下一节中。

定理2.4。在假设下2。3,对于任何满怀信心,下面的不平等

从结果,我们知道存在一个常数独立的这样有信心 特别是,如果对于一些固定的常数和,我们有与衰减率。学习速率是令人满意的。

在这里,假设错误的估计很简单,不需要严格的条件和在[3- - - - - -5与视学习假设空间。

如果有一些附加条件近似误差的增加学习,我们可以获得明确的利率与合适的参数选择。

推论2.5。再生核希尔伯特空间理论假设满足(2。7),对于一些。选择。对于任何和,一个 有信心。在这里是一个常数独立的。

观察到的学习速率取决于之间的近似条件密切相关和。这意味着只有目标函数可以从假说所描述的功能空间,学习算法可以实现良好的泛化性能。事实上,类似的近似假设是广泛学习理论研究了误差分析;见,例如,(1,2,4,17]。

从推论2。5,当内核,可以任意小,可以很容易地看到,学习速率很低。未来的研究方向可能会进一步提高估计通过引入一些新的分析技术。

3所示。定理的证明2。4

在本节中,我们提供的证明定理2。4基于样本误差的上界估计,假设错误。表示 我们可以观察到样本误差

在这里可以通过应用以下有界单面伯恩斯坦类型概率不等式;见,例如,(1,2,14]。

引理3.1。让是一个随机变量概率空间与的意思和方差。如果几乎所有,然后对所有,

命题3.2。对于任何,有信心,一个

证明。下面的定义,我们有随机变量,。
定义的,我们知道和。然后 和。此外,
应用引理3所示。1与和,我们得到 至少有信心。通过设置,我们推导出解决方案 因此,有信心,我们有 这就完成了证明。

建立统一的上界,我们引入一个集中不等式成立于18]。

引理3.3。假设有常数和这样和对于每一个。如果由于某种和, 那么存在一个常数唯一的依赖这样,对于任何至少,概率,拥有 在哪里

命题3.4。在假设下2。3,对于任何至少,有信心

证明。定义的,我们有。表示 我们可以看到,和。自和,我们有 为,我们有 然后,从假设2。3,
应用引理3所示。3与和,对于任何和所有, 拥有信心。这就完成了证明。

不同于先前的研究与正则化框架(3- - - - - -5),我们引入假设误差的估计根据定理4.2 (11)顺序贪婪的近似。

命题3.5。对于一个固定的示例,一个

在定理所需的结果2。4可以直接通过结合命题3所示。2- - - - - -3所示。5。

确认

这项工作是支持部分由中国国家自然科学基金批准号11001092,教育部人文社会科学项目(项目没有。11 y3jc630197),中央大学的基础研究基金(项目号。2011 py130, 2011 qc022)。