学习是最重要的一个特点在机器学习领域的任务。一个有意义的特征表示可能是其他程序的基础。在各种方法中,限制了玻耳兹曼机(元),这是一个强大的生成模型,展示了其学习能力有用表示从许多不同类型的数据( 1, 2]。

元模型输入的高阶维度之间的相关性。常用的特征提取器,或各种深度模型的构建块,例如,深度信念网。在后一种情况下,学会表示美联储到另一个组织遏制在更高的层,和深架构通常会导致更好的性能在很多领域( 3- - - - - - 5]。其变体( 6- - - - - - 8)也有能力处理各种各样的任务。

尽管遏制有很多优势,但它并不适合估计分布的问题,换句话说,估计的联合概率观察。联合概率的估计一个给定的观察,必须计算归一化常数,这是棘手甚至对于中等大小的输入。要处理这个问题,一些其他的方法必须被用来近似归一化常数,例如,退火重要性抽样( 9, 10),它是复杂和计算成本。

神经自回归分布估计量(纳德) 11)是一个强大的模型估计的分布数据,这是受遏制的平均场过程。下的联合概率计算纳德可以准确、高效地完成。纳德和它的变体( 12- - - - - - 17已被证明是最先进的联合密度模型对各种数据集。

而纳德主要关注数据的分布,它也可以被视为一种模型来从数据中提取特征。

调整的方法有了很大的成就在机器学习领域。在整体学习的一些模型,如演算法( 18),每个样本数据集的重要性将会再加权来实现更好的结果。在一些深生成模型,提出了调整方法调整的重要性权重重要性抽样的过程 19, 20.]。与调整方法,梯度的估计会更准确。

在本文中,我们处理功能由纳德和提出一个新颖的方法来提高学习的质量表示通过一个简单的再加权方案的权重由纳德学习。该方法仍然是模型的结构,而计算的过程仍然是简单和容易掌握的。

本文的其余部分的结构如下。节 2,我们审查的重要架构遏制和纳德,这是我们的方法和实验的基础。节 3介绍和分析再加权方案改进的质量功能由纳德学习。节 4的情况下,我们提出一个类似的方法初始化。我们提供实验评价和证明的结果部分 5。最后,我们在部分结论 6。

在本节中,我们审查的基本元模型和强调遏制和纳德之间的关系。

限制玻耳兹曼机是一种马尔可夫随机场,其中包含一层可见的单位<我nline-formula> v ∈ 0 1 D 和一层隐藏的单位<我nline-formula> h ∈ 0 1 H 。两层彼此相连,intralayer没有连接。

的能量状态<我nline-formula> v , h 被定义为 (1) E v , h ; θ = − ∑ 我 = 1 D b 我 v 我 − ∑ 我 = 1 D ∑ j = 1 H W 我 j v 我 h j − ∑ j = 1 H c j h j , 在哪里<我nline-formula> W 我 j 层之间的连接权值吗<我nline-formula> b 我 , c j 是每一层的偏见。

可见状态的概率 (2) p v ; θ = 1 Z θ ∑ h 经验值 − E v , h ; θ , 在哪里<我nline-formula> Z θ = ∑ v , h 经验值 − E v , h ; θ 是归一化常数。

由于棘手的归一化常数,遏制竞争力在估计分布的任务。

对于一个给定的观察,可以写成分布 (3) p v = ∏ 我 = 1 D p v 我 v < 我 , 在哪里<我nline-formula> v < 我 表示subvector前的观察<我talic> 我th维度。评估的条件分布<我nline-formula> p v 我 v < 我 一个阶乘分布<我nline-formula> 问 v 我 , v > 我 , h v < 我 是用来近似<我nline-formula> p v 我 , v > 我 , h v < 我 : (4) 问 v 我 , v > 我 , h v < 我 = μ 我 我 v 我 1 − μ 我 我 1 − v 我 , ∏ j > 我 μ j 我 v j 1 − μ j 我 1 − v j , ∏ k τ k 我 h k 1 − τ k 我 1 − h k 。

吉隆坡的最小化这两个发行版之间的分歧导致了两个重要的方程: (5) τ k 我 = 团体 c k + ∑ j ≥ 我 W k j μ j 我 + ∑ j < 我 W k j v j , μ j 我 = 团体 b j + ∑ k W k j τ k 我 , 在哪里<我nline-formula> 团体 x = 1 / 1 + 经验值 − x 是乙状结肠函数。

纳德的主要结构是受平均场过程( 21,结果在以下方程: (6) p v 我 = 1 v < 我 = 团体 b 我 + V T 我 , ⋅ h 我 , h 我 = 团体 c + W ⋅ , < 我 v < 我 , 在哪里<我nline-formula> V T 我 , ⋅ 代表了<我nline-formula> 我 th行矩阵的转置<我nline-formula> V 和<我nline-formula> W ⋅ , < 我 代表第一个<我talic> 我1列的矩阵<我nline-formula> W 连接输入与相应的隐藏层。

这两个方程表明,纳德就像一个前馈神经网络的训练过程纳德可以转换为相同的框架为普通神经网络在成本函数的平均负对数似训练集。成本函数的梯度对每个参数可以完全通过反向传播,和最小化代价函数可以通过使用简单的随机梯度下降法。相比之下,对每个参数的梯度组织遏制必须由抽样近似从马尔可夫链 22- - - - - - 27]。实验表明,纳德通常优于其他模型估计的任务分配,在纳德的性能等其他任务的无监督学习特性和神经网络的初始化并不是那么优秀。在本文中,我们主要处理这两个问题。

功能完全程度由学会了重量<我nline-formula> W 和偏见<我nline-formula> c 无论在遏制或纳德。提高功能,我们尝试修改相应的参数学习的同时保持纳德的结构模型。

直接的想法是由纳德利用条件概率的计算。考虑输入条件的一维概率在其他维度;测量指定的维度的重要性,我们夹其他维度和简单地比较两种情况下的概率如下: (7) p v 我 = 1 , v ≠ 我 p v 我 = 0 , v ≠ 我 = p v 我 = 1 v ≠ 我 ⋅ p v ≠ 我 p v 我 = 0 v ≠ 我 ⋅ p v ≠ 我 = p v 我 = 1 v ≠ 我 p v 我 = 0 v ≠ 我 = ω 我 。

在这个例子中,我们定义的<我nline-formula> ω 我 的重量分数<我talic> 我th维度的输入。大或小的价值<我nline-formula> ω 我 表明,这两种情况的概率大大不同,我们应该更加注意这个指定的尺寸。这个再加权方案没有工作在实践中由于大量的计算。为每个维度的观察,我们必须计算两个前馈过程和它是不切实际的。

处理这个问题,我们近似条件概率<我nline-formula> p v 我 = 1 v ≠ 我 和<我nline-formula> p v 我 = 0 v ≠ 我 顺序固定的条件概率<我nline-formula> p v 我 = 1 v < 我 和<我nline-formula> p v 我 = 0 v < 我 ,这是兼容纳德的原始结构。这种近似大幅降低了成本计算的一个因素<我talic> H,这是每个隐层的大小。

我们进一步取代<我nline-formula> ω 我 = p v 我 = 1 v < 我 / p v 我 = 0 v < 我 通过<我nline-formula> ω 我 = p v 我 = 1 v < 我 − p v 我 = 0 v < 我 控制的不稳定性<我nline-formula> ω 我 。因此,我们使用<我nline-formula> ω 我 修改相应权重矩阵<我nline-formula> W 换句话说,<我nline-formula> 我 th列<我nline-formula> W 。我们会更加注意的尺寸在两种不同情况下概率变化强烈。这些维度应该有更大的权重生成特征表示。

最后再加权方案表示为 (8) ω 我 = p v 我 = 1 v < 我 − p v 我 = 0 v < 我 , (9) ω ˜ 我 = ω 我 , ω 我 < τ , τ , 否则, (10) k = ∑ 我 D ω ˜ 我 , (11) ω ^ 我 = D ω ˜ 我 k , (12) h = 团体 c + ∑ 我 D ω ^ 我 W ⋅ , 我 v 我 , 在哪里<我nline-formula> τ ∈ 0 1 是阈值控制的区别,<我talic> D是输入的大小,<我nline-formula> ω ^ 我 的重量分数吗<我talic> 我th维度,<我nline-formula> W ⋅ , 我 是<我talic> 我th列<我nline-formula> W ,<我nline-formula> h 是最后再加权特性。

在再加权过程,方程( 8)计算概率之间的差异在两种情况下为每个维度。方程( 9)控制体重的规模。方程( 10)和( 11)正常的体重。

虽然这再加权方案似乎是可信的,但很少改进功能。这可能解释说,再加权分数确实改变激活每个维度的特性<我nline-formula> h 虽然不会改变的相对大小激活,这可能是更重要的是为了更好的表示。

为了解决这个问题,我们更愿意处理的行<我nline-formula> W 而不是列,我们将再次利用纳德提供的结构。每个维度的输入,纳德提供了相应的隐藏层,它可以用来修改学习功能。在这种情况下,我们更加注意隐藏层的尺寸在饱和或灭活。这些想法会导致新的再加权方案如下: (13) h ˜ = ∑ 我 D h 我 D , (14) ω ˜ j = ε 上 , h ˜ j > τ 上 , ε 较低的 , h ˜ j < τ 较低的 , 1 , 否则, (15) k = ∑ 我 H ω ˜ j , (16) ω ^ j = H ω ˜ j k , (17) c ^ j = c j ⋅ ω ^ j , (18) W ^ j , ⋅ = ω ^ j W j , ⋅ , (19) h = 团体 c ^ + ∑ 我 D W ^ ⋅ , 我 v 我 , 在哪里<我nline-formula> D 是输入的大小,<我nline-formula> h 我 是<我talic> 我在纳德th隐藏层,<我nline-formula> ε 上 , ε 较低的 相对权重,<我nline-formula> τ 上 , τ 较低的 是阈值控制激活的价值,<我nline-formula> h ˜ j 是<我talic> jth单位规范化隐藏层<我nline-formula> h ˜ ,<我nline-formula> W ^ j , ⋅ 和 W j , ⋅ 代表了<我talic> j为每个矩阵th行。

我们结束了再加权算法程序 1。

遏制所学到的重量或纳德可以用来初始化一个神经网络的重量,这是这类模型的优点之一。进一步的神经网络可以用于其他任务,比如分类。

我们提出了再加权方案的特性,适用于每一个观察,尽管这种方法不适合初始化。

为了解决这个问题,我们计算再加权分数为每个样本在训练集和他们获得一个新的再加权的平均分数的权重矩阵和偏见。这个过程可以表示为 (20) ω ^ = ∑ k = 1 N ω ^ k N , (21) c ^ j = c j ⋅ w ^ j , (22) W ^ j , ⋅ = ω ^ j W j , ⋅ , 在哪里<我nline-formula> N 在训练集样本的数量,<我nline-formula> ω ^ k 是再加权得分向量对应<我nline-formula> k th训练样本。

完整的过程是在算法结束 2。

在本节中,我们将展示几个二进制数据集上的实验结果再加权方案的特性和初始化。纳德的训练过程,一个固定尺寸的顺序必须选择输入的开始。由于实验表明,订货不产生重大影响的性能纳德( 11),对于每一个数据集,选择排序独立和保持相同的在所有的实验中。此外,hyperparameters纳德保持不变的hyperparameters为了选择再加权方案。纳德模型的实现是基于所提供的代码Larochelle和莫里 11]。

在本文中,我们提出了一个简单的和小说再加权方案修改纳德的学习参数。我们利用激活隐藏层的学习纳德模型,设置适当的阈值控制的比例超过饱和和灭活单位。为了达到更好的效果,提出了一个启发式再加权方法。原始参数修改和规范化。再加权参数用于生成特性或更好地提高神经网络的初始化的性能。实验表明,再加权方案的有效性,并有明显的改善在机器学习领域的两个重要的任务。