1.介绍GyD.F4.y2Ba
智能手机最近变得非常流行。拥有各种传感器和强大功能(计算、存储和通信)的智能手机的发展激发了一种流行的计算和传感范式,GyD.F4.y2Ba
众包GyD.F4.y2Ba .由于传感器的移动电话爆炸,我们可以感知环境,基础设施,甚至社交活动[GyD.F4.y2Ba
1GyD.F4.y2Ba ].例如,在[GyD.F4.y2Ba
2GyD.F4.y2Ba [作者]作者提出使用带内置三轴加速度计的智能手机来识别体育活动,这可以提供有关个人功能能力和生活方式程度的有价值的信息。除了使用智能手机的单个类型传感器之外,我们通常使用智能手机的多重电视传感器以获得各种应用的更全面的感官数据[GyD.F4.y2Ba
3.GyD.F4.y2Ba 那GyD.F4.y2Ba
4.GyD.F4.y2Ba ].然而,来自各种数据源的感官数据通常是异质的,代表不同的粒度和不同的质量。此外,数据通常是标记的时间。由于感觉数据的两个特征,如何正确地“理解”的异构数据是正确的数据分析的新挑战。GyD.F4.y2Ba
一些现有的解决方案更愿意通过传感器分析单一类型的数据传感器[GyD.F4.y2Ba
4.GyD.F4.y2Ba -GyD.F4.y2Ba
6.GyD.F4.y2Ba ].例如,在[GyD.F4.y2Ba
5.GyD.F4.y2Ba [作者,作者专注于通过使用智能手机的加速度计,麦克风,GSM无线电和/或GPS传感器来检测坑洼,凸块,制动和鸣喇叭的流量监控。它们分别分析从这些传感器中的每一个生成的数据。这些方法的缺点是它们只能获得感觉数据的单向特征。其他一些研究人员提出了传感器融合方法来学习感官数据[GyD.F4.y2Ba
3.GyD.F4.y2Ba 那GyD.F4.y2Ba
7.GyD.F4.y2Ba ].这是通过特征提取方法来实现的,其中每个传感器的特征独立地计算。然后,将提取的特征集成用于来自多传感器的信息融合。虽然这些方法导出了感官数据的综合特征,但它们不能表示异构数据的内部关系。此外,所有这些方法都不会考虑感官数据的时间标签,这可能导致一些典型的特征被忽视。因此,有些作品尝试使用隐马尔可夫模型(HMM)学习感官数据的时间特征[GyD.F4.y2Ba
8.GyD.F4.y2Ba 那GyD.F4.y2Ba
9.GyD.F4.y2Ba ].但基于肝的算法只能获得感觉数据的相邻时间点的特征而不是整个时间特征。GyD.F4.y2Ba
由于现有方法分别处理感官数据的局限性,我们提出了一个新的GyD.F4.y2Ba
代表学习GyD.F4.y2Ba 基于深度学习的带有时间标签的异构数据提取典型特征的方法。在我们的模型中,将多种传感器设置为相同的采样频率。然后,根据数据采集的顺序,对感官数据进行“序列标签”标记。因此,收集的数据及其序列标签可以作为一个整体特征组合在一起。然后,这种全局数据集成可以被深度学习网络接受为输入。有了多层次,深度学习更加强大和灵活。它能够结合许多层来生成一个集成的特性。在众感中,我们认为从多个感知数据中提取的综合特征可以很好地识别对应的上下文。此外,由于感官数据带有时间标签,我们也可以在模型中从原始数据中学习时间知识。总之,我们不仅整合了来自多个传感器的异构数据,而且还将其与时间信息相结合。 We named the combination as
上下文指纹GyD.F4.y2Ba .GyD.F4.y2Ba
在本文中,我们提出并展示了我们在整体视图中分析感官数据的方法。我们将其次收集的所有数据集团GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
来自多个传感器源及其序列标签GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
作为一个向量。假设在时间点生成的向量GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
用GyD.F4.y2Ba
XGyD.F4.y2Ba
1GyD.F4.y2Ba
'GyD.F4.y2Ba
采样窗口的长度为GyD.F4.y2Ba
τGyD.F4.y2Ba
.然后,我们可以得到一个向量GyD.F4.y2Ba
XGyD.F4.y2Ba
2GyD.F4.y2Ba
'GyD.F4.y2Ba
序列标签GyD.F4.y2Ba
T.GyD.F4.y2Ba
1GyD.F4.y2Ba
在时间GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
+GyD.F4.y2Ba
τGyD.F4.y2Ba
以同样的方式。重复这个采样过程GyD.F4.y2Ba
NGyD.F4.y2Ba
时间,我们可以得到样本GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
,在那里GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
=GyD.F4.y2Ba
(GyD.F4.y2Ba
XGyD.F4.y2Ba
1GyD.F4.y2Ba
'GyD.F4.y2Ba
那GyD.F4.y2Ba
XGyD.F4.y2Ba
2GyD.F4.y2Ba
'GyD.F4.y2Ba
那GyD.F4.y2Ba
......GyD.F4.y2Ba
那GyD.F4.y2Ba
XGyD.F4.y2Ba
NGyD.F4.y2Ba
'GyD.F4.y2Ba
)GyD.F4.y2Ba
是一个矩阵GyD.F4.y2Ba
NGyD.F4.y2Ba
列。由于感官数据来自不同的粒度数据源,因此必须改进原始样本GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
通过数据预处理。通过预处理,我们得到了相同大小的样品GyD.F4.y2Ba
XGyD.F4.y2Ba
从GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
.样例GyD.F4.y2Ba
XGyD.F4.y2Ba
将作为我们深度学习模型的输入。实验结果表明,深度学习重建的情境指纹能够有效地表征众感情境的不变特征。我们提出的方法具有以下创新特点:(1)将整体特征(GyD.F4.y2Ba
上下文指纹GyD.F4.y2Ba )原始数据作为输入,(ii)除了感官数据本身之外,它捕获和学习,数据的标记时间信息并利用它们的上下文推断,(iii)与深度学习模型,我们没有必须做方向纠正;换句话说,我们不需要关心电话方向的问题。GyD.F4.y2Ba
本文的主要贡献是多重贡献,其中包括以下内容:GyD.F4.y2Ba
(1)GyD.F4.y2Ba
我们建议将多个传感器的特征与其序列标签的集成为整体指纹,以便在众包中分析数据。GyD.F4.y2Ba
(2)GyD.F4.y2Ba
我们考虑了时间信息的因素,提高了移动活动识别的效率。GyD.F4.y2Ba
(3)GyD.F4.y2Ba
通过深度学习模型,我们使智能手机数据分析与智能手机定位无关。GyD.F4.y2Ba
(4)GyD.F4.y2Ba
我们评估了从智能手机的多个传感器收集的真实数据的建议方案。GyD.F4.y2Ba
本文的其余部分的结构如下。部分GyD.F4.y2Ba
2GyD.F4.y2Ba 介绍了相关工作的简要概述。节GyD.F4.y2Ba
3.GyD.F4.y2Ba 介绍了时延多层感知模型的基本结构。我们将在第一部分解释网络训练GyD.F4.y2Ba
4.GyD.F4.y2Ba .部分GyD.F4.y2Ba
5.GyD.F4.y2Ba 通过在现实情景中收集的数据来评估我们在人类移动活动中推断的计划,以及GyD.F4.y2Ba
6.GyD.F4.y2Ba 总结了本文。GyD.F4.y2Ba
2.相关工作GyD.F4.y2Ba
由于智能手机和多理传感器的普及,它的配备,对移动应用研究越来越感兴趣[GyD.F4.y2Ba
10.GyD.F4.y2Ba -GyD.F4.y2Ba
13.GyD.F4.y2Ba ].他们利用智能手机的传感器感知我们的物理环境或个人的生理参数等等。感官数据始终是多模式,代表不同的粒度和不同的质量。为了妥善理解所收集的数据的潜在含义,许多研究人员将自己致力于学习数据的表示,使其更容易提取有用信息。在 [GyD.F4.y2Ba
14.GyD.F4.y2Ba ,提出分别计算智能手机加速度计、陀螺仪和磁力计的合成矢量。然后,利用三个传感器各自定义的阈值进行跌倒检测。多类型传感器的感觉数据的独立表示机制在[GyD.F4.y2Ba
15.GyD.F4.y2Ba 那GyD.F4.y2Ba
16.GyD.F4.y2Ba ]也是如此。虽然这些方法很轻,但它们只能获得感觉数据的单向特性,并且不能形成判别特征。例如,楼下和楼上的加速度计具有类似的变化特性。GyD.F4.y2Ba
鉴于感官数据的独立表示机制的不足,一些研究提出了基于传感器融合的方案来学习感官数据的表示。传感器融合是从不同源导出的感觉数据或数据组合,使得所得到的信息与单独使用这些源时的不确定性较少的不确定性[GyD.F4.y2Ba
17.GyD.F4.y2Ba ].通过融合过程,我们可以从不同的原始数据源中得到更准确、更可靠的结果。例如,在[GyD.F4.y2Ba
18.GyD.F4.y2Ba ],为了改进本地化服务,作者手动至少四个传感器,包括麦克风,相机,WiFi无线电和加速度计。目的是将多个功能组合以获得可靠的本地化服务。在 [GyD.F4.y2Ba
19.GyD.F4.y2Ba [作者,作者呈现了异构数据表示的分层算法。在较低级别中,它提取了加速度计和麦克风的特征向量,用于运动和环境。在较高级别中,它结合了提取的两个功能来获得人类活动识别的集成功能。同样,在[GyD.F4.y2Ba
20.GyD.F4.y2Ba , Zeng等人提出了一种动态异构传感器融合框架,以融合各种传感器数据。它学习传感器的权重,形成活动识别的综合特征。这些方案的缺点是只是简单地集成了异构数据,没有考虑不同传感器的影响。此外,一些工作还需要实现传感器的坐标重定向,以获得有意义的感觉数据,指示物体的物理活动[GyD.F4.y2Ba
3.GyD.F4.y2Ba 那GyD.F4.y2Ba
6.GyD.F4.y2Ba 那GyD.F4.y2Ba
21.GyD.F4.y2Ba ],这增加了系统实现的复杂性。GyD.F4.y2Ba
由于感官数据可以为各种感测事件呈现不同的时间特征,因此一些研究尝试探索学习感官数据中的时间特征。据我们所知,用于分析感官数据的时间特征的方法是隐马尔可夫模型的算法[GyD.F4.y2Ba
22.GyD.F4.y2Ba 那GyD.F4.y2Ba
23.GyD.F4.y2Ba ].然而,基于HMM的算法需要先验知识来定义其结构,这限制了其可行性。另外,分析相邻时间点数据的传递特征,使得它不能提取感觉数据的集成时间特征。GyD.F4.y2Ba
3.模型评估GyD.F4.y2Ba
3.1.为什么选择深度学习GyD.F4.y2Ba
理论结果表明,对于复杂的提取过程,通过施加“更深的”结构可以进一步提高结果[GyD.F4.y2Ba
24.GyD.F4.y2Ba 那GyD.F4.y2Ba
25.GyD.F4.y2Ba ].在本文中,我们提出了由时间标签标记的感官数据的学习表示,以利用深度学习提取典型特征,这是一种生成模型,由多层隐藏的随机潜变量组成。我们的方法有两个优点。首先,我们考虑在我们的算法中的时间信息分析标记的感觉数据。其次,与各种传感器的传统方式不同,每个传感器分别呈现一个特征(子处理),我们相信配备智能手机的所有传感器都表示与上下文相对应的唯一特征。即,我们将所有子处理物集成为整体功能,这是GyD.F4.y2Ba
上下文指纹GyD.F4.y2Ba 我们以前命名。我们计划如下解释这两种考虑因素的更多细节。GyD.F4.y2Ba
3.1.1。感官数据的时间信息GyD.F4.y2Ba
通常,智能手机生成的感官数据是标记的时间。例如,如果我们当时对感官数据进行样本GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
采样窗口长度GyD.F4.y2Ba
τGyD.F4.y2Ba
然后,我们可以收集这样的数据序列:GyD.F4.y2Ba
{GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
那GyD.F4.y2Ba
yGyD.F4.y2Ba
(GyD.F4.y2Ba
一世GyD.F4.y2Ba
)GyD.F4.y2Ba
那GyD.F4.y2Ba
一世GyD.F4.y2Ba
=GyD.F4.y2Ba
1,2GyD.F4.y2Ba
那GyD.F4.y2Ba
......GyD.F4.y2Ba
那GyD.F4.y2Ba
NgyD.F4.y2Ba
}GyD.F4.y2Ba
[GyD.F4.y2Ba
T.GyD.F4.y2Ba
0.GyD.F4.y2Ba
+GyD.F4.y2Ba
(GyD.F4.y2Ba
一世GyD.F4.y2Ba
-GyD.F4.y2Ba
1GyD.F4.y2Ba
)GyD.F4.y2Ba
τGyD.F4.y2Ba
]GyD.F4.y2Ba
,在那里GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
表示按照采集顺序排序的样本数据。因此,GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
可以用“序列标签”来标记时间GyD.F4.y2Ba
T.GyD.F4.y2Ba
一世GyD.F4.y2Ba
.GyD.F4.y2Ba
yGyD.F4.y2Ba
(GyD.F4.y2Ba
一世GyD.F4.y2Ba
)GyD.F4.y2Ba
是班级标签GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
属于。对于移动人群,时间标签是有价值的信息,可用于随时间提取感官数据的改变特性。应在算法设计中考虑时间标签作为尽可能的MUCG。但是,现有方法通常无法有效地处理时间信息。在本文中,我们介绍了深度学习模型,以从标记的感觉数据中提取典型特征。GyD.F4.y2Ba
3.1.2。数据集成GyD.F4.y2Ba
为了实现使用深度学习提取典型的特征,有必要确定作为我们深度学习的输入数据的数据集成。数据集成是将驻留在不同源处的数据,并为用户提供这些数据的统一视图[GyD.F4.y2Ba
26.GyD.F4.y2Ba ].如前所述,我们将各种感觉数据和序列标签组合在一起以获得aGyD.F4.y2Ba
上下文指纹GyD.F4.y2Ba .在我们的模型中,而不是将不同的传感器分别考虑不同的子处理,而是数据集成表示是不变的功能,即GyD.F4.y2Ba
上下文指纹GyD.F4.y2Ba .例如,如果有四种传感器,我们可以操纵加速度计、陀螺仪、磁力计和指南针。必须有一个特殊上下文生成的特殊指纹向量GyD.F4.y2Ba
CGyD.F4.y2Ba
和它对应的时间点。对于每个上下文GyD.F4.y2Ba
CGyD.F4.y2Ba
,必须有一个,而且只有一个GyD.F4.y2Ba
FGyD.F4.y2Ba
相应的。指纹向量GyD.F4.y2Ba
CGyD.F4.y2Ba
是方向不变。GyD.F4.y2Ba
(1)GyD.F4.y2Ba
FGyD.F4.y2Ba
=GyD.F4.y2Ba
一种GyD.F4.y2Ba
CGyD.F4.y2Ba
CGyD.F4.y2Ba
XGyD.F4.y2Ba
那GyD.F4.y2Ba
一种GyD.F4.y2Ba
CGyD.F4.y2Ba
CGyD.F4.y2Ba
yGyD.F4.y2Ba
那GyD.F4.y2Ba
一种GyD.F4.y2Ba
CGyD.F4.y2Ba
CGyD.F4.y2Ba
Z.GyD.F4.y2Ba
那GyD.F4.y2Ba
GGyD.F4.y2Ba
yGyD.F4.y2Ba
R.GyD.F4.y2Ba
XGyD.F4.y2Ba
那GyD.F4.y2Ba
GGyD.F4.y2Ba
yGyD.F4.y2Ba
R.GyD.F4.y2Ba
yGyD.F4.y2Ba
那GyD.F4.y2Ba
GGyD.F4.y2Ba
yGyD.F4.y2Ba
R.GyD.F4.y2Ba
Z.GyD.F4.y2Ba
那GyD.F4.y2Ba
mGyD.F4.y2Ba
一种GyD.F4.y2Ba
GGyD.F4.y2Ba
XGyD.F4.y2Ba
那GyD.F4.y2Ba
mGyD.F4.y2Ba
一种GyD.F4.y2Ba
GGyD.F4.y2Ba
yGyD.F4.y2Ba
那GyD.F4.y2Ba
mGyD.F4.y2Ba
一种GyD.F4.y2Ba
GGyD.F4.y2Ba
Z.GyD.F4.y2Ba
那GyD.F4.y2Ba
CGyD.F4.y2Ba
O.GyD.F4.y2Ba
mGyD.F4.y2Ba
那GyD.F4.y2Ba
T.GyD.F4.y2Ba
.GyD.F4.y2Ba
3.2。深度学习模式GyD.F4.y2Ba
为了利用时间标签从感觉数据中提取典型特征,我们使用由许多层组成的深度学习模型。到目前为止,有各种深度学习架构,如卷积神经网络,递归神经网络和深度信仰网络。卷积神经网络(CNN)适用于处理视觉和其他二维数据[GyD.F4.y2Ba
27.GyD.F4.y2Ba ].递归神经网络(RNN)使用张量的组成功能,其结构非常复杂[GyD.F4.y2Ba
28.GyD.F4.y2Ba ].RNN适用于自然语言处理[GyD.F4.y2Ba
29.GyD.F4.y2Ba ].深度信念网络可以以无监督的层,逐层方式有效地培训,其中层由受限制的Boltzmann机器(RBM)制成[GyD.F4.y2Ba
30.GyD.F4.y2Ba ].因此,DBN可以大大减少训练样本。通过比较分析,我们选择深度信仰网络(DBN)作为我们的深度学习模式。在本文中,我们使用包含可见层和三个隐藏层的四层DBN结构。四层形成三个RBM组,如图所示GyD.F4.y2Ba
1GyD.F4.y2Ba .假设网络的输入数据向量为GyD.F4.y2Ba
mGyD.F4.y2Ba
-dimensional,从加速度计,陀螺仪,磁力计,罗盘和序列标签收集并集成(本文中,我们只考虑4个传感器;对于更多传感器,网络可以以相同的方式放大网络。GyD.F4.y2Ba
图1GyD.F4.y2Ba
移动众感深度信任网络架构。它包含四层。输入数据是一个矢量,由加速度计、陀螺仪、磁力计、指南针和时间序列收集和集成。GyD.F4.y2Ba
有GyD.F4.y2Ba
L.GyD.F4.y2Ba
1GyD.F4.y2Ba
我们DBN的可见层中的单位,负责接受输入样本。样本数据是标记的时间。假设每个样本都包含GyD.F4.y2Ba
NGyD.F4.y2Ba
取样时间点;然后很容易知道每个输入样本GyD.F4.y2Ba
XGyD.F4.y2Ba
是一个矩阵GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
那GyD.F4.y2Ba
XGyD.F4.y2Ba
=GyD.F4.y2Ba
[GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
]GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
.可见层应接受一个样本的每个元素,如图所示GyD.F4.y2Ba
1GyD.F4.y2Ba .到目前为止,数字GyD.F4.y2Ba
L.GyD.F4.y2Ba
1GyD.F4.y2Ba
,它与两者线性相关GyD.F4.y2Ba
mGyD.F4.y2Ba
和GyD.F4.y2Ba
NGyD.F4.y2Ba
,可计算为GyD.F4.y2Ba
L.GyD.F4.y2Ba
1GyD.F4.y2Ba
=GyD.F4.y2Ba
mGyD.F4.y2Ba
NGyD.F4.y2Ba
.如前所述,感官数据来自不同粒度的数据源。因此,我们这里使用的样本并不是智能手机采集的原始数据,而是经过预处理的数据。本文进一步讨论了数据预处理问题。下面三层是隐藏层。最下面的隐藏层有GyD.F4.y2Ba
HGyD.F4.y2Ba
1GyD.F4.y2Ba
隐藏单位,下一个有GyD.F4.y2Ba
HGyD.F4.y2Ba
2GyD.F4.y2Ba
,最上面的一层有GyD.F4.y2Ba
HGyD.F4.y2Ba
3.GyD.F4.y2Ba
隐藏的单位。第一个RBM的隐藏单元从可见层获得输入,然后将它们经过良好训练的输出转发给第二个RBM。此时,第一个隐藏层的单位在第二个RBM中变为可见的单位。这个过程将重复进行,直到确定顶层隐藏的单元。每个隐层单元的数量要仔细选择,通过实验可以调优和搜索合适的隐层单元。GyD.F4.y2Ba
3.3.数据采样和预处理GyD.F4.y2Ba
在本小节中,我们解释了如何从智能手机收集的原始数据中定义和获取样本。正如我们之前讨论的那样,原始数据是GyD.F4.y2Ba
mGyD.F4.y2Ba
-维度,包含感知数据和序列标签。对于每个采样时间点,有一种GyD.F4.y2Ba
mGyD.F4.y2Ba
-维向量将生成。在我们的模型中,我们选择连续序列数据作为我们的训练或测试样本,而不是仅仅一个采样点,因为只有足够长的序列数据才能捕获一个模式;换句话说,只有一个连续的采样序列才能正确地表示一个特殊的上下文。现在的问题是如何探索一个合适的采样时间长度,GyD.F4.y2Ba
NGyD.F4.y2Ba
,正如我们之前讨论过的。GyD.F4.y2Ba
在我们的模型中,我们制作样本的长度GyD.F4.y2Ba
NGyD.F4.y2Ba
与特定情况有关,例如人类日常活动识别[GyD.F4.y2Ba
2GyD.F4.y2Ba 那GyD.F4.y2Ba
14.GyD.F4.y2Ba 那GyD.F4.y2Ba
31.GyD.F4.y2Ba 或运输模式识别[GyD.F4.y2Ba
32.GyD.F4.y2Ba -GyD.F4.y2Ba
34.GyD.F4.y2Ba ].针对不同的应用目的,我们选择了不同的时间长度GyD.F4.y2Ba
NGyD.F4.y2Ba
.例如,在[GyD.F4.y2Ba
33.GyD.F4.y2Ba ],有必要确定人们是否在公共汽车上。因此,我们应该使用更长的感官数据来实现这一目标;根据我们的实验,20〜120秒可以是用于采样时间帧的适当长度。然而,为了识别人的日常活动,例如骑行,5〜8秒就足够了。合理的价值GyD.F4.y2Ba
NGyD.F4.y2Ba
将从实验中选择不同的场景。正如我们之前讨论的,有GyD.F4.y2Ba
NGyD.F4.y2Ba
每种原始样本的时间采样GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
;GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
=GyD.F4.y2Ba
[GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
'GyD.F4.y2Ba
]GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
.由于毛样的粒度不同,所以我们不输入毛样GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
直接进入我们的模型。实际上,我们建议做预处理GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
并获得精致的样本GyD.F4.y2Ba
XGyD.F4.y2Ba
=GyD.F4.y2Ba
[GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
]GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
进行以下培训和测试:GyD.F4.y2Ba
(2)GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
'GyD.F4.y2Ba
-GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
¯GyD.F4.y2Ba
σGyD.F4.y2Ba
一世GyD.F4.y2Ba
那GyD.F4.y2Ba
一世GyD.F4.y2Ba
=GyD.F4.y2Ba
1,2GyD.F4.y2Ba
那GyD.F4.y2Ba
......GyD.F4.y2Ba
那GyD.F4.y2Ba
mGyD.F4.y2Ba
那GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
1,2GyD.F4.y2Ba
那GyD.F4.y2Ba
......GyD.F4.y2Ba
那GyD.F4.y2Ba
NGyD.F4.y2Ba
那GyD.F4.y2Ba
在哪里GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
'GyD.F4.y2Ba
¯GyD.F4.y2Ba
=GyD.F4.y2Ba
1GyD.F4.y2Ba
/GyD.F4.y2Ba
NGyD.F4.y2Ba
∑GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
1GyD.F4.y2Ba
NGyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
'GyD.F4.y2Ba
和GyD.F4.y2Ba
σGyD.F4.y2Ba
一世GyD.F4.y2Ba
方差是多少GyD.F4.y2Ba
一世GyD.F4.y2Ba
毛样的第一行GyD.F4.y2Ba
XGyD.F4.y2Ba
'GyD.F4.y2Ba
.精致的样本GyD.F4.y2Ba
XGyD.F4.y2Ba
=GyD.F4.y2Ba
[GyD.F4.y2Ba
XGyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
]GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
是光滑的,它也可以表示aGyD.F4.y2Ba
上下文指纹GyD.F4.y2Ba .GyD.F4.y2Ba
4.深度信念网络训练GyD.F4.y2Ba
经过预处理后,样品的尺寸为GyD.F4.y2Ba
mGyD.F4.y2Ba
×GyD.F4.y2Ba
NGyD.F4.y2Ba
可以被DBN的可见层接受。但是,与图像数据的像素矩阵不同,我们的样本是时延数据序列。为了整合感知数据,形成典型特征,需要对深度置信网络进行良好的训练。因此,我们的目的是找出DBN的参数,使网络误差最小化。这一过程分为两个阶段:(1)训练前阶段和(2)微调阶段。在下面的部分中,我们将详细描述这两个阶段。GyD.F4.y2Ba
4.1。预先曝光阶段GyD.F4.y2Ba
如图所示GyD.F4.y2Ba
1GyD.F4.y2Ba ,我们的DBN由三个RBM基团组成,它们彼此分离。因此,我们对每个RBM组进行单独训练。对于每个RBM,它是一个无向图,由两层组成:可见层用来表示观测值,隐含层用来表示特征检测器。GyD.F4.y2Ba
W.GyD.F4.y2Ba
是可见层和隐藏层之间连接的重量。RBM的结构如图所示GyD.F4.y2Ba
2GyD.F4.y2Ba .GyD.F4.y2Ba
图2GyD.F4.y2Ba
限制博尔兹曼机(RBM)的模型。GyD.F4.y2Ba
让载体GyD.F4.y2Ba
V.GyD.F4.y2Ba
和GyD.F4.y2Ba
HGyD.F4.y2Ba
表示可见单元和隐藏单元的状态,其中GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
表示国家的状态GyD.F4.y2Ba
一世GyD.F4.y2Ba
可见单位GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
表示国家的状态GyD.F4.y2Ba
jGyD.F4.y2Ba
隐藏的单位。对于给定的状态GyD.F4.y2Ba
(GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
)GyD.F4.y2Ba
,RBM中的关节配置的能量是GyD.F4.y2Ba
(3)GyD.F4.y2Ba
E.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
=GyD.F4.y2Ba
-GyD.F4.y2Ba
∑GyD.F4.y2Ba
一世GyD.F4.y2Ba
∈GyD.F4.y2Ba
V.GyD.F4.y2Ba
一种GyD.F4.y2Ba
一世GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
-GyD.F4.y2Ba
∑GyD.F4.y2Ba
jGyD.F4.y2Ba
∈GyD.F4.y2Ba
HGyD.F4.y2Ba
B.GyD.F4.y2Ba
jGyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
-GyD.F4.y2Ba
∑GyD.F4.y2Ba
一世GyD.F4.y2Ba
∈GyD.F4.y2Ba
V.GyD.F4.y2Ba
∑GyD.F4.y2Ba
jGyD.F4.y2Ba
∈GyD.F4.y2Ba
HGyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
W.GyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
那GyD.F4.y2Ba
在哪里GyD.F4.y2Ba
θGyD.F4.y2Ba
=GyD.F4.y2Ba
{GyD.F4.y2Ba
W.GyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
那GyD.F4.y2Ba
一种GyD.F4.y2Ba
一世GyD.F4.y2Ba
那GyD.F4.y2Ba
B.GyD.F4.y2Ba
jGyD.F4.y2Ba
}GyD.F4.y2Ba
是需要在RBM中培训的参数。GyD.F4.y2Ba
W.GyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
是连接之间的连接的重量GyD.F4.y2Ba
一世GyD.F4.y2Ba
可见单位GyD.F4.y2Ba
jGyD.F4.y2Ba
隐藏的单位和GyD.F4.y2Ba
一种GyD.F4.y2Ba
一世GyD.F4.y2Ba
和GyD.F4.y2Ba
B.GyD.F4.y2Ba
jGyD.F4.y2Ba
是他们的偏见。基于能量函数,联合概率分布GyD.F4.y2Ba
(GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
)GyD.F4.y2Ba
给药GyD.F4.y2Ba
(4)GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
=GyD.F4.y2Ba
E.GyD.F4.y2Ba
-GyD.F4.y2Ba
E.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
Z.GyD.F4.y2Ba
θGyD.F4.y2Ba
那GyD.F4.y2Ba
在哪里GyD.F4.y2Ba
Z.GyD.F4.y2Ba
(GyD.F4.y2Ba
θGyD.F4.y2Ba
)GyD.F4.y2Ba
=GyD.F4.y2Ba
∑GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
E.GyD.F4.y2Ba
-GyD.F4.y2Ba
E.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
是配分函数。对于一个实际问题,预训练算法的目的是确定观测数据的分布GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
,即。的边际概率GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
.它可以作为GyD.F4.y2Ba
(5)GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
=GyD.F4.y2Ba
1GyD.F4.y2Ba
Z.GyD.F4.y2Ba
θGyD.F4.y2Ba
∑GyD.F4.y2Ba
HGyD.F4.y2Ba
E.GyD.F4.y2Ba
-GyD.F4.y2Ba
E.GyD.F4.y2Ba
V.GyD.F4.y2Ba
那GyD.F4.y2Ba
HGyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
.GyD.F4.y2Ba
由于通过提高样品的概率,可以降低训练样本的能量,因此最佳参数GyD.F4.y2Ba
θGyD.F4.y2Ba
可以通过最大化的可能性函数来计算GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
.它可以通过对的似然函数求导来计算GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
关于参数:GyD.F4.y2Ba
(6)GyD.F4.y2Ba
∂GyD.F4.y2Ba
日志GyD.F4.y2Ba
GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
∂GyD.F4.y2Ba
W.GyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
∂GyD.F4.y2Ba
日志GyD.F4.y2Ba
GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
∂GyD.F4.y2Ba
一种GyD.F4.y2Ba
一世GyD.F4.y2Ba
=GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
∂GyD.F4.y2Ba
日志GyD.F4.y2Ba
GyD.F4.y2Ba
P.GyD.F4.y2Ba
V.GyD.F4.y2Ba
∣GyD.F4.y2Ba
θGyD.F4.y2Ba
∂GyD.F4.y2Ba
B.GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
那GyD.F4.y2Ba
在哪里GyD.F4.y2Ba
·GyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
是期望参数和观察数据的乘积和GyD.F4.y2Ba
·GyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
是根据模型产生的模型观测的期望。当训练数据和生成的数据相似时,我们获得最佳性能。因此,可以更新参数GyD.F4.y2Ba
(7)GyD.F4.y2Ba
ΔGyD.F4.y2Ba
W.GyD.F4.y2Ba
一世GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
ϵGyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
ΔGyD.F4.y2Ba
一种GyD.F4.y2Ba
一世GyD.F4.y2Ba
=GyD.F4.y2Ba
ϵGyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
V.GyD.F4.y2Ba
一世GyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
ΔGyD.F4.y2Ba
B.GyD.F4.y2Ba
jGyD.F4.y2Ba
=GyD.F4.y2Ba
ϵGyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
D.GyD.F4.y2Ba
一种GyD.F4.y2Ba
T.GyD.F4.y2Ba
一种GyD.F4.y2Ba
-GyD.F4.y2Ba
HGyD.F4.y2Ba
jGyD.F4.y2Ba
mGyD.F4.y2Ba
O.GyD.F4.y2Ba
D.GyD.F4.y2Ba
E.GyD.F4.y2Ba
L.GyD.F4.y2Ba
那GyD.F4.y2Ba
在哪里GyD.F4.y2Ba
ϵGyD.F4.y2Ba
是一种学习率。通过实验测试,GyD.F4.y2Ba
ϵGyD.F4.y2Ba
设定为0.01。在第一个RBM训练有素之后,该RBM中的隐藏单元变成了用于学习第二个RBM的可见单元。在最后一个RBM训练之前,将重复层到层学习。此时,我们获得参数的粗粒最佳值。为了进一步提高结果,在下一阶段中实现了细匝过程。GyD.F4.y2Ba
4.2。微调阶段GyD.F4.y2Ba
上述阶段是底部到顶部无监督的学习过程,以实现网络预制率。之后,模型展开(如图所示)GyD.F4.y2Ba
3.GyD.F4.y2Ba )生成编码器和解码器网络。然后,我们实现了一个细转变的过程,以优化深度信念网络的参数。在这一步骤中,该过程是最高的监督学习。GyD.F4.y2Ba
图3.GyD.F4.y2Ba
展开深度信仰网络(DBN)的模型。GyD.F4.y2Ba
为了实现网络的微调,在本文中,我们使用BackPropagation(BP)方法,该方法计算均衡误差的梯度下降作为权重的函数[GyD.F4.y2Ba
35.GyD.F4.y2Ba ].具体地,BackPropagation过程通过展开网络,向前和向后执行两个阶段。在前进阶段,我们将培训数据转发到网络的输入,并计算推断隐藏单元与学习隐藏单元之间的差异。以这种方式,可以通过将输出与所需输出进行比较来计算错误。对于后退阶段,我们可以评估误差函数的衍生物相对于权重,然后使用它们来调整所有连接之间的权重。该过程将对每个训练数据重复多次,直到网络收敛。在整个过程中,初始重量是在预先曝光阶段训练良好训练的相同权重。GyD.F4.y2Ba