文摘

如今,一个物联网(物联网)设备由算法,数据集,和模型。由于深度学习方法的良好性能,许多设备综合训练有素的模型。物联网授权用户沟通和控制物理设备实现重要信息。然而,这些模型容易受到对手的攻击,这在很大程度上带来潜在风险的正常应用深度学习的方法。例如,很少改变甚至在物联网时间序列数据可能导致不可靠的或错误的决策。此外,这些变化可能是故意由后一个敌对的攻击策略。我们提出一个健壮的物联网数据分类模型基于encode-decode联合训练模型。此外,温度计编码作为一个非线性变换原始训练例子用来重建原始时间序列通过encode-decode模型实例。基于重建ResNet模型训练的例子更强劲对手的攻击。实验表明,经过训练的模型可以成功地抵抗攻击速度梯度信号方法在一定程度上,提高时间序列数据分类模型的安全性。

1。介绍

物联网将著名的产品与最先进的基础设施包括分布式数据存储、大数据解决方案,人工智能(AI)公用事业、或云(1]。物联网(物联网)设想连接,无处不在,和智能节点链接独立,同时提供各种各样的服务。物联网数据收集来帮助决策。物联网消费产品不再仅仅是产品;它是数据,产品,基础设施,和算法。这些物联网产品转向连接技术从模拟,因此,引入新的风险对消费者关于潜在的安全、隐私和安全问题的数据2- - - - - -4]。

此外,Papernot et al。5)发现,敌对的样品更各种机器学习方法之间转移,即。、支持向量机、逻辑回归、决策树和神经网络。

有许多为物联网应用场景,如图1,包括医疗卫生、电力和智能设备。也有地区,这是非常敏感的攻击,例如工业控制决策支持系统。

在其他领域,如国家电网和工业控制、深度学习模型的建立为他们容易决策错误是由于数据噪声和蓄意攻击修改数据。例如,智能电网电力欺诈检测时间序列数据进行了分析,在这些用例摄动数据可以救援小偷被发现。

如图1,在一些敏感和关键的系统,时间序列数据分类模型因其巨大的应用程序。因此,安全、准确检测节点的能力被破坏,以及收集和保存证据的恶意活动或优先攻击发生在胜利的物联网网络的部署。在这些潜在风险,人工智能算法安全很少获得研究兴趣虽然是人工智能领域一个非常热门的话题。

现代方法在时间序列数据分类是基于深度学习范式(6],特别是对抗的例子,这可能导致大识别错误通过添加小扰动到原始时间序列。

原因在于深度学习的高维线性设计模型。为了更好地打击对手的攻击,我们应用一个encode-decode模型重构时间序列的例子从温度计原始时间序列的编码。虽然没有训练分类模型重建的例子,他们的训练和估值精度是一样的模型训练最初的例子。此外,我们发现新模型是健壮的快速梯度方法(FGSM)攻击在某种程度上标志。总而言之,本文的贡献三个折叠如下:(1)总结的一些潜在风险物联网时间序列分类(TSC)模型(2)分析分类激活地图和攻击地区时间序列(3)一个强大的基于模型的encode-decode温度计和编码

剩下的论文结构如下。在第二部分中,我们概述TSC作品基于深度学习以及攻击和防御方法在计算机视觉领域。第三节IoTTSC从不同的视图显示了一些潜在风险。第四部分提出了一个详细描述我们的方法和一些基本的理论。在实验部分,我们介绍了数据集,分类模型架构,并攻击防御的结果。最后,我们分析了国防有效性和给我们的未来研究方向。

2。相关的工作

TSC问题是经验丰富的在许多现实生活中的数据挖掘任务从能耗监控(4,食品安全7),和医疗保健2,8,9]。

深度学习已经解决了一些问题,如模式识别在时间和空间数据精度高,几年前被认为是不可能的。幸运的是,TSC任务可以有效地陷害深度学习问题;因此,许多研究人员最近开始采用深度学习模型TSC任务(6]。

物联网方面的时间序列数据的分类是一个关键的问题在不同的应用领域。支持深度学习的发展,研究人员已经开始从事深层神经网络对抗攻击的脆弱性(10]。在图像处理领域,一个敌对攻击改变原始图像,这样的修改几乎听不清的人。改变图像称为一个敌对的形象,将神经网络,将更进一步的困惑,而原始图像的正确分类。著名的现实世界的攻击包括修改交通标志图像,由自主车辆(误解11]。变更的非法内容,让它无法觉察的自动节制算法是另一个例子。最著名的基于攻击是梯度攻击,攻击者改变了形象损失函数的梯度的方向与参考输入图像,因此升级的误分类率(12,13]。

深度学习的模型应用在实际环境中对物联网数据是脆弱容易受到对手的攻击,这已经成为一个常见问题的深度学习在其他领域。同时,有多安全防御蒸馏等图像处理工作(14,数据压缩15),深度压缩网络(16),数据随机化(17),和梯度正则化18]。

几乎没有全面研究防御对时态数据的攻击。Fawaz et al。8]讨论了一些严重的问题在时间序列数据的分类使用深度学习模型。不同的图像,物联网时间序列数据自身的特点,如规模动态变化和不同的抽样。基于物联网的特征数据,本文使用了一个encode-decode基于模型的神经网络。

在encode-decode阶段中,我们使用一个温度计解码输出编码方法。使用温度计编码的原因是考虑带一个强大的非线性变换到模型中。这是灵感来自格拉汉姆·古德费勒,他给我们的高维度结构良好的深度学习模型。巴克曼的et al。19)工作确认输入离散化方法可以击退对手的攻击。受这些思想的启发,不同于上述工作,我们试图建立一个整个网络。在这个网络中,输入原来的曲线,并将原来的学习曲线与温度计通过encode-decode模型编码作为输入。与温度计编码输入ResNet预测它的类型,我们将展示的细节提出网络和其有效性在接下来的部分。

3所示。对手的攻击在物联网时间序列数据

在本文中,我们使用咖啡的数据集20.]作为典型的时间序列数据说明了敌对的攻击在物联网领域的现象和ResNet [21)作为神经网络的测量体系结构。

3.1。速度梯度方法和TSC敌对攻击迹象

一些敌对的例子和定义的TSC问题介绍了Fawaz et al。8]。根据他们的说法,可以在数学上表示为时间序列数据集 。让T是一个实数,代表的长度X。此外,有一个训练有素的深度学习模型 。在这里,时间序列的标签空间,是一个实数空间。敌对的例子必须找到另一个例子摄动的克隆版的限制 和 。视觉的可视化图给出定义2。

最经典的对抗的方法是快速梯度方法(FGSM)标志。FGSM首次引入的格拉汉姆·古德费勒et al。12)产生敌对的图片技巧知名GoogLeNet模型。攻击是通过一步设置梯度更新的方向梯度的标语在每一个时间戳。

扰动过程如图3在数学上可以表示如下: 在哪里象征着扰动的大小。的时间序列可以计算使用 。

FGSM论文的作者提到FGSM攻击神经网络的潜在原因。首先,影响神经网络的扰动将大如雪球由于线性模型的设计。目前,ReLU是一种线性神经网络激活函数,使得整个网络往往是线性的。此外,输入尺寸越大,将模型越容易受到敌对攻击。

3.2。数据的分布在对手的攻击

多维标度(MDS) [22)提供了一个可能让见解输入时间序列的空间分布。医学博士项目N维空间到二维空间,同时保持任何两个时间序列的相对距离。鉴于最近邻分类器实现低精度的原始时间序列,欧几里得距离(ED)不能直接使用的原始数据。

然而,高功能学的网络可以作为一个很好的展示原始时间序列。一般,完美的连接层的最后几层神经网络通常作为潜在的空间,在职业专用区域不同为不同的类。

ResNet我们应用这种方法,达到最好的准确性在大多数TSC问题[6]。在ResNet架构中,有一个全球平均池(GAP)层分类器前层。的层的差距是一个学习好的表示原始时间序列,用于计算埃德。当我们每一对两个时间序列的距离,度规MDS是一个成本函数称为压力和可以获得如下: 在哪里是时间序列的ED向量之间的差距和 。这样,最初的原始时间序列空间很大程度上简化为二维空间。每一个时间序列表示为一个数据点吗 。

MDS的可视化显示分布的原始数据空间中的数据在某种程度上。在这里,我们使用了相同的技术,从数据分布显示敌对攻击是如何运作的角度。咖啡的数据集作为一个例子,ResNet是应用神经网络作为基础。细节图所示4。

如图4(一),人们很容易分离的集合时间序列属于两类利用MDS的潜在表示通过网络学习。然而,在数据4 (b)- - - - - -4 (d),攻击比每股收益变得更大,就很难分类这两个数据集通过在二维空间线性分类器。MDS的帮助下,我们可以观察到对手的攻击意外变化的分布数据。

3.3。可转移性对抗的例子

可转让性财产通常是敌对攻击的例子。对手的攻击一个神经网络可以通过不同方法神经网络训练数据集(23]。此外,对手的攻击一个特殊的建筑能欺骗其他分类器由不同的机器学习算法训练甚至其他的神经网络具有不同的架构5]。

最近,有轨电车等。24)发现,平均而言,模型的决策边界的距离大于两个模型的边界之间的距离在同一方向确认可转让性敌对攻击的例子的存在在某种程度上。他们还证明,用一个反例,可转移性不是一个内在深层神经网络的特征。

表1说明了敌对的例子在时间序列模型也可以攻击其他模型甚至他们自己的完全不同的结构。白盒的攻击可以发起产生敌对的例子为其他著名的深层神经网络模型。

如表所示1,敌对的例子针对FCN可以愚弄ResNet实现低精度和虎钳签证。实验显示了敌对的例子存在于TSC的可转移性问题即黑盒攻击甚至推出支持算法的细节是未知的。

3.4。随机噪声攻击

阮et al。25)发现了一个叫做假阳性的新类型的攻击攻击,在对手的攻击的例子有更进一步的深层神经网络与99%的信心。

通常,我们训练一个机器学习模型由以下流程,如图5;训练模型部署到行业环境评估后准备的测试数据集。这是极其危险的环境物联网设备由于其控制特点。

我们训练ResNet模型分类一些随机产生的噪声数据和时间序列数据。毫无疑问,随机时间序列数据将被分类器较低的信心。然而,随机噪声数据分类分为两类高信心,证明模型中的潜在风险。一些标签的样本噪声时间序列预测可视化在图示例6。

正如图所示6甚至,我们注意到零值或输出随机噪声也会导致高的信心。因此,模型不能直接用于智能设备。

3.5。类活动映射和对抗的例子

类激活地图(CAM)提出的周et al。26)是探索发现歧视和敏感领域的形象。之后,小王et al。9)提出了一个一维凸轮在TSC中的应用。在这里,我们使用凸轮方法来突出时间序列数据的敏感地区。因此,时间序列数据的敏感领域不断分布式这可能使一些预处理方法可以改善模型的鲁棒性。

该方法描述了一个明确的深度学习的分类模型,强调贡献最到一个特定的子序列分类器。是指出,利用凸轮与差距是唯一可行的模型层之前将softmax分类器。的原因,在本节中,我们只测量了ResNet模型,达到多数的最高精度的数据集。ResNet受益于CAM方法使用全球平均池(GAP)一个输入层,帮助识别可能的地区时间序列数据造成一定的分类器。

让是最后卷积的结果层MTS米变量。的单变量时间序列变量 ,在哪里 是应用的结果吗米过滤器。让是类的输出神经元之间的重量c和米过滤器。缺口层是利用,因此,神经元的输入的类c,也就是说,可以使用以下公式计算:

第二个求和的平均时间序列有助于整个时间维度。为简单起见,这里省略了分母。输入也可以用方程表示形式如下:

最后 ,类活动地图,这就解释了标签的分类c由方程如下:

凸轮是一个单变量时间序列中每一项在某个时间戳t∈(1 T)等于权重学习的神经网络,即。,数据点的加权和米在时间t。图7分别显示了应用CAM的结果数据集上的咖啡。

从图7,我们发现激活的关键分类字段是在同一个地方存在视觉差异。然而,对抗的例子并不是试图修改这些地方来骗取分类器。

在图8,我们发现敌对的例子是一个从原始时间序列变化的细微差别的地方不是在关键领域学习的神经网络。

4所示。该方法

分析的结果部分3提供的证据中存在一些潜在的风险,深度学习模型除了可以实现最佳的性能在时间序列分类。此外,在物联网领域,这是极其危险的,如果这些算法部署在设备。我们设计了一个新的培训策略基于encode-decode模型增加模型的鲁棒性。

我们的方法包括两个主要部分:一个是encode-decode模型,第二个是传统的深层神经网络分类模型。encode-decode模型中,输入原始时间序列的非线性变换。在这里,我们采用了温度计和非线性变换编码方法。解码的输出是恢复原始时间序列的温度计编码形式。使用encode-decode模型的原因是利用其非线性变换来消除一些噪音和敌对的扰乱基于线性渐变的迹象。我们提出的模式方法如图9。

我们的方法试图把非线性变换的encode-decode模型,该模型将捍卫传统的敌对攻击。网络由两个主要部分组成,一个是encode-decode部分。在这一部分,网络试图了解噪声和非线性函数试图最小化损失的原始例子温度计离散的例子。

编码器的输入映射到一个固定长度的向量(需要包含所有的输入信息)然后解码器输出的翻译。在模型中,编码器编码序列代表学习时间序列的语义信息,和解码器将序列映射到原始时间序列。

首先,将离散时间序列的平均十个等间距的水平。此外,温度计编码方法应用于离散曲线。基于温度计编码时间序列,encode-decode模型训练重构时间序列。因此,我们这里使用的损失函数是均方误差(MSE)。

encode-decode模型训练过程中,我们添加了一些随机噪声的时间序列增加重建能力。

图10表明,该编码器部分试图学习一些健壮的输入时间序列的插图。译码器试图输入映射到其原始时间序列。在这里,我们添加一些随机噪声的原始输入时间序列增加encode-decode模型的鲁棒性。

为了使离散输入时间序列不丢失信息的相对距离,巴克曼(3温度计)提出的编码。为一个索引 温度计向量定义如下:

然后,离散化的功能定义一段时间索引点吗 如下: 在哪里累积求和函数和吗是一个炎热的编码方法。温度计编码可以保留订单信息的时间序列,即为像素我和j,如果 和 ,然后 。

这个特征是非常重要的保存订单和形状信息的时间序列的原始时间序列。图11显示了时间序列的离散化过程。表2温度计显示了编码连续值的结果。

时间序列可以通过平均侵占本方法和转换成其他代码。该编码方法是高度非线性,可以基于防御攻击的梯度攻击方法。

与某些噪声曲线离散化后可以恢复正常,encode-decode模型。训练有素的encode-decode模型从温度计可以恢复原始时间序列编码。我们显示的例子咖啡数据集在图来说明其有效性12。

如图12,重建时间序列包含所有的原始时间序列的信息。不同之处在于高频时间序列的一部分,看起来链接随机噪音。我们表明,深度学习模型训练这些重建的例子可以显示精度高和保护从敌对攻击的能力。

5。实验和评价

在本节中,我们提出的攻击方法FGSMs和ResNet [21)的体系结构。然后我们使用FGSMs生成对抗时间序列攻击ResNet模型的例子。

5.1。数据集和比较法

85年加州大学档案利用的数据集实验(27]。这些数据集封装不同的时间序列数据从电力行业、食品安全、图像和传感器。

其中一个数据集是电子设备被称为智能电表,记录详细的用电量数据。一项研究[28)显示,这些数据可以用来分析电力电气设备的类型。消费时间序列可以通过添加一些修改小扰动误导分类器的装置。目的收集和分析电力消耗数据所使用的监控设备在未来公民的房屋和减少碳足迹。375单变量时间序列数据集的伞下。类是微波炉,烤面包机,水壶的长度为720。数据集经典说明了物联网时间序列攻击例子和智能设备是一项重要的任务。

ResNet架构一样(8)是用于比较的过程。详细信息体系结构及其参数如表所示3。

块ResNet见图13。

在ResNet,时间序列作为输入和可能的类K作为输出。卷积核大小是8、5、3的每个块ResNet这表明中提取一些有用的功能,它将你的邻居大小8、5、3。ResNet我们使用,由三个街区,他们有64,128,和128过滤器,分别。

5.2。结果和分析的攻击和防御

这些实验是进行Keras 2.1和1.8 TensorFlow。样本训练和测试阶段的数量由原来的决定公共可用的数据集(加州大学)。我们训练encode-decode ResNet网络和提取ResNet部分作为攻击目标。攻击模型的输入是原始时间序列;的梯度计算这个模型所示相同的方式工作。虽然在我们的方法中,我们使用一个温度计作为输入训练encode-decode模型,并比较模型是相同的ResNet见(8]。这个手稿的实验进行展示的效率encode-decode模型在国防的部分。国防的结果如表所示4。在攻击和防御阶段,扰动比设置为0.1。

在表4,我们可以看到,大部分的数据集的准确性在很大程度上改善与encode-decode培训。结果见表4显示,我们的方法可以抵御攻击的FGSM TSC问题在某种程度上。

未来的分析,encode-decode模型可以通过FGSM抵御攻击,我们得到一个典型的传感器数据的准确性,即。数据集在不同,咖啡 。首先,我们使用FGSM生成一些敌对的例子,然后时间序列的例子是平滑或以不同的方式改变了。第二,这些例子是评估这些模型处理。细节的准确性咖啡数据集在图所示8。咖啡数据集(20.)是一个两级问题,是阿拉比卡和罗布斯塔咖啡豆之间的歧视。

的encode-decode ResNet显示了一个好的防御效果对于这个数据集,和准确性曲线如图14。在这个图中,我们可以发现,这两个数据集的准确性降低慢慢随着扰动的数量增加。这意味着FGSM的攻击仍然在这里工作,但其有效性在很大程度上减少了。原因在于温度计编码,因为它是一个高度非线性变换。温度计编码可获得时间序列和保留有关原始曲线的订单信息。

5.3。预处理方法防御对手的攻击

实际上,在工业环境中,我们可以运用一些实用的预处理方法如时间序列平滑方法削弱敌对的例子的流畅。在这里,我们显示两种方法称为平滑和encode-decode协助攻击。

在实验中,我们首先采用了温度计编码方法将对抗的例子;然后,encode-decode模型是用于将温度计编码映射回原时间序列。当然,从原始时间序列重构时间序列是不同的。在图所示的识别精度15。

如图15黄线低于红线,这意味着encode-decode FGSM模型提高了攻击的准确性。这个结果暗示encode-decode模型可以作为数据预处理方法之前被放入分类模型。

6。结论

本文的方法是使用encode-decode模型联合训练策略,加强深度学习模型的鲁棒性。实验表明,我们的模型在一定程度上可以抵御FGSM攻击。此外,encode-decode模型可以作为一种预处理方式从FGSM削弱攻击。

不过,不容易消除白盒FGSM发起攻击。我们的方法提高了训练模型的鲁棒性,但无法完全抵御攻击。检查了我们的方法的有效性,更需要其他数据集的实验。

此外,我们发现,不同的训练模型的不同的权力对相同的攻击,,很难评估模型的善良。从根本上说,没有理论研究如何量化善或训练模型的鲁棒性。因此,鉴于深层学习方法应用到物联网的普及数据分析,它仍然需要更多的研究来关注深度学习模型的可解释性。我们的未来研究方向包括如何评估防守能力敌对的例子在物联网领域的数据。

数据可用性

使用的数据来支持本研究的结果中包括手稿。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金委国际合作与交流项目(批准号62061136006),北京自然科学基金(没有。4202021),科研启动基金(批准号2462020 yjrc001, 2462020)。