文摘

支持向量机(SVM)是一种有效的机器学习分类方法。传统的支持向量机分类模型可能对个人隐私构成巨大威胁,当敏感信息包含在训练数据集。主成分分析(PCA)可以到一个低维子空间,获取项目实例的方差矩阵一个尽可能多的。有两种常见的算法,PCA用于执行主成分分析,特征值分解(EVD)和奇异值分解(计算)。圣言与EVD相比的主要优势是,它不需要计算协方差矩阵。本研究提出了一种新的不同私人奇异值分解算法(DPSVD)防止隐私泄露的SVM分类器。DPSVD生成一组私人奇异向量奇异子空间的投影实例可以直接用来训练支持向量机虽然不是披露隐私的原始实例。在理论上证明DPSVD满足微分隐私,几个实验。实验结果证明我们的方法达到更高的精度和更好的稳定性在不同的真实数据集,与其他现有的私人PCA算法训练支持向量机。

1。介绍

在过去的十年中,越来越多的个人信息被存储在电子数据库机器学习和个性化推荐。数据共享和分析给人们的生活带来很多方便,但对个人隐私构成巨大威胁。支持向量机(SVM) [1]是一个流行的分类方法,寻找最佳超平面分离两类实例通过求解一个二次优化问题。它已经被应用于模式识别图像识别、文本分类等。在支持向量机的分类模型,最严重的隐私问题,支持向量(sv)直接从训练数据集(获得2]。因此,分类模型应该私下发表,以避免透露个人敏感信息。

微分隐私(DP) [3- - - - - -6)有一个严格的数学定义和隐私保护的水平可以通过一个小参数量化ɛ隐私的预算。迪拜已成为接受标准。它保证分析的结果几乎是独立的添加或删除一个记录。DP吸引了越来越多的研究关注7]。常见的机制实现DP包括拉普拉斯机制(8[],高斯机制9[],指数机制10]。

主成分分析(PCA) (9解决低秩子空间,完全捕捉的方差矩阵一个。工作的主要优势的低秩近似一个包括较高的时间和空间效率,低噪音,和删除功能之间的相关性。通过主成分分析、原始实例被投影到一个低维子空间,成为线性无关的特性。特征值分解(EVD)和奇异值分解(圣)是两种常用算法进行主成分分析。他们熟悉相关矩阵对角化的理论。EVD用于任意矩阵的对称矩阵和计算。此外,圣言不需要计算协方差矩阵与EVD [11]。

本研究研究SVM分类器的隐私泄露问题。为了克服一些缺点在现有的私人支持向量机,不同的私人奇异值分解(DPSVD)算法保持sv私人SVM的分类模型。这项研究使以下创新:(我)作者提出了一个想法,突出训练实例到低维的子空间,支持向量机可以训练分类模型虽然不是违反训练数据的隐私需求。(2)DPSVD满足DP的投影过程,生成的奇异向量也是私人可以直接提供给用户进行分类测试。(3)DPSVD,投影过程由圣言会实现。圣言的主要优点是不需要计算协方差矩阵与EVD相比。它占用大量内存空间的高维数据。(iv)我们的方法保护隐私的训练实例之前训练分类模型;许多优化方法可以直接用于支持向量机的训练进展。(v)在理论上证明DPSVD满足微分隐私,几个实验。实验结果证明我们的方法达到更高的精度和更好的稳定性在不同的真实数据集,与其他现有的私人PCA算法训练支持向量机。

从隐私的角度来看,svm有严重的隐私问题,因为sv往往是直接从训练数据集。有很多工作要根据DP解决这个隐私的问题。乔杜里et al。12,13)提出了两个perturbation-based线性SVM分类方法等问题。对非线性内核支持向量机,通过随机投影和派生的内核函数线性化函数。然而,很难分析输出扰动的敏感性,和损失函数的可微性标准需要客观的扰动。学习SVM私下里,鲁宾斯坦et al。14]开发了两种特征映射方法通过添加噪声分类器的输出。但他们的方法只适用于不改变翻译的内核。李等人。15)设计了一个混合支持向量机,减轻噪声通过傅里叶变换的基础上几个open-consented信息。Zhang et al。16)通过添加拉普拉斯提出DPSVMDVP噪声双变量基于错误率。刘等人。17)提出了一个创新的私人分类器叫做LabSam指数下随机抽样机制。太阳et al。18)提出了dpws引入了随机性,SVM训练;他们还提出了另一个私人SVM算法DPKSVMEL基于指数和拉普拉斯混合机制(19]因为内核sv的SVM防止隐私泄露。

PCA构造一组新特性来描述实例在一个低维子空间。当生成的投影向量是私人的,低维子空间的新实例是私有的,并且他们可以直接使用训练支持向量机在不损害隐私的实例。有几个研究私人PCA。布卢姆等人。20.]发达SuLQ通过干扰协方差矩阵的高斯噪声。然而,最大的特征值可能不是真实的,由于噪声矩阵的不对称性。乔杜里et al。21)修改SuLQ框架与对称噪声矩阵和用它来发布数据。Dwork et al。9)干扰协方差矩阵的高斯噪声。Imtiaz和Sarwate22,23和江等。24wishard]干扰协方差矩阵的噪音,它保证了摄动矩阵的协方差是半正定。徐et al。25和黄等。26)添加对称拉普拉斯噪声的协方差矩阵。这些方法首先生成通过添加噪声协方差矩阵的摄动矩阵,然后执行EVD实现PCA。和只26)测量私人PCA支持向量机的可用性,而不是私人PCA SVM隐私角度的研究。最近,圣言已广泛应用于协同过滤(27),深度学习28,数据压缩29日,30.),和图像水印(31日]。很少有研究基于奇异值分解的保护隐私的数据挖掘。Keyvanpour et al。32)定义了一个方法,结合奇异值分解和特征选择受益于这两个领域的优势。李等人。33]给出了新算法基于非负矩阵分解和奇异值分解的保护隐私。Kousika et al。34)提出了一种基于奇异值分解方法和三维旋转数据保护隐私数据的扰动。

3所示。背景

表1总结了本研究中使用的符号。

表1
符号。
3.1。支持向量机

给定的训练实例 和标签 支持向量机的分类模型可以通过解决以下优化问题[35]: 在哪里α是一个对偶向量;问是一个对称矩阵,问ij=y我yjK(x我,xj),K是内核函数。

让x是一个新实例。的标签x可以预测的决策函数如下:

在分类模型中,只有sv确定最大利润和对应于零α我年代,别人等于零。从隐私的角度来看,分类模型存在着严重的隐私问题,sv完好无损的实例。

3.2。主成分分析

PCA计算低秩子空间,实现高维数据降维,揭示了使用私人SVM在高维数据分类。对于一个给定的数据矩阵 与d的特性n情况下,我th排D用x我并假定其 规范满足| |x我| |2≤1。列矩阵集中后的协方差矩阵可以得到

协方差矩阵是一个真正的对称矩阵;因此它的特征值和相应的特征向量可以通过EVD: 在哪里λ我是其中的一个特征值和 是其相应的特征向量。的λ我可以被视为方差的吗我th主成分来表示其重要性降序进行排序。一般来说,主成分的累计贡献率的门槛γ( )将决定目标维度k通过

根据矩阵的对角化理论和(5),它获得的另一个代表EVD如下: 在哪里V是一个正交矩阵特征向量组成的列和∑是一个对角矩阵特征值为对角条目。与EVD相比,圣言可以应用于任意的矩阵,它不需要计算矩阵的协方差。圣言会显示的表示如下: 在哪里U和V左和右奇异矩阵,由左、右奇异向量,分别;年代是一个对角矩阵奇异值作为对角线条目。的奇异值σ我也在降序排序。EVD之间的关系和计算如下: 在哪里UTU=我和VTV=我,因为U和V都是由单位正交向量;他们也被称为标准正交基矩阵。系数1 /n无关的特征向量和特征值的比例。我们一般使用DTD协方差矩阵的近似。从(9)和(10),我们可以得出结论,真正一个任意矩阵的奇异值分解产生相似的结果的EVD协方差矩阵。的圣言D,右奇异向量作为特征向量DTD,剩下的作为的DDT。奇异值相等的非零特征值的平方根DTD和DDT。

3.3。微分隐私

定义1。(微分隐私(见[3)))。一个随机机制米满足(ε,δ)微分隐私,提供,每两个相邻矩阵D和D′在一个行不同,对所有可能的结果的子集O 范围(米), 当δ等于零,米满足ε微分隐私。

定义2。(敏感性(见[3)))。对于一个给定的函数 ,和相邻矩阵D和D′的敏感性年代1和年代2的函数问可以分别表示为 年代1对应于 标准通常是用于拉普拉斯机制,年代2对应于 规范中使用高斯机制。

定义3。(拉普拉斯机制(见[8)))。为一个数值函数 ,与比例因子b=年代1/ɛ。拉普拉斯机制,增加独立随机噪声分布拉普拉斯(b每个输出的问(D),确保ε微分隐私。

定义4。(高斯机制(见[9)))。为一个数值函数 ,让 。高斯机制,增加独立随机噪声分布N(0,β2每个输出的问(D),确保(ε,δ)微分隐私。

4所示。材料和方法

为了克服现有的私人支持向量机的缺点,我们提出了DPSVD。DPSVD私下项目原始实例一个低维奇异子空间和火车一个支持向量机分类模型来保护隐私的训练实例。

4.1。算法描述:算法1是DPSVD的伪代码

1描述了算法的实现过程DPSVD培训私人分类的支持向量机模型。首先,它生成高斯分布的噪声采样矩阵,这一步并不需要使对称噪声矩阵作为现有私人PCA算法。其次,它增加了噪声矩阵对原始数据矩阵,而不是原始数据的协方差矩阵。当功能远远超过实例,协方差矩阵将占用大量的内存空间,尤其是对高维数据。与此同时,协方差矩阵将在一定程度上放大原始数据中的错误。第三,DPVSD算法计算的奇异值和奇异矩阵的奇异值分解,而现有的私人使用EVD PCA算法。一般来说,计算可以被视为一个黑盒,具有较高的执行效率与EVD相比,尽管这两个分解奇异向量生成相同的子空间投影的方法或是非私有形势下特征向量。也有类似的计算过程与EVD在接下来的三个步骤。最后,DPSVD分配私人分类模型来预测新实例,认为it项目之前他们相同的奇异子空间由私人奇异向量。总之,DPSVD列车私人SVM分类器预测未来的新实例。

输入:原始数据矩阵 ,实例n、特点d隐私参数ε,δ和β,主成分的累积贡献率γ;
输出:分类模型 ,私人奇异向量Vk;
开始
生成一个噪声矩阵 ,每一个条目都是i.i.d.和取样N(0,β2);
添加噪声矩阵对原始数据矩阵D '=D+E;
计算奇异值σ和奇异矩阵U,V的D′通过计算, ;
选择目标维度k根据 ;
选择第一个k奇异向量Vk项目最初的训练实例到低维的子空间Y=DVk;
计算分类模型f(x奇异子空间);
使用f(x),Vk预测新实例。
结束
算法1
DPSVD。
4.2。隐私分析

首先,函数的灵敏度问(D)进行了分析,然后DPSVD证明满足(ε,δ)微分隐私。DPSVD算法的噪声矩阵添加到数据矩阵D;因此问(D)=D。考虑到两个相邻数据矩阵D和D′相差一行对应一个实例,我们集D′获得D通过删除最后一行, 和 ,假设每一行单元 规范| |x我| |2≤1最多。

引理1。函数的灵敏度问(D)年代2= 1。

证明。根据定义2,它获得年代2由下列不等式: 因此,函数的灵敏度问(D)= 1。

定理1。DPSVD满足(ε,δ)微分隐私。

证明。证明DPSVD满足(ε,δ)微分隐私,有必要展示的每一步算法满足它。根据引理1,它获得年代2= 1。让 ;然后步骤(1)和步骤(2)满足DP根据定义4。步骤(3)和步骤(4)后处理私有数据矩阵D′;他们也满足DP。步骤(5)生成私人奇异向量Vk;预测实例Y在低维的子空间是私人的。与此同时,Y不需要分发给用户。步骤(6)和步骤(7)计算基于私人投影的分类模型实例并分发它一起私人奇异向量预测新实例。最后三个步骤不违反DP的隐私要求。因此,DPSVD满足(ε,δ)微分隐私。

4.3。算法的比较

三个算法理论上DPSVD之间相比,AG) (9],DPPCA-SVM [26]总结表2。其他的已经被DPPCA-SVM算法相比。我们的算法使用奇异值分解来执行主成分分析;它不需要计算协方差矩阵,使对称噪声矩阵描述。取得相同的噪声尺度AG)算法,因为它们使用相同的机制的DP产生噪声矩阵。

表2
三种算法之间的比较。

因此,分类模型和投影的奇异向量都是私人;他们可以用来预测新实例在相同的奇异子空间。DPSVD的主要优势与其他私人支持向量机相比,我们的算法训练分类模型在私人低维的子空间生成的圣言。这样,奇异子空间中的实例的特点成为线性无关,低维,因此有较高的时间和空间效率训练分类模型。算法的区别与其他私人PCA算法,它不需要计算协方差矩阵或使对称噪声矩阵。同时,DPSVD保护隐私的训练实例之前训练分类模型;许多优化方法可以直接用于支持向量机的训练进展。

5。结果

5.1。数据集

我们的实验进行了四个流行的测试数据集支持向量机的性能。表3描述他们的基本信息,包括实例的数量,数量的特性,和数据值的范围。他们都可以访问https://www.csie.ntu.edu.tw/∼cjlin / libsvmtools /数据/和http://archive.ics.uci.edu/ml/datasets.php。它训练支持向量机基于LIBSVM比较算法的性能(3.25版)(36]以径向基函数为核函数和默认参数。

表3
测试数据集。
5.2。算法性能实验

DPSVD的性能与AG) DPPCA-SVM,是非私有SVM在四个真实数据集。在实验中,它设计了算法性能的两个指标精度和SV。精度表示如何准确分类,SV表示有多少sv包含在分类器。越高精度,分类器的可用性就越大。越接近SV的是非私有方法,算法的稳定性越好。隐私的预算ɛ被设定为0.1,0.5,1δ在 ,和主成分的累积贡献率γ在90%。三个私人算法实现各隐私预算参数下的5倍。平均值、标准差、最大值和最小值的两个指标表4。

表4
性能比较的算法在不同的数据集。

从实验结果表4最准确,DPSVD比其他两家私人分类器分类在不同的隐私预算的大部分数据集。有时,我们的算法甚至超过了是非私有SVM。这主要是因为我们的算法消除了线性相关特性和重要特征之间的圣言。与此同时,我们的算法具有更好的算法的稳定性SV更接近于是非私有支持向量机。比较算法性能更直观地,这两个指标的平均值的四个算法如图1- - - - - -8。


图1
精度在不同的ɛ在数据集A1a。

图2
精度在不同的ɛ在数据集蘑菇。

图3
精度在不同的ɛ在数据集麝香。

图4
精度在不同的ɛ在数据集拼接。

图5
SV在不同的ɛ在数据集A1a。

图6
SV在不同的ɛ在数据集蘑菇。

图7
SV在不同的ɛ在数据集麝香。

图8
SV在不同的ɛ在数据集拼接。

在图1图3,DPSVD实现分类精度最高的三个私人算法和接近是非私有SVM比其他两个算法。在图4,公司实现了分类精度高于DPSVD作为隐私预算增加。在图5图8,DPSVD包含越近的sv是非私有支持向量机的分类器比其他两个算法。因此,PDSVD实现更高的分类精度和更好的算法稳定的大部分数据集和近似是非私有SVM的性能。麝香AG)算法对数据集在图3并在数据集拼接图DPPCA-SVM算法4有分类精度相对较低。它还表明,DPSVD算法具有更好的稳定性。

6。结论

解决支持向量机分类器的隐私泄露,特别是在高维数据,DPSVD算法提出了项目训练实例到低维的子空间和私人训练支持向量机分类器对它虽然不违反训练数据的隐私需求。证明了DPSVD满足DP。DPSVD包括三个方面的主要优势。首先,它训练分类模型在私人低维的子空间;因此,具有较高的时间和空间效率与其他私人svm相比。其次,它不需要计算协方差矩阵或使对称矩阵和噪声具有较高的分类精度和算法的稳定性比其他现有的私人PCA算法通过比较实验。第三,它可以保护隐私的训练实例在训练分类模型之前,和许多优化方法可以直接用于支持向量机的训练进展。与此同时,其算法思想可以应用到其他机器学习领域来解决数据隐私问题。然而,DPSVD只能解决数据之间的线性相关的特性。在未来的工作中,我们将考虑非线性依赖私人训练分类模型。 In addition, the problem of data instances compression through SVD is another research direction.

数据可用性

四个数据集的原始数据是可用的https://www.csie.ntu.edu.tw/∼cjlin / libsvmtools /数据/和http://archive.ics.uci.edu/ml/datasets.php。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金资助下的中国61672179,61370083,61402126,和61501275,黑龙江省自然科学基金的格兰特F2015030下,黑龙江省青年科学基金的资助下QC2016083,由黑龙江省博士后奖学金在格兰特LBH-Z14071,和由基础研究基金在黑龙江省大学拨款135509312。