1。介绍
Mahalanobis-Taguchi系统(MTS)使用Mahalanobis距离(MD)作为测量尺度,结合田口稳健设计实现系统诊断和尺寸优化。MTS是一种常用的多系统模式识别方法,取得了良好的效果在医学诊断(
1 ,
2 )、财务预警(
3 )、产品检测(
4 ,
5 ),故障分析
6 ),企业管理,综合评价
7 ),等等。MTS广泛应用于优化和大样本数据或不平衡数据的分类(
6 ,
8 - - - - - -
12 ]。然而,在模式识别领域,大量的识别问题属于高维小样本问题,和研究高维小样本大小问题已经逐渐成为一个热点。例如,图像分析是一个典型的高维小样本模式识别领域的问题,也是机器视觉领域的焦点。对机器视觉图像处理具有重要意义的问题和图像分析。在一些图像噪声的存在使得图像处理困难。提到的图像,斑点噪声是主要的问题,因为它的乘法性质严重损害了形象。同时,散斑的存在、杂波边缘和映像级别杂波也可以假警报和错误检测检索算法。它通过去噪可以有效地提高识别能力。深度学习有一个良好的应用程序领域的图像去噪算法。例如,基于深层信念网络监督深度学习方法(DBN)是用于检测合成孔径雷达(SAR)图像的变化(
13),CNN和多层感知器神经网络的混合算法(CNN-MLP)提出了图像分类(
14 ),等等。此外,图像分割是图像处理到图像分析的关键步骤。有效的图像分割方法可以提高机器视觉的识别效果(
15 - - - - - -
17 ]。图像分割也是一个重要的步骤在图像纹理识别,和斑点噪声的存在将影响图像分割。因此,一个算法,提出了基于小波变换和支持向量机的纹理识别的SAR图像(
18 ]。图像处理技术在图像配准中具有重要的应用价值
19 ],海岸线检测[
20. ,
21 ),等等。因此,研究高维小样本数据的MTS不仅为降维提供新的想法和小样本分类问题,也扩展了应用范围的MTS的MTS也可以扮演一个角色在智能交通系统(
22 )、图像处理、机器视觉和电子领域的其他技术。
gydF4y2Ba目前研究高维小样本数据主要集中在三个方面。首先,训练样本的数量小于变量,这将导致协方差矩阵的奇异性问题。第二,当训练样本的数量略大于变量,有偏见的特征值估计会导致协方差矩阵的逆矩阵的不稳定。第三,特征选择问题发生。的情况下训练样本的数量小于的特性,一个常见的方法是增加样本容量通过生成一个虚拟样本。通过使用蒙特卡罗方法,Karaivanova et al。
23 ]重建数据不足的概率分布生成虚拟样本。基于虚拟样本生成技术、锣等。
24 )提出了一种新的粒子群优化(PSO)算法来生成有效的虚拟样本。的情况下训练样本的数量比变量的协方差矩阵的优化主要从特征值的角度。关于穷人学习保持简单明了的性能(吻)度量,道et al。
25 )提出了一个双重正则化吻度量学习方法对行人识别问题。通过调整组内和组间协方差矩阵的特征值根据训练样本的判别信息,Liong et al。
26 )提出了一种新的判别正规化度量学习方法估计距离度量偏差最小化。特征选择问题,分类性能和稳定性进行了讨论。Espezua et al。
27 )迅速压缩数据,然后使用一种改进的投影追踪法避免维度灾难。希拉和Gillies
28 ]总结各种方法对高维降维微阵列数据。Kamyab和Eftekhari
29日 )用多通道优化技术解决特征选择问题。吴作栋和黄
30. )提出了一个网络在蛋白质组学中特征选择算法的事了。改进的有效性和鲁棒性特征选择技术,Du et al。
31日 )提出了一种基于多核学习的混合特征选择方法。这些方法表明,高维数据的特征选择应该不仅考虑分类性能,而且确保稳定的结果。这些研究主要集中在协方差矩阵和特征选择,和几个方法可以同时解决问题降维的高维小样本数据和分类。与大多数分类方法,MTS屏幕有效特征和构造一个分类模型通过确定阈值。因此,降维的MTS可以同时解决问题和分类。
gydF4y2Ba许多研究也关注MTS的协方差矩阵和特征选择。协方差矩阵,当多个变量之间的共线性发生时,协方差矩阵的逆矩阵不存在。田口方法使用施密特正交化[
32 )和伴随矩阵(
33 )来计算。基于施密特正交化,苏和萧
34 )提出了加权施密特正交化来计算。释迦et al。
35 )使用一个集成的施密特正交化方法对滚动轴承的分类。广义逆矩阵的基础上,汉族et al。
36 重新定义了MD和提出了Mahalanobis-Taguchi广义逆矩阵方法。Chang et al。
37 )使用协方差矩阵的伪逆计算。通过消除多重共线性的岭估计方法,道和程
38 ]提出了ridge-MD结合了岭估计与MD。特征选择,经典的MTS使用正交表和信噪比(信噪比)方法筛选变量。亚伯拉罕和Variyath [
39 )确认的可能性,使用适当的降维算法,优化MTS。Resendiz一起做et al。
40 )应用二进制蚁群优化算法来优化变量的组合。Iquebal et al。
41 ]筛选变量的基础上最大程度的变量和类之间的依赖或类别之一。Resendiz-Flores et al。
42 )混合使用二进制PSO和引力搜索算法的启发式算法进行特征选择。通过引入混沌映射和二进制粒子群优化算法,顾et al。
3 )构造了一个改进的MTS-CBPSO方法筛选有效变量。Reyes-Carlos et al。
43 ]构造数学模型选择的特性和使用metaheuristic算法来解决相应的模型。解决焊接不平衡数据的特征选择问题,马哈茂德•艾哈迈迪et al。
44 ]应用MTS的遗传算法,提出了遗传算法的分类器。妞妞和程
45 )使用优化模型选择变量和构造概率阈值模型对不平衡数据分类。这些研究大部分集中在大样本数据或不平衡数据,而很少有研究讨论了高维小样本数据。的协方差矩阵,现有研究只讨论了变量之间的多重共线性,而很少有研究讨论了协方差矩阵的逆矩阵的不稳定条件下的小样本数据。特征选择,现有研究主要筛选特征的分类性能,而很少有研究讨论了特征选择的不稳定。
gydF4y2Ba在当前工作,优化MTS的分类,从两个方面讨论了高维小样本数据,也就是说,协方差矩阵的逆矩阵的不稳定和不稳定的特征选择。针对协方差矩阵的逆矩阵的不稳定问题,Mahalanobis度量基于正则化(
25 ,
46 和平滑
47 ,
48 )技术提出了。针对不稳定的特征选择问题,基于最小的两阶段特征选择方法redundancy-maximum相关性(mRMR) [
49 ,
50 提出了特征选择算法和信噪比。
gydF4y2Ba本文的其余部分的结构如下。节
2 ,我们简要介绍MTS的实现步骤。在部分
3 ,我们建立一个优化的MTS模型。节
4 ,我们选择数据集进行验证和分析。节
5 ,我们电子邮件过滤问题进行实证研究。节
6 ,我们推导出结论。
2。Mahalanobis-Taguchi系统
MTS模式识别技术是基于医学与田口实验设计。MTS的最初的研究是一个two-classification问题。一个是设置为正常的观察,另一个是设置为异常的观察。实现系统诊断和优化降维的目的,正交表和信噪比是用于屏幕变量和分类阈值确定符合医学博士。
gydF4y2Ba假设正常观测的数量<我nline-formula>
n米米l:mi>
和异常观测的数量<我nline-formula>
米米米l:mi>
正常和异常的观测包括<我nline-formula>
p米米l:mi>
变量。的<我nline-formula>
我米米l:mi>
t米米l:mi>
h米米l:mi>
正常化后观察正常的观察记录<我nline-formula>
Z米米l:mi>
我米米l:mi>
=米米l:mo>
z米米l:mi>
我米米l:mi>
1米米l:mn>
,米米l:mo>
z米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
z米米l:mi>
我米米l:mi>
p米米l:mi>
T米米l:mi>
,<我nline-formula>
我米米l:mi>
=米米l:mo>
1、2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
。异常观测规范化按照正常的观察结果的均值和方差,以及<我nline-formula>
我米米l:mi>
t米米l:mi>
h米米l:mi>
观察异常观测记录的<我nline-formula>
Z米米l:mi>
我米米l:mi>
=米米l:mo>
z米米l:mi>
我米米l:mi>
1米米l:mn>
,米米l:mo>
z米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
z米米l:mi>
我米米l:mi>
p米米l:mi>
T米米l:mi>
,<我nline-formula>
我米米l:mi>
=米米l:mo>
n米米l:mi>
+米米l:mo>
1米米l:mn>
,米米l:mo>
n米米l:mi>
+米米l:mo>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
+米米l:mo>
米米米l:mi>
。每个观测的MD参考空间可以表示为
(1)米米l:mtext>
医学博士米米l:mtext>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mi>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
−米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
,米米l:mo>
我米米l:mi>
=米米l:mo>
1、2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
,米米l:mo>
n米米l:mi>
+米米l:mo>
1米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
+米米l:mo>
米米米l:mi>
,米米l:mo>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
=米米l:mo>
1米米l:mn>
n米米l:mi>
−米米l:mo>
1米米l:mn>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
n米米l:mi>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mi>
,米米l:mo>
我米米l:mi>
=米米l:mo>
1、2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
,米米l:mo>
在哪里<我nline-formula>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
的协方差矩阵是正常观测。Mahalanobis-Taguchi系统,正常的标准化变量观测是用于构造空间的引用。异常的医学观察显著大于正常的观察,表明构造参考空间是有效的;否则,正常的观察应该回忆,直到获得一个有效的参考空间。
gydF4y2Ba传统医学的计算需要的数量大于观测变量。同时,多个变量之间的共线性应该没有避免协方差矩阵的逆矩阵的情况不存在。此外,MD夸大了变量的作用与微小的变化,容易不稳定的协方差矩阵。因此,协方差矩阵的奇异性和不稳定性影响的传统的计算。
gydF4y2Ba相应的二级正交表<我nline-formula>
l米米l:mi>
r米米l:mi>
2米米l:mn>
p米米l:mi>
,在那里<我nline-formula>
r米米l:mi>
选择代表试验的数量,按照最初的数量<我nline-formula>
p米米l:mi>
变量。“1”表示变量的水平被选中时,和“2”的水平表明变量没有被选中。正交表的信息的基础上,参考空间重构为每个实验通过使用选定的变量。每个异常的医学观察新参考空间计算,和larger-the-better计算信噪比作为响应值。实验设计的概念的基础上,每个变量的影响在不同层次上进行了分析,并选择有效的变量。根据所选择的变量组合,每个观测的MD重新计算来确定阈值通过最小化分类损失。未知的观察诊断。
经典的MTS使用正交表和信噪比屏幕变量和选择变量结合高信噪比。得到更好的分类结果,训练样本的数量应足以充分反映每个变量的信息。否则,所选变量组合将不会对测试样本具有良好的分类效果。
3所示。优化MTS
这部分构造一个优化MTS为高维小样本数据分类。首先,基于正则化和平滑技术,介绍了改性Mahalanobis度量的计算,和修改的可行性指标证明。然后,mRMR算法和信噪比的基础上,介绍了两级特征选择方法的实现步骤。最后,优化的算法流Mahalanobis-Taguchi系统介绍。
3.1。基于正则化和平滑技术指标
当样品的数量略大于变量,有偏见的特征值估计会导致协方差矩阵的逆矩阵的不稳定。道等。
25 ]证明了协方差矩阵的估计是受到样本容量的影响。一个小样本大小导致很大的协方差矩阵估计泛化绑定。具体来说,大型特征值的协方差矩阵被高估了,而小的特征值都是低估了。高估了大特征值和低估了小特征值都是不利于后续的分类。MD取决于协方差矩阵的计算。如果估计协方差矩阵的影响,医学博士的计算将会产生偏差。因此,传统医学已不再适用于高维小样本数据。因为之间一一对应的特征值和特征向量的协方差矩阵和一组,协方差矩阵的估计性能可以通过改善提高特征值和特征向量的估计。上述分析的基础上,介绍了正规化和平滑技术改善协方差估计的性能度量学习。
之间的相关系数矩阵<我nline-formula>
p米米l:mi>
正常观测的变量是一个semipositive矩阵,可以表示为
(2)米米l:mtext>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
=米米l:mo>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
0米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
,米米l:mo>
在哪里<我nline-formula>
Λ米米l:mi>
0米米l:mn>
=米米l:mo>
诊断接头米米l:mtext>
λ米米l:mi>
1米米l:mn>
,米米l:mo>
λ米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
λ米米l:mi>
p米米l:mi>
,<我nline-formula>
λ米米l:mi>
我米米l:mi>
,<我nline-formula>
我米米l:mi>
=米米l:mo>
1、2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
p米米l:mi>
是<我nline-formula>
我米米l:mi>
t米米l:mi>
h米米l:mi>
的特征值<我nline-formula>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
,<我nline-formula>
Φ米米l:mi>
0米米l:mn>
=米米l:mo>
ϕ米米l:mi>
1米米l:mn>
,米米l:mo>
ϕ米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
ϕ米米l:mi>
p米米l:mi>
,<我nline-formula>
ϕ米米l:mi>
我米米l:mi>
相对应的特征向量<我nline-formula>
λ米米l:mi>
我米米l:mi>
,<我nline-formula>
Φ米米l:mi>
0米米l:mn>
是一个正交矩阵。
3.1.1。平滑技术
数据平滑技术的基本思想是提高低概率,减少高概率,概率分布趋向于平均水平。介绍了滤波技术消除零特征值和特征值分布的光滑。然而,当所有的特征值往往是相同的,原样品丢失的信息。因此,平滑技术是用来调整小协方差矩阵的特征值。
gydF4y2Ba按照平滑技术,小的常数<我nline-formula>
β米米l:mi>
0米米l:mn>
是用来取代小协方差矩阵的特征值,记录是哪一个
(3)米米l:mtext>
Λ米米l:mi>
1米米l:mn>
=米米l:mo>
诊断接头米米l:mtext>
λ米米l:mi>
1米米l:mn>
,米米l:mo>
λ米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
λ米米l:mi>
k米米l:mi>
,米米l:mo>
β米米l:mi>
0米米l:mn>
…米米l:mo>
β米米l:mi>
0米米l:mn>
︸米米l:mo>
p米米l:mi>
−米米l:mo>
k米米l:mi>
,米米l:mo>
k米米l:mi>
=米米l:mo>
0 1米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
p米米l:mi>
−米米l:mo>
1米米l:mn>
,米米l:mo>
(4)米米l:mtext>
β米米l:mi>
0米米l:mn>
=米米l:mo>
1米米l:mn>
p米米l:mi>
−米米l:mo>
k米米l:mi>
∑米米l:mo>
j米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
λ米米l:mi>
j米米l:mi>
。米米l:mo>
当平滑技术,介绍了一些特征值与平均值代替。这种方法不仅避免了零特征值的外观,而且平滑,特征值的分布。
3.1.2。正则化技术
正则化技术的基本思想是使用一个单位矩阵插入协方差矩阵;因此,样本协方差矩阵倾向于单位矩阵,表示为
(5)米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
=米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
我米米l:mi>
=米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
0米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
Φ米米l:mi>
0米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
=米米l:mo>
Φ米米l:mi>
0米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
Λ米米l:mi>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
我米米l:mi>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
,米米l:mo>
在哪里<我nline-formula>
α米米l:mi>
=米米l:mo>
1米米l:mn>
/米米l:mo>
p米米l:mi>
tr米米l:mtext>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
,<我nline-formula>
0米米l:mn>
<米米l:mo>
γ米米l:mi>
<米米l:mo>
1米米l:mn>
。
gydF4y2Ba正则化技术的引入后,相对应的特征值的协方差矩阵
(6)米米l:mtext>
Λ米米l:mi>
2米米l:mn>
=米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
Λ米米l:mi>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
我米米l:mi>
=米米l:mo>
诊断接头米米l:mtext>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
1米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
2米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
…米米l:mo>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
p米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
。米米l:mo>
大原协方差矩阵的特征值减少由于参数的存在<我nline-formula>
γ米米l:mi>
。因此,参数<我nline-formula>
γ米米l:mi>
可以使<我nline-formula>
Σ米米l:mi>
^米米l:mo>
0米米l:mn>
倾向于单位矩阵和抑制过高的大型特征值。
3.1.3。基于正则化和平滑技术指标
在有限训练样本协方差矩阵的估计产生偏差,计算传统医学的影响。之间是一一对应的协方差矩阵和特征值和特征向量的协方差矩阵的性能可以提高通过调整特征值,也就是说,减少高估大特征值和增加低估了小特征值。正规化和平滑技术从而引入医学博士的计算条件下的有限样本。平滑技术是用于提高小特征值的估计,和正则化技术用于减少高估了大型特征值的影响。
gydF4y2Ba样本协方差矩阵是由正则化处理和平滑技术,和新的估算如下:
(7)米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
=米米l:mo>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
,米米l:mo>
在哪里
(8)米米l:mtext>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
=米米l:mo>
诊断接头米米l:mtext>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
1米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
2米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
…米米l:mo>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
k米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
β米米l:mi>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
,米米l:mo>
…米米l:mo>
,米米l:mo>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
β米米l:mi>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
。米米l:mo>
Mahalanobis距离的计算基于正则化和平滑技术(RS-MD)每个样本转化为
(9)米米l:mtext>
医学博士米米l:mtext>
我米米l:mi>
′米米l:mo>
=米米l:mo>
1米米l:mn>
p米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mi>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
−米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
,米米l:mo>
我米米l:mi>
=米米l:mo>
1、2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
n米米l:mi>
。米米l:mo>
定理1。
观察被认为有一个上限,也就是说,<我nline-formula>
∀米米l:mo>
Z米米l:mi>
我米米l:mi>
∈米米l:mo>
Z米米l:mi>
,<我nline-formula>
Z米米l:mi>
我米米l:mi>
≤米米l:mo>
Ω米米l:mi>
Z米米l:mi>
。对于任何两个样品<我nline-formula>
Z米米l:mi>
我米米l:mi>
和<我nline-formula>
Z米米l:mi>
j米米l:mi>
标准化在同一类别,我们有
(10)米米l:mtext>
医学博士米米l:mtext>
我米米l:mi>
′米米l:mo>
−米米l:mo>
医学博士米米l:mtext>
j米米l:mi>
′米米l:mo>
≤米米l:mo>
2米米l:mn>
p米米l:mi>
Ω米米l:mi>
Z米米l:mi>
2米米l:mn>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
在哪里<我nline-formula>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
代表了<我nline-formula>
我米米l:mi>
t米米l:mi>
h米米l:mi>
对角元素的<我nline-formula>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
。
证明。
从方程(
9 ),
(11)米米l:mtext>
医学博士米米l:mtext>
我米米l:mi>
′米米l:mo>
−米米l:mo>
医学博士米米l:mtext>
j米米l:mi>
′米米l:mo>
=米米l:mo>
1米米l:mn>
p米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
- - - - - -米米l:mo>
1米米l:mn>
p米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
j米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
跟踪米米l:mtext>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
- - - - - -米米l:mo>
跟踪米米l:mtext>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
j米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
跟踪米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
- - - - - -米米l:mo>
跟踪米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
=米米l:mo>
1米米l:mn>
p米米l:mi>
跟踪米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
- - - - - -米米l:mo>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
≤米米l:mo>
1米米l:mn>
p米米l:mi>
跟踪米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
- - - - - -米米l:mo>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
=米米l:mo>
1米米l:mn>
p米米l:mi>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
- - - - - -米米l:mo>
1米米l:mn>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
- - - - - -米米l:mo>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
。米米l:mo>
鉴于<我nline-formula>
Z米米l:mi>
我米米l:mi>
≤米米l:mo>
Ω米米l:mi>
Z米米l:mi>
,我们决定
(12)米米l:mtext>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
≤米米l:mo>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
=米米l:mo>
Ω米米l:mi>
Z米米l:mi>
2米米l:mn>
,米米l:mo>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
−米米l:mo>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
≤米米l:mo>
Z米米l:mi>
我米米l:mi>
Z米米l:mi>
我米米l:mi>
T米米l:mtext>
+米米l:mo>
Z米米l:mi>
j米米l:mi>
Z米米l:mi>
j米米l:mi>
T米米l:mtext>
=米米l:mo>
2米米l:mn>
Ω米米l:mi>
Z米米l:mi>
2米米l:mn>
。米米l:mo>
与
(13)米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
−米米l:mo>
1米米l:mn>
=米米l:mo>
跟踪米米l:mtext>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
−米米l:mo>
1米米l:mn>
Σ米米l:mi>
^米米l:mo>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
′米米l:mo>
−米米l:mo>
1米米l:mn>
T米米l:mi>
=米米l:mo>
跟踪米米l:mtext>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
−米米l:mo>
1米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
−米米l:mo>
1米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
T米米l:mi>
=米米l:mo>
跟踪米米l:mtext>
Φ米米l:mi>
0米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
−米米l:mo>
1米米l:mn>
2米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
=米米l:mo>
跟踪米米l:mtext>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
−米米l:mo>
1米米l:mn>
2米米l:mn>
Φ米米l:mi>
0米米l:mn>
T米米l:mi>
Φ米米l:mi>
0米米l:mn>
=米米l:mo>
跟踪米米l:mtext>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
−米米l:mo>
1米米l:mn>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
我们的产量
(14)米米l:mtext>
医学博士米米l:mtext>
我米米l:mi>
′米米l:mo>
−米米l:mo>
医学博士米米l:mtext>
j米米l:mi>
′米米l:mo>
≤米米l:mo>
2米米l:mn>
p米米l:mi>
Ω米米l:mi>
Z米米l:mi>
2米米l:mn>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
2米米l:mn>
。米米l:mo>
定理1表明,任何两个样本相同的类,不同的上界RS-MD或MD和协方差矩阵的特征值相关。调整协方差矩阵的特征值可以提高性能,从而提高鲁棒性。
定理2。
让<我nline-formula>
Λ米米l:mi>
0米米l:mn>
我米米l:mi>
我米米l:mi>
,<我nline-formula>
Λ米米l:mi>
1米米l:mn>
我米米l:mi>
我米米l:mi>
,<我nline-formula>
Λ米米l:mi>
2米米l:mn>
我米米l:mi>
我米米l:mi>
表示<我nline-formula>
我米米l:mi>
t米米l:mi>
h米米l:mi>
对角元素的<我nline-formula>
Λ米米l:mi>
0米米l:mn>
,<我nline-formula>
Λ米米l:mi>
1米米l:mn>
,<我nline-formula>
Λ米米l:mi>
2米米l:mn>
分别
(15)米米l:mtext>
Ψ米米l:mi>
0米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
0米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
Ψ米米l:mi>
1米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
1米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
Ψ米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
2米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
Ψ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
2米米l:mn>
,米米l:mo>
然后
(16)米米l:mtext>
Ψ米米l:mi>
1米米l:mn>
≤米米l:mo>
Ψ米米l:mi>
0米米l:mn>
,米米l:mo>
Ψ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
≤米米l:mo>
Ψ米米l:mi>
2米米l:mn>
≤米米l:mo>
Ψ米米l:mi>
0米米l:mn>
。米米l:mo>
证明。
样本协方差矩阵的特征值变得方程(
3 )与平滑处理技术。然后,
(17)米米l:mtext>
Ψ米米l:mi>
1米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
1米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
β米米l:mi>
0米米l:mn>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
/米米l:mo>
p米米l:mi>
−米米l:mo>
k米米l:mi>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
≤米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
p米米l:mi>
−米米l:mo>
k米米l:mi>
2米米l:mn>
1米米l:mn>
/米米l:mo>
p米米l:mi>
−米米l:mo>
k米米l:mi>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
p米米l:mi>
−米米l:mo>
k米米l:mi>
2米米l:mn>
/米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
λ米米l:mi>
我米米l:mi>
p米米l:mi>
−米米l:mo>
k米米l:mi>
2米米l:mn>
≤米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
/米米l:mo>
λ米米l:mi>
我米米l:mi>
p米米l:mi>
−米米l:mo>
k米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
p米米l:mi>
−米米l:mo>
k米米l:mi>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
/米米l:mo>
λ米米l:mi>
我米米l:mi>
p米米l:mi>
−米米l:mo>
k米米l:mi>
2米米l:mn>
≤米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
0米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
Ψ米米l:mi>
0米米l:mn>
。米米l:mo>
样本协方差矩阵的特征值变得方程(
6 )通过处理正则化技术。然后,
(18)米米l:mtext>
Ψ米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
2米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
。米米l:mo>
我们假设
(19)米米l:mtext>
g米米l:mi>
γ米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
,米米l:mo>
0米米l:mn>
<米米l:mo>
γ米米l:mi>
<米米l:mo>
1米米l:mn>
,米米l:mo>
α米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
tr米米l:mtext>
Σ米米l:mi>
^米米l:mo>
,米米l:mo>
的收益率
(20)米米l:mtext>
g米米l:mi>
′米米l:mo>
γ米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
−米米l:mo>
2米米l:mn>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
γ米米l:mi>
3米米l:mn>
,米米l:mo>
g米米l:mi>
”米米l:mo>
γ米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
6米米l:mn>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
γ米米l:mi>
4米米l:mn>
>米米l:mo>
0。米米l:mn>
因此,<我nline-formula>
g米米l:mi>
′米米l:mo>
γ米米l:mi>
单调递增的<我nline-formula>
γ米米l:mi>
∈米米l:mo>
0 1米米l:mn>
,
(21)米米l:mtext>
g米米l:mi>
′米米l:mo>
γ米米l:mi>
<米米l:mo>
g米米l:mi>
′米米l:mo>
1米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
−米米l:mo>
2米米l:mn>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
γ米米l:mi>
3米米l:mn>
γ米米l:mi>
=米米l:mo>
1米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
−米米l:mo>
2米米l:mn>
α米米l:mi>
−米米l:mo>
λ米米l:mi>
我米米l:mi>
α米米l:mi>
3米米l:mn>
=米米l:mo>
0。米米l:mn>
相比之下,<我nline-formula>
g米米l:mi>
γ米米l:mi>
是单调递减的<我nline-formula>
γ米米l:mi>
∈米米l:mo>
0 1米米l:mn>
,
(22)米米l:mtext>
Ψ米米l:mi>
2米米l:mn>
=米米l:mo>
g米米l:mi>
γ米米l:mi>
<米米l:mo>
g米米l:mi>
0米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
λ米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
0米米l:mn>
我米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
Ψ米米l:mi>
0米米l:mn>
。米米l:mo>
样本协方差矩阵的特征值变得方程(
8 )与正则化处理和平滑技术。然后,
(23)米米l:mtext>
Ψ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
Λ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
我米米l:mi>
我米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
β米米l:mi>
0米米l:mn>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
≤米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
k米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
+米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
k米米l:mi>
+米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
p米米l:mi>
1米米l:mn>
1米米l:mn>
−米米l:mo>
γ米米l:mi>
λ米米l:mi>
我米米l:mi>
+米米l:mo>
γ米米l:mi>
α米米l:mi>
2米米l:mn>
=米米l:mo>
Ψ米米l:mi>
2米米l:mn>
。米米l:mo>
因此,
(24)米米l:mtext>
Ψ米米l:mi>
1米米l:mn>
≤米米l:mo>
Ψ米米l:mi>
0米米l:mn>
,米米l:mo>
Ψ米米l:mi>
γ米米l:mi>
,米米l:mo>
k米米l:mi>
≤米米l:mo>
Ψ米米l:mi>
2米米l:mn>
≤米米l:mo>
Ψ米米l:mi>
0米米l:mn>
。米米l:mo>
定理2反映了每个特征值的计算值序列之间的关系时,特征值都是由不同的方法进行处理。结合定理1和2,我们知道对于任何两个样本在同一类,不同的上界RS-MD变动小于传统。因此,Mahalanobis度量基于正则化和平滑技术比传统的更健壮的度量。
3.2。两阶段基于mRMR算法的特征选择算法和信噪比
高维小样本数据可能导致不稳定的特征选择问题。当训练样本产生一个小的扰动时,所选择的变量组合可能会产生很大的差异。高维小样本数据通常包含大量的冗余,不相关的,和噪声特性。他们不能完全反映特征信息由于少量的训练样本,从而导致巨大的差异选择不同训练样本的特征组合。MTS屏幕变量只从分类精度的角度。然而,对于训练样本有限,所选变量组合基于分类精度不再是可靠的。本文据此提出了一种两阶段基于mRMR算法的特征选择方法和信噪比。首先,mRMR算法去除冗余和噪声特性,和特性是高度相关的类标签被选中。然后,按照正交表和信噪比,一个特征子集选择具有较强的解决实现鲁棒优化的目标和降维。
3.2.1之上。基于mRMR一次性的特征选择算法
高维小样本数据包含大量的冗余,不相关的,和噪声特性,不仅显著增加计算复杂度,降低分类器的性能,但也导致不稳定的特征选择。因此,mRMR算法介绍,以确保所选择的特征的有效性。
gydF4y2Ba根据信息差异和信息熵的成本函数,mRMR算法旨在测量最大样本信息和最小特征之间相关性。特征和类别之间的关系或特性是衡量互信息(
51 ]。互信息是衡量两个随机变量之间的相互依赖的程度。广泛的两个随机变量间的互信息表明它们之间很强的相关性(
52 ]。
gydF4y2Ba样品的数量<我nline-formula>
n米米l:mi>
的数量特征<我nline-formula>
p米米l:mi>
和类别<我nline-formula>
c米米l:mi>
的数据集<我nline-formula>
X米米l:mi>
给出了。记录的特性<我nline-formula>
一个米米l:mi>
1米米l:mn>
,米米l:mo>
一个米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
一个米米l:mi>
p米米l:mi>
。值范围的功能<我nline-formula>
一个米米l:mi>
我米米l:mi>
是<我nline-formula>
V米米l:mi>
我米米l:mi>
和类别的值范围<我nline-formula>
c米米l:mi>
是<我nline-formula>
V米米l:mi>
c米米l:mi>
。
gydF4y2Ba的互信息<我nline-formula>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
c米米l:mi>
之间的特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
和类别<我nline-formula>
c米米l:mi>
是
(25)米米l:mtext>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
c米米l:mi>
=米米l:mo>
∑米米l:mo>
v米米l:mi>
我米米l:mi>
∈米米l:mo>
V米米l:mi>
我米米l:mi>
∑米米l:mo>
v米米l:mi>
c米米l:mi>
∈米米l:mo>
V米米l:mi>
c米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
c米米l:mi>
日志米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
c米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
p米米l:mi>
v米米l:mi>
c米米l:mi>
,米米l:mo>
在哪里<我nline-formula>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
c米米l:mi>
代表的值的概率特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
是<我nline-formula>
v米米l:mi>
我米米l:mi>
和阶级的价值<我nline-formula>
c米米l:mi>
是<我nline-formula>
v米米l:mi>
c米米l:mi>
。一个大的价值<我nline-formula>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
c米米l:mi>
显示了高度的关联特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
和类别<我nline-formula>
c米米l:mi>
(
53 ]。
gydF4y2Ba的互信息<我nline-formula>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
一个米米l:mi>
j米米l:mi>
之间的特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
和<我nline-formula>
一个米米l:mi>
j米米l:mi>
是
(26)米米l:mtext>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
一个米米l:mi>
j米米l:mi>
=米米l:mo>
∑米米l:mo>
v米米l:mi>
我米米l:mi>
∈米米l:mo>
V米米l:mi>
我米米l:mi>
∑米米l:mo>
v米米l:mi>
j米米l:mi>
∈米米l:mo>
V米米l:mi>
j米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
j米米l:mi>
日志米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
j米米l:mi>
p米米l:mi>
v米米l:mi>
我米米l:mi>
p米米l:mi>
v米米l:mi>
j米米l:mi>
,米米l:mo>
在哪里<我nline-formula>
p米米l:mi>
v米米l:mi>
我米米l:mi>
,米米l:mo>
v米米l:mi>
j米米l:mi>
代表的值的概率特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
是<我nline-formula>
v米米l:mi>
我米米l:mi>
的价值和功能<我nline-formula>
一个米米l:mi>
j米米l:mi>
是<我nline-formula>
v米米l:mi>
j米米l:mi>
。一个大的价值<我nline-formula>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
一个米米l:mi>
j米米l:mi>
意味着高相似度的特性<我nline-formula>
一个米米l:mi>
我米米l:mi>
以<我nline-formula>
一个米米l:mi>
j米米l:mi>
(
53 ]。
gydF4y2Ba的最大相关性和最小冗余mRMR算法计算如下:
(27)米米l:mtext>
马克斯米米l:mi>
D米米l:mi>
V米米l:mi>
,米米l:mo>
c米米l:mi>
:米米l:mo>
D米米l:mi>
=米米l:mo>
1米米l:mn>
V米米l:mi>
∑米米l:mo>
一个米米l:mi>
我米米l:mi>
∈米米l:mo>
V米米l:mi>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
c米米l:mi>
,米米l:mo>
最小值米米l:mi>
R米米l:mi>
V米米l:mi>
:米米l:mo>
R米米l:mi>
=米米l:mo>
1米米l:mn>
V米米l:mi>
2米米l:mn>
∑米米l:mo>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
一个米米l:mi>
0米米l:mn>
∈米米l:mo>
V米米l:mi>
我米米l:mi>
一个米米l:mi>
我米米l:mi>
,米米l:mo>
一个米米l:mi>
0米米l:mn>
。米米l:mo>
在哪里<我nline-formula>
V米米l:mi>
和<我nline-formula>
V米米l:mi>
分别代表了特征子集及其维度;<我nline-formula>
D米米l:mi>
代表平均互信息;和<我nline-formula>
R米米l:mi>
代表之间的互信息特征(
49 ]。
米RMR算法生成特性与最小冗余和最大相关性通过以下两个标准:
(28)米米l:mtext>
马克斯米米l:mi>
Φ米米l:mi>
1米米l:mn>
D米米l:mi>
,米米l:mo>
R米米l:mi>
:米米l:mo>
Φ米米l:mi>
1米米l:mn>
=米米l:mo>
D米米l:mi>
−米米l:mo>
R米米l:mi>
,米米l:mo>
马克斯米米l:mi>
Φ米米l:mi>
2米米l:mn>
D米米l:mi>
,米米l:mo>
R米米l:mi>
:米米l:mo>
Φ米米l:mi>
2米米l:mn>
=米米l:mo>
D米米l:mi>
/米米l:mo>
R米米l:mi>
。米米l:mo>
3.2.2。基于信噪比的二次特征选择
mRMR算法消除了冗余和噪声特性,特征选择的可靠性保证。然而,使用这个算法并不意味着获得的特性有利于分类的特征子集。分类精度的特性,做出伟大的贡献进一步过滤通过使用正交表和信噪比。
gydF4y2Ba选择合适的两级正交表的基础上选定的特征子集的mRMR算法。根据正交表的信息,参考空间重构通过为每个实验中,使用选定的特性和计算每个观测异常的RS-MD按照方程(
9 )。在这一点上,larger-the-better信噪比的计算如下:
(29)米米l:mtext>
SN米米l:mtext>
=米米l:mo>
−米米l:mo>
10米米l:mn>
lg米米l:mi>
1米米l:mn>
米米米l:mi>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
n米米l:mi>
+米米l:mo>
1米米l:mn>
n米米l:mi>
+米米l:mo>
米米米l:mi>
1米米l:mn>
医学博士米米l:mtext>
我米米l:mi>
′米米l:mo>
。米米l:mo>
为变量<我nline-formula>
x米米l:mi>
j米米l:mi>
,<我nline-formula>
SN米米l:mtext>
j米米l:mi>
+米米l:mo>
¯米米l:mo>
用于表示使用信噪比的意思是当这个变量;<我nline-formula>
SN米米l:mtext>
j米米l:mi>
−米米l:mo>
¯米米l:mo>
用于表示信噪比的意思是当没有使用这个变量;和<我nline-formula>
Δ米米l:mi>
=米米l:mo>
SN米米l:mtext>
j米米l:mi>
+米米l:mo>
¯米米l:mo>
−米米l:mo>
SN米米l:mtext>
j米米l:mi>
−米米l:mo>
¯米米l:mo>
代表了信噪比增加。当增量是正的,变量<我nline-formula>
x米米l:mi>
j米米l:mi>
保留;否则,变量<我nline-formula>
x米米l:mi>
j米米l:mi>
是删除。每个变量的贡献程度的分类精度评价的基础上,增加信噪比,和特性结合巨大贡献程度被选中。
gydF4y2Ba两级特征选择不仅可以确保所选特征的鲁棒性组合使用mRMR算法也提高了分类精度通过使用正交表和信噪比。因此,实现鲁棒优化的目标和降维优化Mahalanobis-Taguchi系统使用基于正则化的Mahalanobis距离和平滑技术(RS-MD)作为测量规模和使用两级特征选择方法筛选功能。优化的算法流Mahalanobis-Taguchi系统提出了算法
1 。
<大胆>算法1:< /大胆> Mahalanobis-Taguchi优化系统的算法流程。
输入:训练数据集<我nline-formula>
X米米l:mi>
,功能集<我nline-formula>
年代米米l:mi>
;
输出:特征子集<我nline-formula>
年代米米l:mi>
′米米l:mo>
,阈值<我nline-formula>
T米米l:mi>
;
(1)
规范化的数据,然后计算每个观测到引用的RS-MD空间;
(2)
如果RS-MD异常的观察是明显大于正常的观察,继续下一步;否则,回忆数据;
(3)
使用mRMR算法去除冗余和噪声特性和选择最优特征子集<我nline-formula>
年代米米l:mi>
1米米l:mn>
;
(4)
构造一个二级正交表按照特征子集<我nline-formula>
年代米米l:mi>
1米米l:mn>
。计算信噪比按照RS-MD异常的观察和结合正交表和信噪比选择特征子集<我nline-formula>
年代米米l:mi>
′米米l:mo>
巨大贡献;
(5)
重新计算每个样本的医学根据特征子集<我nline-formula>
年代米米l:mi>
′米米l:mo>
然后确定分类阈值<我nline-formula>
T米米l:mi>
通过使用ROC曲线;
(6)
返回<我nline-formula>
年代米米l:mi>
′米米l:mo>
,<我nline-formula>
T米米l:mi>
。
4所示。优化的MTS的有效性验证
验证RS-MD的健壮性和两级特征选择方法的有效性,五个数据集从UCI数据库这一节所示。MTS使用正常观测构造参考空间,和引用的信息空间是用来计算协方差矩阵和MD。为了满足高维小样本数据的特征,样品的数量不能超过10倍的数量特征。数据处理是在选定的五个数据集上进行删除缺失值和未分化的变量。获得的信息如表所示
1 。
表1
数据集的描述。
数据集名称 数量的变量 数量的样品 积极的课堂 负类
电离层
33
351年
好/ 225
坏/ 126
Z-Alizadeh萨尼
48
303年
正常/ 87
CAD / 216
帕金森数据集与复制的声学特性
46
240年
健康/ 120
PD / 120
乳腺癌的威斯康辛州(预测)
34
194年
复发性/ 148
不反复出现的/ 46
联结主义板凳(声纳、矿山与岩石)
60
161年
R / 50
米/ 111
4.1。传统医学和RS-MD进行比较分析
传统Mahalanobis距离要求的计算协方差矩阵不是单一的,也就是说,正常观测的数量比特性。根据正常的观测信息的电离层,Z-Alizadeh萨尼,帕金森数据集与复制的声学特性,威斯康星州和乳腺癌(预测)的数据集,基准空间构造和数据标准化。每个样本的MD在上面计算的数据集。因为RS-MD受参数的影响<我nline-formula>
β米米l:mi>
0米米l:mn>
和<我nline-formula>
γ米米l:mi>
,我们选择平滑特征值小于0.01。不同的参数<我nline-formula>
γ米米l:mi>
也选择了讨论。当参数<我nline-formula>
γ米米l:mi>
为0.2,0.5和0.9,计算每个数据集下的RS-MD。计算结果如图所示
1 。
图1
的分布RS-MD正常观测。(一)电离层。(b) Z-Alizadeh萨尼。(c)帕金森数据集与复制的声学特性。(d)乳腺癌威斯康星州(预测)。
(一)
(b)
(c)
(d)
图
1 显示了正常的观察RS-MD的分布参数时每一个数据集<我nline-formula>
γ米米l:mi>
被认为是0.2,0.5和0.9。当参数<我nline-formula>
γ米米l:mi>
是0.2或0.5,计算RS-MD很小的波动,从而表明结果是高度健壮的参数<我nline-formula>
γ米米l:mi>
很小。当参数<我nline-formula>
γ米米l:mi>
是0.9,计算RS-MD变得很大的波动,表明结果是削弱当参数的鲁棒性<我nline-formula>
γ米米l:mi>
很大。进一步反映参数的影响<我nline-formula>
γ米米l:mi>
在计算结果的方差RS-MD当参数<我nline-formula>
γ米米l:mi>
需要不同的值如表所示
2 。
表2
RS-MD的方差。
数据集名称
γ米米l:mi>
=米米l:mo>
0.2米米l:mn>
γ米米l:mi>
=米米l:mo>
0.3米米l:mn>
γ米米l:mi>
=米米l:mo>
0.5米米l:mn>
γ米米l:mi>
=米米l:mo>
0.9米米l:mn>
电离层
0.1555
0.1182
0.0978
0.2463
Z-Alizadeh萨尼
0.1127
0.1228
0.1483
0.2633
帕金森数据集与复制的声学特性
0.0650
0.0589
0.0552
0.1207
乳腺癌的威斯康辛州(预测)
0.1419
0.1359
0.1455
0.3499
表
2 显示的方差RS-MD在正常观测参数<我nline-formula>
γ米米l:mi>
被认为是0.2,0.3,0.5和0.9。当参数<我nline-formula>
γ米米l:mi>
小于0.5,计算的方差RS-MD很小,表明波动很小。当参数<我nline-formula>
γ米米l:mi>
是0.9,计算的方差RS-MD逐渐增加。因此,当参数<我nline-formula>
γ米米l:mi>
方法1,RS-MD波动的增加和鲁棒性降低。这是因为这个时候估计协方差矩阵的特征值几乎相等,从而导致过度拟合问题。方差的比较表明,综合参数时效果更好<我nline-formula>
γ米米l:mi>
是0.3。因此,我们设置参数<我nline-formula>
γ米米l:mi>
0.3和光滑的特征值小于0.01。RS-MD和传统医学的计算结果如图所示
2 。
图2
比较医学和RS-MD之间的分布。(一)电离层。(b) Z-Alizadeh萨尼。(c)帕金森数据集与复制的声学特性。(d)乳腺癌威斯康星州(预测)。
(一)
(b)
(c)
(d)
图
2 描绘了MD的分布和RS-MD正常的观察每一个数据集。医学博士之间的分布和RS-MD Z-Alizadeh萨尼数据集相对较近。RS-MD是略小于传统的医学博士和波动率略有降低。在其他三个数据集,RS-MD小于传统的医学博士和波动率显著降低。因此,Mahalanobis度量基于正则化和平滑技术比传统的更健壮的度量。
gydF4y2Ba然而,当正常的数量小于观测的特点,计算样本协方差矩阵是奇异的,和传统的距离无法计算。为了验证的有效性RS-MD在这种情况下,gram - schmidt Mahalanobis距离(高盛)是与RS-MD相比。以联结主义板凳(声纳、矿山与岩石)数据为例,计算结果如图所示
3 。从图可以看出
3 ,尽管高盛可以计算每个样本的Mahalanobis距离,距离Mahalanobis两类样本的几乎重叠,很难有效区分样品在两个类中。RS-MD时使用,有一个显著的差异在两类。可以使用RS-MD作为索引来区分样本。因此,RS-MD可以用作度量当正常样本的数量小于的特性,和歧视的不同样本可以改善。
图3
对比RS-MD和高盛。(一)高盛。(b) RS-MD。
(一)
(b)
4.2。比较分析两级之间的特征选择方法和传统MTS的特征选择
验证两阶段的特征选择方法的有效性,稳定性和分类的准确性特征选择在本节进行了分析。每个数据集的数据分为5折,4个作为训练数据。为了测量的稳定性特征选择,Jaccard系数是用来计算相似性的特征子集。
J一个cc一个rd系数是一种常见的相似性度量,用于测量样本集之间的相似之处(
54 ]。对于任何两组<我nline-formula>
一个米米l:mi>
和<我nline-formula>
B米米l:mi>
Jaccard系数定义如下:
(30)米米l:mtext>
J米米l:mi>
一个米米l:mi>
,米米l:mo>
B米米l:mi>
=米米l:mo>
一个米米l:mi>
∩米米l:mo>
B米米l:mi>
一个米米l:mi>
∪米米l:mo>
B米米l:mi>
=米米l:mo>
一个米米l:mi>
∩米米l:mo>
B米米l:mi>
一个米米l:mi>
+米米l:mo>
B米米l:mi>
−米米l:mo>
一个米米l:mi>
∩米米l:mo>
B米米l:mi>
。米米l:mo>
Jaccard系数在5个实验的均值作为特征选择的稳定性的措施。结果如图所示
4 。图
4 呈现稳定的特征子集获得通过使用两种特征选择方法在每个数据集,在mRMR-SNR代表两级特征选择方法和信噪比代表的特征选择方法相比传统的MTS。与传统的MTS使用信噪比筛选变量,mRMR-SNR的效果更好。这个结果表明,两级特征选择方法有利于提高鲁棒性的特征选择。
图4
为每个数据集特征选择结果的稳定性。
的基础上,两种特征选择方法的结果,每个数据集特征选择后的分类精度计算。决策树、支持向量机和资讯是用作衡量分类器分类精度。5倍交叉验证用于计算每个数据集的分类精度,结果如图所示
5 。
图5
每个数据集的特征选择后的分类精度。(一)电离层。(b) Z-Alizadeh萨尼。(c)帕金森数据集与复制的声学特性。(d)乳腺癌威斯康星州(预测)。
(一)
(b)
(c)
(d)
图
5 介绍了由不同的分类器分类精度计算为每个数据集在使用两种特征选择方法。可以看出,根据特征子集获得mRMR-SNR在每个数据集,计算分类精度较高。因此,两级特征选择方法有助于选择有效的特征分类。
5。实证分析
电子邮件的形成和发展为日常生活提供极大的方便。然而,大量垃圾邮件的情况下为用户和服务提供者也引起许多问题。因此,如何获得有效的邮件变成一个问题,和电子邮件过滤已逐渐成为一个重要的方式(
55 ]。电子邮件过滤的目的是区分普通消息从垃圾邮件;这个目标是一个典型的两级问题。传统分类算法通常需要大量的标记电子邮件作为训练样本,但大量的收集和标记电子邮件大大增加的成本消耗。因此,在小样本条件下提高邮件过滤性能是一个重要的研究问题
56 ]。MTS并不依赖于分布类型的数据后,可以实现分类预测减少维度。这是一个实际的模式识别和分类预测方法对多维变量。因此,我们应用在小样本条件下优化MTS邮件过滤。
5.1。数据预处理
本节将Spambase UCI数据库提供的数据集作为一个例子。数据集包含4601份电子邮件样本(2788 1813定期电子邮件和垃圾邮件)。每个电子邮件的文本内容是由56个不同的变量和描述1属性变量。共360封电子邮件(190 170定期电子邮件和垃圾邮件)随机选择从构成训练集的数据集和测试集的300封电子邮件(160 140定期电子邮件和垃圾邮件)。这是旨在满足高维小样本数据的需求和提高算法的效率。
5.2。建设基于修改的测量尺度度量
在训练集,190定期电子邮件是正常的观察和170垃圾邮件是不正常的观察。计算每个观测的RS-MD由方程(
9 )。根据验证的结果分析,参数<我nline-formula>
γ米米l:mi>
设置为0.3,并平滑特征值小于0.01。根据计算结果,大部分的RS-MD异常观测比正常的观察,而正常的RS-MD观察基本上集中在大约1。因此,构建参考空间是有效的。
5.3。两级特征选择基于mRMR算法和信噪比
原始数据由56个变量,记录<我nline-formula>
X米米l:mi>
1米米l:mn>
,米米l:mo>
X米米l:mi>
2米米l:mn>
,米米l:mo>
…米米l:mo>
,米米l:mo>
X米米l:mi>
56米米l:mn>
。mRMR算法首先是用来消除噪声变量和冗余的变量。的相关性以互信息计算方程(
25 )和(
26 )。31日功能保留,他们的成绩表所示
3 。
表3
选定的特征和它的分数mRMR算法。
功能
X米米l:mi>
18米米l:mn>
X米米l:mi>
46米米l:mn>
X米米l:mi>
28米米l:mn>
X米米l:mi>
52米米l:mn>
X米米l:mi>
40米米l:mn>
X米米l:mi>
2米米l:mn>
X米米l:mi>
26米米l:mn>
X米米l:mi>
21米米l:mn>
X米米l:mi>
6米米l:mn>
X米米l:mi>
43米米l:mn>
X米米l:mi>
37米米l:mn>
分数
0.000
−0.094
−0.019
−0.007
−0.014
−0.027
−0.026
−0.019
−0.016
−0.017
−0.030
功能
X米米l:mi>
41米米l:mn>
X米米l:mi>
23米米l:mn>
X米米l:mi>
24米米l:mn>
X米米l:mi>
45米米l:mn>
X米米l:mi>
55米米l:mn>
X米米l:mi>
51米米l:mn>
X米米l:mi>
32米米l:mn>
X米米l:mi>
47米米l:mn>
X米米l:mi>
15米米l:mn>
X米米l:mi>
38米米l:mn>
X米米l:mi>
13米米l:mn>
分数
−0.022
−0.028
−0.027
−0.033
−0.041
−0.050
−0.052
−0.060
−0.057
−0.061
−0.066
功能
X米米l:mi>
31日米米l:mn>
X米米l:mi>
19米米l:mn>
X米米l:mi>
22米米l:mn>
X米米l:mi>
25米米l:mn>
X米米l:mi>
10米米l:mn>
X米米l:mi>
53米米l:mn>
X米米l:mi>
36米米l:mn>
X米米l:mi>
16米米l:mn>
X米米l:mi>
48米米l:mn>
分数
−0.068
−0.063
−0.076
−0.072
−0.085
−0.092
−0.094
−0.096
−0.098
一个正交表<我nline-formula>
l米米l:mi>
32米米l:mn>
2米米l:mn>
31日米米l:mn>
选择的基础上选择31特性。的基础上的正交表的信息,每一个异常的RS-MD观察不同特征组合下重新计算,并根据方程(计算信噪比
30. )。信噪比的值从每个测试如表所示
4 。
表4
信噪比的值在每个测试。
测试
1
2
3
4
5
6
7
8
9
10
11
信噪比
1.513
−1.271
−4.010
0.692
−7.809
−2.428
−3.104
−9.281
−5.210
−6.468
−5.422
测试
12
13
14
15
16
17
18
19
20.
21
22
信噪比
−5.690
−5.506
−4.236
−3.931
−2.749
−4.634
−4.227
−4.107
−6.069
−0.658
−2.976
测试
23
24
25
26
27
28
29日
30.
31日
32
信噪比
−2.747
0.260
−3.678
−4.094
−4.759
−3.800
−4.712
−3.734
−5.076
−4.008
结合正交表和信噪比,信噪比的意思是每个特性在不同层次上进行了分析。信噪比的均值反映了变量在不同层次上的影响。当信噪比的平均水平1大于2级,表明使用该变量比不使用它更有利。也就是说,这些变量是有效的变量和分类是有益的。相反,当信噪比的意思是1级低于2级,表明使用该变量的影响是低于没有使用它。也就是说,这些变量施加轻微影响分类,可以删除。对于有效的变量,不同信噪比的意思是在不同层次上反映了变量的意义。差异越大,分类变量的贡献。因此,减少基准这15个变量组成的空间<我nline-formula>
X米米l:mi>
6米米l:mn>
,米米l:mo>
X米米l:mi>
10米米l:mn>
,米米l:mo>
X米米l:mi>
15米米l:mn>
,米米l:mo>
X米米l:mi>
16米米l:mn>
,米米l:mo>
X米米l:mi>
18米米l:mn>
,米米l:mo>
X米米l:mi>
19米米l:mn>
,米米l:mo>
X米米l:mi>
22米米l:mn>
,米米l:mo>
X米米l:mi>
23米米l:mn>
,米米l:mo>
X米米l:mi>
24米米l:mn>
,米米l:mo>
X米米l:mi>
36米米l:mn>
,米米l:mo>
X米米l:mi>
38米米l:mn>
,米米l:mo>
X米米l:mi>
51米米l:mn>
,米米l:mo>
X米米l:mi>
52米米l:mn>
,米米l:mo>
X米米l:mi>
53米米l:mn>
,米米l:mo>
X米米l:mi>
55米米l:mn>
。
5.4。阈值计算和分类预测
参考空间重构按照15变量选择的特征选择过程中,每个样本的MD在新的参考空间计算。然后使用传统医学,因为数据特征选择后不再高维小样本数据。基于计算医学博士使用ROC曲线确定系统的阈值。结果如图
6 。当阈值是1.9377,训练集的分类精度达到最高为0.9194。确定阈值用于测试集进行分类,分类精度的最终测试集是0.9067。
图6
ROC曲线对应于特征选择后的训练集的距离。
5.5。比较常见的分类方法对高维小样本数据
对于高维小样本数据的分类问题,特征选择方法,如过滤和嵌入方法,首先用于筛选变量,然后一个常见的机器学习算法对dimension-reduced数据集进行分类。减压方法和SVM-RFE方法中的常用方法过滤和嵌入方法,分别。因此,本节首先使用救援和SVM-RFE方法降低高维小样本数据的维度。然后,决策树、支持向量机和资讯算法用于reduced-dimensional数据集进行分类。
15gydF4y2Ba个变量选择的救济或SVM-RFE方法,然后dimension-reduced数据集是由决策树分类,支持向量机,然而算法。结果比较与优化的MTS。比较结果如表所示
5 。
表5
之间的比较结果优化MTS和高维小样本数据的分类方法。
优化MTS
古典MTS
决策树
救援
SVM-RFE
数的功能
15
20.
15
15
训练集
0.9194
0.8722
0.8333
0.8444
测试集
0.9067
0.8633
0.8433
0.8533
支持向量机
然而,
救援
SVM-RFE
救援
SVM-RFE
数的功能
15
15
15
15
训练集
0.8722
0.8944
0.8583
0.8750
测试集
0.8733
0.8967
0.8600
0.8867
如表所示
5 ,优化MTS具有更好的分类效果比经典的MTS为训练和测试样本。这一结果表明,与经典的MTS相比,优化MTS的分类和预测能力较好。也就是说,优化MTS更适合小样本数据。
gydF4y2Ba筛选功能后救济和SVM-RFE方法,支持向量机算法的分类效果优于决策树和资讯的算法。这个结果表明,支持向量机算法具有更好的分类性能条件下的小样本。然而,这三种分类器的分类效果低于MTS优化。优化的MTS具有良好的降维为高维小样本数据和分类性能。此外,降维中分离和分类预测常用的高维小样本数据的分类方法。相比之下,优化MTS可以完成分类预测后减少变量,即解决问题的降维与分类预测在同一时间。优化的MTS从而保持工作效率在一定程度上。
6。结论
本文提出了优化MTS高维小样本数据。针对协方差矩阵的逆矩阵的不稳定问题,Mahalanobis指标提出了基于正则化和平滑技术。针对特征选择问题,基于mRMR算法的两阶段特征选择算法,提出了信噪比。通过五个数据集的验证分析,修改Mahalanobis的鲁棒性度量和两级特征选择方法的有效性进行了验证。电子邮件过滤问题的优化应用MTS在小样本条件下,达到良好的分类和降维的效果。同时,相对于经典的MTS和常用的分类算法对于高维小样本数据,优化的MTS性能更好。因此,优化MTS不仅提高了MTS的泛化能力,还提供了一种新的方法对高维小样本数据。
数据可用性
本文中使用的计算软件包括MATLAB 2016,和一款统计软件SPSS 22日17。UCI数据库在线
https://archive.ics.uci.edu/ml/datasets.php 。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作得到了国家自然科学基金(71871174)。
一个ck>
[
]1
Sakeran
H。
阿布奥斯曼
n。
阿卜杜勒·马吉德
m . S。
步态分类使用mahalanobis-taguchi系统前交叉韧带重建后的健康监测系统一个rt我cle-title>
应用科学我t一个lic>
2019年
9
16我ssue>
3306年
3323年
10.3390 / app9163306
2 - s2.0 - 85070936638
[
]2
萧
中州。
苏
C.-T。
傅
P.-C。
集成MTS和装袋策略类不平衡问题一个rt我cle-title>
国际期刊的机器学习和控制论我t一个lic>
2019年
2019年
10.1007 / s13042 - 019 - 01033 - 1
[
]3
顾
y . P。
程
l S。
常
z . P。
根据MTS-CBPSO不平衡数据分类方法:一个案例研究的财务困境预测一个rt我cle-title>
杂志的信息处理系统我t一个lic>
2019年
15
3我ssue>
682年
693年
[
]4
王
C . C。
吴
b D。
分类和预测使用Mahalanobis-Taguchi DRAM晶片探针产生的制造系统和神经网络一个rt我cle-title>
南非工业工程杂志》上我t一个lic>
2019年
30.
1我ssue>
248年
256年
[
]5
Lim
h·L。
哈
E.-H。
哈
的预算。
孙
J.-R。
月亮
k W。
优先级设置管理化学品使用全球统一系统和多变量分析:使用mahalanobis-taguchi系统一个rt我cle-title>
国际环境研究和公共卫生杂志》上我t一个lic>
2019年
16
17我ssue>
3119年
3130年
10.3390 / ijerph16173119
2 - s2.0 - 85071645367
[
]6
王
N。
王
z . P。
贾
l
自适应多级Mahalanobis-Taguchi变量条件下轴承故障诊断系统一个rt我cle-title>
传感器我t一个lic>
2019年
19
1我ssue>
26
41
[
]7
元
J。
罗
X。
在中国区域能源安全绩效评估使用mtg和SPA-TOPSIS一个rt我cle-title>
科学的环境我t一个lic>
2019年
696年
8我ssue>
133817年
10.1016 / j.scitotenv.2019.133817
2 - s2.0 - 85070922211
[
]8
黎萨
M。
甘尼
j . A。
Nuawi
m Z。
Haron
C . h . C。
刀具磨损使用多传感器信号和Mahalanobis-Taguchi系统分类和检测一个rt我cle-title>
穿我t一个lic>
2017年
376 - 377
1我ssue>
1759年
1765年
10.1016 / j.wear.2017.02.017
2 - s2.0 - 85020764033
[
]9
Sikder
年代。
Panja
s . C。
穆克吉
我。
一个集成的方法对多变量统计过程控制使用Mahalanobis-Taguchi系统和安德鲁斯函数一个rt我cle-title>
国际期刊的质量与可靠性管理我t一个lic>
2017年
34
8我ssue>
1186年
1208年
10.1108 / ijqrm - 11 - 2015 - 0163
2 - s2.0 - 85028766461
[
]10
赤峰
P。
Li-Hsing
H。
Sang-Bing
T。
应用Mahalanobis-Taguchi系统改进平板电脑的生产流程一个rt我cle-title>
可持续性我t一个lic>
2017年
9
9我ssue>
1557年
1573年
[
]11
马哈茂德
e . B。
修改Mahalanobis-Taguchi系统不平衡数据分类一个rt我cle-title>
计算智能和神经科学我t一个lic>
2017年
2017年
5874896
5874910
[
]12
米盖尔
a·c·M。
想一下
s M。
吉尔博托
年代。
将主成分分析和Mahalanobis-Taguchi系统检测不平衡在离心压缩机在浮式生产储存和卸载一个rt我cle-title>
ASCE-ASME杂志的风险和不确定性在工程系统中,B部分:机械工程我t一个lic>
2019年
6
41
85年
[
]13
Samadi
F。
Akbarizadeh
G。
Kaabi
H。
在SAR图像变化检测使用深层信念网络:一种新的训练方法基于形态学的图像一个rt我cle-title>
专业图像处理我t一个lic>
2019年
13
12我ssue>
2255年
2264年
10.1049 / iet-ipr.2018.6248
2 - s2.0 - 85072850162
[
]14
Sharifzadeh
F。
Akbarizadeh
G。
Seifi Kavian
Y。
船在SAR图像分类使用一种新的混合CNN-MLP分类器一个rt我cle-title>
遥感的印度社会杂志》上我t一个lic>
2019年
47
4我ssue>
551年
562年
10.1007 / s12524 - 018 - 0891 - y
2 - s2.0 - 85055981128
[
]15
穆贾达姆
答:E。
Akbarizadeh
G。
Kaabi
H。
血管和肺结节的自动检测和分割基于线跟踪法和广义线性回归模型一个rt我cle-title>
信号,图像和视频处理我t一个lic>
2019年
13
3我ssue>
457年
464年
[
]16
Norouzi
M。
Akbarizadeh
G。
Eftekhar
F。
一种混合的SAR图像配准的特征提取方法一个rt我cle-title>
信号,图像和视频处理我t一个lic>
2018年
12
8我ssue>
1559年
1566年
10.1007 / s11760 - 018 - 1312 - y
2 - s2.0 - 85048135740
[
]17
Akbarizadeh
G。
压力
M。
有效的纹理和颜色特征的组合在一个新的PolSAR图像分割的谱聚类方法一个rt我cle-title>
国家科学院科学信我t一个lic>
2017年
40
2我ssue>
117年
120年
10.1007 / s40009 - 016 - 0513 - 6
2 - s2.0 - 85016751558
[
]18
Akbarizadeh
G。
一个新的statistical-based峰度纹理识别的SAR图像小波能量特征一个rt我cle-title>
IEEE地球科学和遥感我t一个lic>
2012年
50
11我ssue>
4358年
4368年
10.1109 / tgrs.2012.2194787
2 - s2.0 - 84869509888
[
]19
Raeisi
一个。
Akbarizadeh
G。
Mahmoudi
一个。
相结合的方法,一个有效的布谷鸟搜索算法和非负矩阵分解不同的泽尼克时刻特性之间的歧视漏油和在羡慕SAR图像一个rt我cle-title>
IEEE选择杂志的主题应用地球观测和遥感我t一个lic>
2018年
11
11我ssue>
4193年
4205年
10.1109 / jstars.2018.2841503
2 - s2.0 - 85049458832
[
]20.
Modava
M。
Akbarizadeh
G。
Soroosh
M。
集成谱直方图和水平集在SAR图像海岸线检测一个rt我cle-title>
IEEE航空航天和电子系统我t一个lic>
2019年
55
2我ssue>
810年
819年
10.1109 / taes.2018.2865120
2 - s2.0 - 85051824990
[
]21
Akbarizadeh
G。
Modava
M。
Soroosh
M。
等级在SAR图像海岸线检测基于spectral-textural特性和全球性的本土信息一个rt我cle-title>
专业雷达、声纳、导航我t一个lic>
2019年
10
10.1049 / iet-rsn.2019.0063
[
]22
肖
X。
段
H。
一个新的灰色模型对交通流力学一个rt我cle-title>
人工智能技术的工程应用我t一个lic>
2020年
88年
103350年
10.1016 / j.engappai.2019.103350
[
]23
Karaivanova
一个。
Ivanovska
年代。
Gurov
T。
蒙特卡罗方法密度重建基于数据不足一个rt我cle-title>
Procedia计算机科学我t一个lic>
2015年
51
10我ssue>
1782年
1790年
10.1016 / j.procs.2015.05.390
2 - s2.0 - 84939208037
[
]24
龚
H.-F。
程ydF4y2Ba
Z.-S。
朱
Q.-X。
他
杨绍明。关铭
蒙特卡罗和基于PSO的虚拟样本生成方法提高能源预测和优化在小数据问题:石化行业的实证研究一个rt我cle-title>
应用能源我t一个lic>
2017年
197年
7我ssue>
405年
415年
10.1016 / j.apenergy.2017.04.007
2 - s2.0 - 85017258008
[
]25
道
d . P。
郭
y . N。
首歌
m . L。
人鉴定dual-regularized吻度量学习一个rt我cle-title>
IEEE图像处理我t一个lic>
2016年
25
6我ssue>
2726年
2738年
[
]26
Liong
诉E。
通用电气
y . X。
陆
j·W。
有识别力的正规化地度量学习的人我t一个lic>
生物识别技术的国际会议
2015年9月
普吉岛,泰国
IEEE
[
]27
Espezua
年代。
维拉纽瓦
E。
马舍尔
c, D。
卡瓦略
一个。
投影追求框架监督降维的高维小样本数据集一个rt我cle-title>
Neurocomputing我t一个lic>
2015年
149年
16我ssue>
767年
776年
10.1016 / j.neucom.2014.07.057
2 - s2.0 - 85027943239
[
]28
希拉
z . M。
Gillies
d F。
回顾特征选择和特征提取方法应用于微阵列数据一个rt我cle-title>
生物信息学的发展我t一个lic>
2015年
2015年
5我ssue>
1
13
10.1155 / 2015/198363
2 - s2.0 - 84932642625
[
]29日
Kamyab
年代。
Eftekhari
M。
使用多通道优化技术特征选择一个rt我cle-title>
Neurocomputing我t一个lic>
2016年
171年
3我ssue>
586年
597年
10.1016 / j.neucom.2015.06.068
2 - s2.0 - 84947044920
[
]30.
吴
w·w·B。
黄
l
评估特征选择稳定的下一代蛋白质组学一个rt我cle-title>
生物信息学和计算生物学》杂志上我t一个lic>
2016年
14
5我ssue>
29日
51
10.1142 / s0219720016500293
2 - s2.0 - 84988667203
[
]31日
杜
W。
曹
z . B。
首歌
t . C。
一个基于多个内核的特征选择方法学习不同类型的表达谱一个rt我cle-title>
个人经历矿业我t一个lic>
2017年
10
1我ssue>
4
19
10.1186 / s13040 - 017 - 0124 - x
2 - s2.0 - 85011340426
[
]32
Cudney
大肠。
Ragsdell
k . M。
预测使用Mahalanobis-Taguchi系统存在共线性我t一个lic>
2006年
美国底特律,MI
SAE世界大会和展览
[
]33
Cudney
大肠。
Paryani
K。
Ragsdell
k . M。
识别有用的变量车辆制动Mahalanobis-Taguchi系统使用伴随矩阵的方法一个rt我cle-title>
国际期刊的工业与系统工程我t一个lic>
2008年
1
4我ssue>
281年
292年
[
]34
苏
C.-T。
萧
中州。
评估MTS为不平衡数据的鲁棒性一个rt我cle-title>
IEEE工程知识和数据我t一个lic>
2007年
19
10我ssue>
1321年
1332年
10.1109 / tkde.2007.190623
2 - s2.0 - 34648841070
[
]35
释迦
P。
Kulkarni
m . S。
Darpe
答:K。
基于Mahalanobis-Taguchi-Gram-Schmidt轴承诊断方法一个rt我cle-title>
杂志的声音和振动我t一个lic>
2015年
337年
43我ssue>
342年
362年
10.1016 / j.jsv.2014.10.034
2 - s2.0 - 84916608780
[
]36
汉
y . J。
他
W。
郭歌
F。
相关问题研究Mahalanobis-Taguchi系统的多维系统优化一个rt我cle-title>
工业工程杂志我t一个lic>
2012年
15
2我ssue>
71年
77年
[
]37
常
z . P。
程
l S。
刘
j·S。
区间数多属性决策方法基于Mahalanobis-Taguchi系统和指标值一个rt我cle-title>
系统工程理论与实践我t一个lic>
2014年
34
1我ssue>
168年
175年
[
]38
道
j·B。
程
l S。
应用岭Mahalanobis-Taguchi系统在复杂的共线的数据基于岭估计一个rt我cle-title>
在实践和理论中数学杂志》上我t一个lic>
2016年
46
4我ssue>
109年
116年
[
]39
亚伯拉罕
B。
Variyath
a . M。
讨论一个rt我cle-title>
技术计量学我t一个lic>
2003年
45
1我ssue>
22
24
10.1198 / 004017002188618644
2 - s2.0 - 0037323299
[
]40
Resendiz一起做
E。
Moncayo-Martinez
l。
索利斯
G。
二进制蚁群优化应用于变量筛选Mahalanobis-Taguchi系统一个rt我cle-title>
专家系统与应用程序我t一个lic>
2013年
40
2我ssue>
634年
637年
10.1016 / j.eswa.2012.07.058
2 - s2.0 - 84867674132
[
]41
Iquebal
答:S。
朋友
一个。
Ceglarek
D。
女子
m·K。
增强Mahalanobis-Taguchi系统通过基于粗糙集的特征选择一个rt我cle-title>
专家系统与应用程序我t一个lic>
2014年
41
17我ssue>
8003年
8015年
10.1016 / j.eswa.2014.06.019
2 - s2.0 - 84905371967
[
]42
Resendiz-Flores
e . O。
Navarro-Acosta
j . A。
Hernandez-Martinez
一个。
最优特征选择在工业泡沫注入过程使用混合二进制粒子群优化和引力搜索算法在Mahalanobis-Taguchi系统一个rt我cle-title>
软计算我t一个lic>
2019年
23
6我ssue>
1
9
[
]43
Reyes-Carlos
y。
Mota-Gutierrez
c·G。
Resendiz-Flores
e . O。
最优变量筛选在汽车motor-head Mahalanobis-Taguchi系统使用metaheuristic加工过程的方法一个rt我cle-title>
国际先进制造技术杂志》上我t一个lic>
2018年
95年
9 - 12我ssue>
3589年
3597年
10.1007 / s00170 - 017 - 1348 - 0
2 - s2.0 - 85038076894
[
]44
马哈茂德
e . B。
焊接不平衡数据分类的新方法:Mahalanobis遗传算法(公司)一个rt我cle-title>
国际先进制造技术杂志》上我t一个lic>
2015年
77年
4我ssue>
407年
425年
[
]45
妞妞
j·L。
程
l S。
一个不平衡数据分类方法基于改进Mahalanobis-Taguchi系统一个rt我cle-title>
工业工程与工程管理杂志》上我t一个lic>
2012年
26
2我ssue>
85年
93年
[
]46
弗里德曼
j . H。
正规化的判别分析一个rt我cle-title>
美国统计协会杂志》上我t一个lic>
1989年
84年
405年我ssue>
165年
175年
10.1080 / 01621459.1989.10478752
2 - s2.0 - 84887916087
[
]47
木村
F。
Takashina
K。
鹤冈
年代。
宅一生
Y。
修改后的二次判别函数和中国字符识别应用程序一个rt我cle-title>
IEEE模式分析与机器智能我t一个lic>
1987年
9
1我ssue>
149年
153年
10.1109 / tpami.1987.4767881
2 - s2.0 - 0023148717
[
]48
道
d . P。
金
l·W。
王
y F。
人鉴定最低分类偏差吻度量学习[J]一个rt我cle-title>
IEEE控制论我t一个lic>
2015年
2
45我ssue>
242年
252年
[
]49
张
X。
首歌
Z。
李
D。
张
W。
赵
Z。
程ydF4y2Ba
Y。
通过改善LMD和SVM-RFE-MRMR对减速器故障诊断一个rt我cle-title>
冲击和振动我t一个lic>
2018年
2018年
7我ssue>
1
13
10.1155 / 2018/4526970
2 - s2.0 - 85050994404
[
]50
黄
l
香
z . J。
楚
H。
遥感图像分类算法基于mRMR选择和IFCM集群一个rt我cle-title>
测绘的公告我t一个lic>
2019年
4
32
37
[
]51
彭
H。
长
F。
丁
C。
基于互信息的特征选择:标准max-dependency, max-relevance, min-redundancy一个rt我cle-title>
IEEE模式分析与机器智能我t一个lic>
2005年
27
8我ssue>
1226年
1238年
[
]52
Kraskov
一个。
Stogbauer
H。
Grassberger
P。
估计互信息一个rt我cle-title>
物理评论E我t一个lic>
2004年
69年
6我ssue>
1
16
10.1103 / physreve.69.066138
2 - s2.0 - 84913560692
[
]53
徐
X。
张
K。
王
w·J。
小样本数据的特征选择方法一个rt我cle-title>
计算机研究与发展》杂志上我t一个lic>
2018年
55
10我ssue>
229年
238年
[
]54
Samanthula
b K。
江
W。
安全的多重集交集基数jaccard系数及其应用一个rt我cle-title>
IEEE可靠和安全的计算我t一个lic>
2015年
13
5我ssue>
591年
604年
[
]55
蜀
l
Mcisaac
K。
Osinski
g·R。
弗朗西斯
R。
无监督特征学习自主岩石图像分类一个rt我cle-title>
电脑与地球科学我t一个lic>
2017年
106年
10
17
10.1016 / j.cageo.2017.05.010
2 - s2.0 - 85019718958
[
]56
锅
j . Z。
周
X。
吴
g . Q。
基于小样本学习的垃圾邮件过滤方法一个rt我cle-title>
计算机工程我t一个lic>
2010年
36
21我ssue>
245年
247年