文摘
作为随机矩阵理论的主要组件,高斯随机矩阵在许多领域扮演着重要的角色,因为他们都是统一不变的和有独立的条目,可以用作多元数据或模型多元现象。尾边界特征值的高斯随机矩阵的一个热点研究问题。在本文中,我们目前的尾巴和期望的范围标准高斯随机矩阵,分别。此外,尾巴和期望的范围标准高斯维格纳矩阵的计算基于生成的边界。与已有结果相比,我们的结果更适合高维矩阵的情况。最后,我们研究了尾边界参数向量的一些现有的正则化算法。
1。介绍
随机矩阵理论(RMT)已经发展成为概率论的一个重要领域。RMT已经使用在许多学科,例如,高维数据分析(1),神经网络(2),矩阵低秩近似(3),压缩传感(4,降维5),组合优化6),深度学习7),无线通信(8),多视图无监督特征选择(9),本地和全球问题的随机矩阵(10),多视图的子空间聚类(11),和特性选择投影(12]。
研究尾边界的随机矩阵可以追溯到Ahlswede-Winter方法(13]。Tropp [14)实现更严格的结果,提出了一个用户友好的尾巴行为的随机矩阵。征服的影响矩阵维度,尾巴范围依赖于内在维度提出了(15,16]。Zhang et al。17]介绍了dimension-free尾巴的随机矩阵的最大奇异值金额。高et al。18)获得dimension-free范围最大的奇异值矩阵高斯系列。也有研究随机矩阵的小偏差行为(19,20.]。
1.1。相关的工作
让是一个 高斯随机矩阵的条目是独立标准正态变量。让表示矩阵的阿达玛的产品。这意味着可以表示成两个矩阵的阿达玛的产品: 矩阵的维数在哪里是一样的吗 ,的条目1。根据推论4.2 (14)和假设 (在本文中,除非另有说明,假设 满意),我们可以获得吗 ,
符号代表的谱范数 。
根据定理2 (18),我们可以得到任何 ,
符号代表的最大奇异值(LSV) 。
期望绑定来自定理4.6.1 (21的谱范数 :
的LSV ,定理4的期望一定可以获得(18]:
然而,我们所知,没有尾巴的界限高斯随机矩阵的规范。
1.2。主要结果的概述
高斯随机矩阵用于许多领域,如,信号处理和组合优化。为了补充和提高随机矩阵理论研究的浓度的不平等,在本文中,我们目前的尾巴的界限标准高斯随机矩阵,我。e的上限
符号代表了规范的 。我们还获得的期望范围高斯随机矩阵的规范 。根据的定义规范,我们的研究结果是基于拉普拉斯变换方法获得折叠的高斯分布。作为应用,我们使用了定理计算尾和期望范围标准高斯维格纳的矩阵。与现有的结果,我们的结果更适合于高维矩阵的情况。
本文的其余部分组织如下。部分2介绍了一些初步知识规范和折叠的高斯分布。部分3给出了尾巴和期望的范围标准高斯随机矩阵,提出了我们的研究结果应用于高斯维格纳的研究矩阵。节4研究了尾边界参数向量的一些现有的正则化算法。最后一节总结了纸。
2。符号和预赛
在本节中,我们提供了一些初步的知识规范的矩阵和折叠的高斯分布。
2.1。的规范的矩阵
对于一个 矩阵 ,的entrywise矩阵的范数的定义是 在哪里的条目 。的规范是一个最优凸近似规范,所以它也可以表示稀疏,使模型更容易解释。的规范被广泛用于机器学习及其相关领域,例如,低秩近似(22)和字典学习(23]。
2.2。折叠的高斯分布
折叠的高斯分布是正态分布的随机变量的绝对值,广泛应用于许多方面,特别是在贝叶斯推理的应用程序(24和过程能力的措施25]。标准正态变量 ,随机变量 被折叠的高斯分布。的概率密度函数(PDF) 为 ,和0。
矩生成函数(mgf)给出 在哪里正态累积分布函数: 在哪里误差函数(误差函数定义为: )。
自 ,然后,存在 这样
第三个不平等,因为是一个奇函数。
3所示。主要结果
在本节中,我们目前的尾巴和期望的范围标准高斯随机矩阵和使用我们的理论结果计算尾和高斯维格纳的期望范围矩阵。
3.1。高斯随机矩阵的范围
基于mgf绑定(11),我们首先获得尾巴的高斯随机矩阵的规范。
定理1。让是一个高斯随机矩阵维度 。也就是说,它的条目独立标准正态变量。然后认为对于任何 ,
证明。对于任何一个正数 ,我们有 第一个身份使用标量指数函数的单调性,第二个是马尔可夫不等式的关系。下确界时获得 ,这就完成了证明。
与前面的结果(2)、尾部约束(12)没有维系数项。因此,尾部约束(12)更适用于高维矩阵的情况下,不需要内在维度优化结果。与现有的结果(3),我们的结果不受尺寸的影响。
基于定理1,我们可以获得期望的高斯随机矩阵的规范。
定理2。给定一个高斯随机矩阵 ,那么认为
证明。根据定理1,我们有 根据詹森不等式,我们 这就完成了证明。
注意,第二个约束(14)是更严格的比之前的结果(5)。这变得越来越明显的矩阵的维数增加。
3.2。高斯维格纳矩阵
作为一个应用程序中,我们使用我们的结果范围来计算的尾巴和期望范围标准高斯维格纳的矩阵。
考虑一个高斯维格纳矩阵 在以下形式: 在哪里 是独立标准正态变量。
的大偏差原理研究高斯维格纳矩阵的随机矩阵理论的一个经典问题26- - - - - -28]。接下来,根据我们得到的边界,我们计算的尾巴和期望范围规范的如下。对于任何 ,
与前面的结果(17)( )在[18),尾巴绑定(18)没有维系数项 。注意,第二个约束(19)是更严格的比之前的结果(19)( )在[18]。因此,我们的边界更适用于高维矩阵的情况下。
4所示。分析正则化算法
现在尾巴的比较范围不同的规范已经建立,我们将研究尾边界参数向量的一些现有的正则化算法。更准确地说,我们将分析两个著名的正则化的机器学习算法和正则化算法。
给定一个样本集 ,在哪里 和 。我们认为以下线性回归模型: 在哪里表示内积, 权向量(矩阵重量:1列,行), 是偏见。该模型容易过度拟合,对低噪声信息。为了克服这些缺点,正则化项添加到目标函数: 在哪里 是正则化系数。通常,可以将正则化 或 。线性回归模型被称为岭回归(29日),与是最绝对的收缩和选择算子(套索)[30.]。
如图1套索的解决方案通常包含一些0组件,即。权向量是稀少的。因此,套索已经成为最受欢迎的特征提取方法,已成功应用于许多实际问题31日- - - - - -34]。
(一)
(b)
目的是找到一个最小化目标函数。绑定的参数误差最小上界 有另一种概率表达式
在机器学习中,重初始化方法的收敛速度有至关重要的影响模型和质量模型的性能。高斯函数初始化方法是最简单的初始化方法,即初始化权重根据高斯分布。通过尾的部分3我们知道,尾巴的标准高斯随机矩阵比的尾巴绑紧规范。实际上,之间的区别和是最小化过程是不同的。如图2,根据绝对值函数下降,根据二次函数的下降。的下降速度比这更快的附近的点。
5。结论
在本文中,我们提出了尾巴的高斯随机矩阵的规范。特别是,我们也期望前往高斯随机矩阵的规范。作为一个应用程序中,我们使用我们的结果范围来计算的尾巴和期望范围标准高斯维格纳的矩阵。与现有的结果,我们的结果更适合于高维矩阵的情况。最后,我们研究了尾边界的参数向量和正则化算法。
在未来的工作中,我们将理论成果应用于一些潜在的实际场景,如聚类和分类。
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作得到了国家自然科学基金(12101378),项目通过对山西农业大学科技创新基金(2021 bq10),项目的科学研究优秀的医生,山西省,中国(SXBYKY2021046)和山西省基础研究的研究基础,中国(20210302124548)。