文摘
径向基函数(RBF)是众所周知的在函数逼近和模式分类提供出色的性能。传统的RBF使用基础措施,如高斯核函数依赖距离特征向量之间的欧几里得距离(ED)和神经元的中心,等等。在这项工作中,我们引入一个新的RBF人工神经网络(ANN)的基函数利用ED的线性组合建立高斯内核和余弦内核,内核计算功能和中心向量的夹角余弦。新奇的工作依赖于这样一个事实,我们已经表明,有可能存在这样的场景:两个特征向量(阵线”更突出的提议通过余弦度量相比传统的教育措施。我们讨论自适应检测多个象征相移键控(MPSK)信号作为一个实际的例子说明角度信息关键反过来证明我们提出RBF内核。证实了我们的理论的发展,我们调查的性能提出RBF的问题属于三个不同的领域。我们的结果表明,该RBF优于传统的RBF以显著的优势。
1。介绍
神经网络计算模型首次提出了麦克洛克和皮特1]。从那时起,人工神经网络(ANN)被认为是一个决策工具,许多研究[2- - - - - -4]。安是特别非常有用的解决难以解决的问题与传统的基于规则的编程(5]。
简单但强大的泛化能力安了许多过去和现在的研究人员的关注2,3,6,7]。这一切都始于Rosenblatt当他创造了感知器(8),监督分类的模式识别算法。
然而,Rosenblatt的想法不能被翻译成计算机程序直到反向传播算法的发展迄今为止最普遍使用的算法在安范式9]。此后,巨大的研究在这一领域,在近50年左右有非凡的增长在这一领域,结果是发明一些复杂的算法(6,10,11]。
径向基函数(RBF)网络(12)是一个安和激活功能是径向基函数。首次引入了Broomhead和劳10),自那以后,已成为一个非常流行的方法解决问题,适合安范式(11- - - - - -14]。RBF的主要优势与其他算法相比,基于ANN范式是简单的网络参数的计算12]。径向基函数神经网络的另一个非常重要的特性是能够执行复杂的非线性映射,允许快速线性和强劲的学习机制5]。最初,RBF网络发达在高维空间数据插值(12]。尽管如此,RBF网络被用于不同的领域,包括模式分类(7),时间序列预测13),系统控制(14),和函数逼近15]。
一些最常用的基函数是高斯函数(12],multiquadric函数[12],薄板样条函数(12),逆multiquadric函数(12),等等。没有通用的规则,但是径向基函数的选择是特定的高度问题。同时,大多数应用程序使用RBF利用扮演关键角色的自由形状参数的准确性的方法,通常选择交叉验证的帮助下(16)技术。这是一个标准的练习(12]RBF网络学习三套参数:位置、RBF的宽度和重量因素内核。大量的工作(17- - - - - -19)已经选择这些参数优化。
在传统RBF核函数,主要是高斯特性之间的欧几里得距离向量和神经元的中心是使用[17]。然而,可能有场景欧几里得距离不是主要措施中找到分离特性,例如,如果两个特征向量相等的距离中心,但是分开的中心通过不平等的角度。在这种情况下,夹角的余弦值可以发挥至关重要的作用在区分特征向量。我们已经详细讨论了这样的场景3。
出于这一观点,我们提出一种新颖的RBF内核由高斯和余弦的线性组合RBF内核。余弦RBF核函数计算夹角的余弦值提供特征向量和向量与中心神经元。
有一些现有的文学作品,讨论了使用余弦度量与RBF内核(20.- - - - - -26]。Karayiannis和Randolph-Gips27)提出了一个新颖的RBF的标准化版本multiquadratic径向基函数,其中余弦表示转换后的向量的夹角,而不是原来的向量。刘等人。28)利用余弦相似性度量获得高性能的分类选择有意义的功能。他们计算内核之间的余弦相似性,而不是原来的向量。通过这样做,它们改变了所有的向量长度相同,而我们不扰乱特征空间。此外,这些余弦内核开发的支持向量机(SVM)。曹和扫罗(29日)使用反余弦输入之间的角度的内核。
我们所知,现有相关的文学作品的想法将余弦度量内核内部一直在使用SVM内核(28,29日)不使用安范式或变换域(30.在安范式。我们的工作与他们在很多方面是不同的。首先,我们提出了一个余弦内核在原来的向量空间,而不是在任何转换空间。
其次,我们结合ED和余弦措施的效果与线性组合。最后,与现有的作品(27- - - - - -29日),我们提出内核使用RBF神经网络分类器。
为了验证我们的理论发展,我们有了两个不同的研究问题:模式识别和非线性植物鉴别。
我们由本文以以下方式。部分2概述了传统RBF。节3,我们描述我们的算法。在部分4和5,我们提供的证明原理方法与应用实例。然后,在节6,我们详细讨论我们的结果。
2。传统的RBF的概述
RBF网络的一般形式包括三层:输入层、隐藏层非线性激活函数操作的地方,和一个线性输出层,如图1。一般来说,输入的是一个真正的向量,。网络的输出将输入向量映射到一个标量,:,这是通过使用以下方程: 在哪里和隐层和输出层神经元的数量,分别是中心th神经元,输出层的重量吗th神经元,偏见的吗th输出神经元和相关的基函数吗隐藏的神经元。
RBF解决问题通过映射到一个高维空间以非线性的方式,然后应用线性决策边界。转换到高维空间的概念是合理的覆盖定理,根据分类通过线性分离更容易通过翻译功能从低维到高维(31日]。
输出添加偏见的意义是提高近似质量通过将决策边界。网络的权重管理决策边界在特征空间的位置。然而,在自适应权重更新,如果偏差没有使用,那么超平面被迫通过特征空间的起源定义的输入或特征向量。虽然是有效的一些问题,在很多人需要这种分离边界位于其他地方。
作为一般规则,所有输入连接到每个隐藏的神经元。激活函数是一个标准的域之间的欧几里得距离通常是被每个神经元的输入和中心。最常用的RBF内核如下(5]。Multiquadrics: 逆multiquadrics: 高斯: 在哪里是一个常数,分布参数。一个隐藏的神经元向数据点的敏感性与数据点的距离成比例变化的中心。例如,对于传统教育基于RBF网络,使用高斯的内核,这可以调整灵敏度调节;如果大,这意味着更少的敏感性,反之亦然。重量和偏见通常是梯度下降法自适应更新通过暗示以下方法(32]: 在哪里网络的学习速率和吗是理想的和实际产出之间的误差RBF的吗迭代。
3所示。提出RBF
直觉认为ED不是唯一衡量对比阵线。例如,在当阵线也同样在距离分离,然后将不再有效。为了解决这个问题,我们提出了一个广义RBF核函数的线性结合传统基于ED RBF内核和我们建议的余弦RBF内核可以制定如下: 在哪里,分别weightage参数cos和欧几里得内核,在这个范围内可以获得值:,。在(6),和分别是余弦和欧几里得内核神经元。这些定义如下: 在哪里代表了两个向量的点积。因此,(7)可以改写如下: 在哪里每个输入特征向量的长度吗。通过观察(7),我们可以注意到内核计算夹角的余弦和。因此,可能达到的值的范围。如果返回1,这意味着是与,而其0时返回值对应的场景是完全正交;的返回值−1表明和相反的方向保持一致。
3.1。一些特殊的场景提出RBF核有关
为了得到更多的了解我们的优势提出RBF内核,我们认为两个特征向量和隔着距离和和角度和分别从中心向量(见图2)。我们探索一些特殊场景的上述情况在接下来的部分。
(一)
(b)
(c)
3.1.1。场景1
考虑
在本例中,我们清楚地看到(见图2(一个)),基于欧氏距离的RBF内核将无法区分和。使用激活等角度的余弦值,我们提出一个新的内核RBF可以工作的描述场景。因此,我们从摆脱ED组件(6)通过设置和因此获得一个余弦内核定义为(7)和(9)。类似的场景在我们的模式分类应用程序数据集节中讨论5.2。支持我们的观点,我们进行了统计分析使用轮廓宽度(33]。
3.1.2。场景2
考虑
我们清楚地看到(见图2 (b)),对于这个场景,欧几里得的内核是比我们更合适,所以我们组和在(6)和由此产生的内核中定义(6)。
3.1.3。场景3
考虑
形式(6),很明显,我们融合了两个分类器与某些weightage [34]。它同样明显的是,weightage参数(6)可以调整根据各种不同的提到的场景产生良好的分类效果。例如,我们看到,在场景1中,我们有和在场景2,他们假设场景1值是互补的。然而,在场景3(见图2 (c)),weightage内核可以假设任何值的参数范围但有一个条件:求和的和总是统一的。
我们有另一个场景也。在这种情况下,尽管传统单独和RBF将无法产生好结果,我们预计,正确选择weightage参数可以改善结果。
3.2。提出RBF内核的属性
考虑(我) (2) (3) 。
上面提到的属性可以合理的帮助下(6)- (8)。例如,在(6),如果我们交换的命令和,然后方程的结果保持不变;因此,提出内核遵循交换性质。
类似地,如果我们插头在(6的帮助下),然后(7)和(8)的右边(6)归结为weightage参数的总和和。我们前面已经讨论了求和weightage参数是1,第二个属性的证明我们的内核。
最后,从(7)和(8),我们看到,上界的内核都是1;部署这个概念(6),我们可以写,这是第三个属性。
4所示。直觉从一个实际的例子:自适应检测MPSK调制符号的象征
在数字通信系统中,MPSK调制是一种常见的和著名的实践。这些信号通过噪声信道传输时,符号是分散在其原始位置(见图3)。因此,系统性能严重下降。至关重要。因此,设计高效的接收机能够恢复原来的符号没有错误。为此,在文献中有许多著名的方法。然而,我们的基本原理,讨论这个问题在这里是指一个实际的例子,角度测量更有识别力的教育措施。得到更多的见解,观察散点图(MPSK调制信号符号)如图4。它可以清楚地看到从图4这些调制信号的振幅相等但有不同的阶段。因此,直觉上,可以说在这个场景中一个更合适的接收器将只能处理阶段。因此,我们提出了内核会更喜欢候选人在这种情况下。我们对这个问题提出了部分仿真研究5.1支持我们的直觉和提出RBF核发现比传统的基于RBF的内核。
(一)
(b)
5。比较研究的传统,提出了RBF
在目前的工作,我们的目标是指一个概念验证应用程序算法。我们进行了一项比较研究运用传统RBF和我们提出RBF以下领域,经常在RBF网络用于分类。
5.1。复苏的MPSK调制信号
MPSK调制信号的自适应恢复问题已经部分中描述4。在本节中,我们目前的模拟来验证该内核的性能。具体来说,我们目前的模拟自适应恢复QPSK信号(例如,在自适应高斯白噪声(AWGN)。在数据11和12QPSK信号传播的散点图所示和分别。这些信号,当通过AWGN信道传播,是分散的,如图10。为了恢复原来的传输信号,我们采用我们提出RBF的内核和比较其性能与传统的基于RBF。为了这个目的,我们使用四个神经元隐层和一个输出层和。
5.2。模式识别:分类的叶子
我们的数据集提取(35]。数据集包含三个特点:形状、边缘和纹理一百植物叶子和,对于每一个功能,一个64 -元素向量给出每叶样本。我们有这些特性连接成一个特征向量为每个样本。因此,一个特征向量的长度是192。为了执行一个二进制分类,我们选择了样品的物种宏碁campestre和榉属serrata由16个实例的每个类。
因此,要解决的问题如下。考虑到这些特点,分类的叶子上述物种最低可能的分类错误。我们做了一个比较研究收敛时间的数量的时代和准确性使用两种方法:传统的基于RBF和拟议的RBF的结果如图4,5和6和讨论了部分5.2。
(一)
(b)
(c)
(一)
(b)
我们使用自适应内核的传统,提出了RBF。我们尝试了不同的组合,,彻底调查后,我们得到了100%的准确率,,。
5.3。控制理论:非线性植物鉴别
植物与高复杂性和非线性动态系统。至关重要的一步非线性植物鉴别的发展是一个非线性模型(36]。因此,它是非常重要的发展尽可能精确模型对植物具有高度非线性行为。安将军和RBF具体在这方面经常使用(37- - - - - -39]。系统模型如图9。在我们的研究中,我们认为是一个高度非线性的植物,它的输出和输入可以映射关系如下: 在哪里是植物的输入,是我们工厂的扰动建模为零均值正常分布的随机变量,的多项式系数定义系统零和是一个常数。在我们的实验中,我们选择多项式系数,,,,。
在图9,是植物的脉冲响应和是工厂的最终输出。
,是估计的,分别为,误差估计。在这项研究中,我们已经生成的植物与方差为0.0025的干扰。
因为我们的规范方法依赖于事实的向量将大于零,在植物的输入我们可能零值在某些场合,因此我们需要修改(7)为了有意义如下: 在这个术语;少量添加到为了避免分母除以零的场景。
和之前一样,我们使用自适应内核的传统,提出了RBF。我们尝试了不同的组合,,但最终得到了100%的准确率,,。这个应用程序数据所示的结果10- - - - - -11讨论了部分5.2。
6。结果和讨论
6.1。在嘈杂的环境中MPSK调制信号的恢复
在这个应用程序中,我们比较总均方误差(MSE)的算法与传统的基于RBF。这两个算法的均方误差计算平均值的平方误差的总和,在数学上可以定义如下: 在哪里是时代的总数,真正的符号,是向量是预测的矢量符号,然后呢是期望操作符显示统计平均值。综合比较,我们研究了两种算法的性能的三个值信噪比(信噪比)10 dB, 20 dB, 30 dB。这些结果被发表在表1,这表明,该RBF内核性能优越的传统。
此外,散点图10 dB恢复信号的信噪比图所示13,这清楚地表明,噪声消除的影响提出有效的RBF内核。
6.2。树叶的分类
通过统计数据分析,我们评估声称,我们的数据,余弦RBF比欧几里得更强大。轮廓宽度,由Rousseeuw第一次描述了33),提供了一个简洁的图形表示的每个对象位于它的集群。换句话说,我们可以想象如何算法将每个数据点与它的中心。
与标准方法进行验证,我们使用k - means和轮廓函数从MATLAB统计工具箱。结果如图3。理想情况下,观测大价值和积极的轮廓(~ 1)很好地聚集,那些轮廓值在0隔集群,和那些有负的轮廓值是放置在“错误”的集群。值得注意的是,在图3(一个)我们欧几里得内核使用一些样例值集群底片指示错误分类。我们发现它是固定在图3 (b)我们使用余弦内核。
我们的观察是直接支持的测试精度的方法。我们开始我们的实验与100年时代的传统RBF内核和我们提出了许多运行内核和重复了这个实验。在每个后续运行,我们时代的数量增加了50。然而,我们与内核一旦它已经达到了100%的准确率达到150时代,如图8。在图7内核需要3500,我们注意到欧几里得时代获取分类精度100%,这远远高于一个拟议的内核。这个事实也反映在图6,我们显示的比较目标函数所使用的三种方法,从那里很明显只提出内核和余弦工作很好这个数据集的一部分,而传统的内核需要更多的时代最小化目标函数。
6.3。非线性植物鉴别
植物的识别错误的rbf图所示10这表明我们的方法收敛速度比基于RBF。此外,从图可以看出11拟议中的内核模仿植物行为很好除了产品化阶段产生峰值,结果由于状态转换输入的方波。此外,提出了RBF有更快的收敛速度比其同行;,需要较少的迭代习惯又比传统的RBF明显从图11。
7所示。结论
在这项工作中,我们引入了一个新的广义RBF核融合传统的内核和提出了余弦内核。提出RBF核承诺良好的性能在场景特点和中心向量的夹角是区分。这一事实也观察到在我们的应用程序中,我们所做的研究显示,通过统计分析轮廓宽度为什么提出RBF内核更适合这样的场景。验证提出RBF内核的性能,我们调查了三个不同性质的应用程序:自适应检测MPSK调制符号的象征,叶子,分类和非线性植物识别。我们的算法优于传统的RBF核函数的识别精度和运行时的时代。我们取得了100%的准确率的模式识别与更快的收敛,自适应符号检测的例子更有效地消除了噪音的影响提出RBF的内核和非线性植物鉴别我们观察到内核收敛速度和跟踪非线性植物产出函数比它的传统。我们的工作承诺在其他研究领域找到更多有趣的应用程序。
缩写
| 安: | 人工神经网络 |
| RBF: | 径向基函数 |
| 艾德: | 欧氏距离 |
| 支持向量机: | 支持向量机 |
| MPSK: | 多状态相移键控 |
| 均方误差: | 均方误差。 |
利益冲突
作者宣称没有利益冲突有关的出版。
承认
本文是由院长以来科研(域),阿卜杜拉国王大学,吉达。因此,作者承认,谢谢,DSR财政支持。