文摘
李雅普诺夫理论基础径向基函数神经网络(时滞)大小摘要发达交通标志识别执行多输入多输出(MIMO)分类。多维输入插入RBF节点,这些节点与多个权重。迭代重量适应方案因此设计关于李雅普诺夫稳定性理论得到一组最优权重。在李雅普诺夫函数设计,必须选择构建一个能量空间用一个全球最低。体重增加后形成遵守李雅普诺夫稳定性理论。详细的分析和讨论,提出了分类器的属性都包含在本文。之间的性能比较,提出了分类器和一些现有的常规技术评估使用交通标志的模式。仿真结果表明,我们建议的系统训练的迭代次数较低的实现更好的性能。
1。介绍
交通标志识别是重要的自主车辆技术为了识别标志功能通过视觉信息通过传感器捕获。神经网络的使用已成为越来越受欢迎的在交通标志识别最近各种交通标志分类到特定类别(1- - - - - -3]。应用神经网络在交通标志识别的原因是,他们可以把统计和结构信息来实现更好的性能比简单的最小距离分类器(4]。自适应学习能力和处理复杂问题的并行性导致了神经网络的快速发展。在所有的神经网络,径向基函数神经网络(时滞)大小已应用于许多工程应用程序具有以下重要特性:(i)普遍接近者(5];(2)简单的拓扑结构(6),允许简单的计算使用的线性加权组合单隐层神经元。时滞大大大小相关的学习特征关联hidden-output节点之间的权重。因此,最优的算法需要更新权重相对于任意输入训练。
一般来说,培训过程时滞主要依赖于大小优化理论。这个网络的成本函数,例如,错误或均方误差的平方和之间网络的输出和输入首先定义目标。这是紧随其后的是重量最小化代价函数参数空间寻找一组最优权重。这些最优权重,在网络训练过程中获得可用于执行一些独特的任务,比如模式分类。
为了获得最优权重,大量的训练算法开发了时滞。大小由于线性加权组合器、网络的权重可以决定使用最小均方(LMS)和递归最小二乘法(RLS)算法。然而,这些算法受到几个缺点和局限性。LMS是高度依赖于自相关函数与输入信号和收敛速度慢。RLS,另一方面,提供了更快的收敛但他们依赖于隐式或显式计算使用输入信号的自相关矩阵的逆。矩阵求逆意味着不仅高计算成本,它也会导致网络不稳定的问题7]。其他梯度搜索算法训练也遭受所谓的局部最小值的问题,也就是说,优化搜索可能的陷阱在当地最低成本函数的权重空间如果一组初始值是任意选择的。例如,成本函数有一个固定结构重量后空间选择成本函数的表达式。参数更新法律只是一种手段寻找全球最小重量和独立的成本函数空间。
为了克服上述问题,优化技术利用李雅普诺夫稳定性理论提出了在8)自适应滤波。这一理论进一步采用时滞(大小的设计9)首次提出在实现有限脉冲响应(杉木)和infinite-impulse响应(IIR)自适应滤波器对信号噪声过滤。李雅普诺夫理论基础的时滞已经越来越受欢迎的大小自适应滤波器由于其稳定性保证通过李雅普诺夫稳定性理论和能量空间建设全球最低(9]。然而,只有单一的输出是李雅普诺夫设计基于理论的时滞和大小,因此,它是不适合分类问题。同时,李雅普诺夫稳定性理论也适用于多层神经网络(MLNN) [10为解决多输入多输出(mimo)的问题。用泰勒级数展开,所有MLNN输入-输出层之间的权值重新排列成一个线性配置一个假设,即输入输出层的权值调整取决于其纠正输出误差。因此,它会导致较长的训练时间与一对多的体重联系和它倾向于拥有更多的权重的不确定性。然而,李雅普诺夫理论基础神经分类器提供了以下优点(9,10]:(i)误差收敛快,(2)稳定的保证,(iii)对初始条件的不敏感,重量(iv)建设和空间全球最低如果选择一个合适的李雅普诺夫函数。
摘要李雅普诺夫稳定理论的概念在时滞可以扩展和修改大小来解决天线问题如交通标志识别为了获得快速和可靠的分类系统。揭示系统的性能,应用程序对交通标志分类用于进一步的讨论和分析。的性能提出了时滞会比大小(10),这两种方法的差异将在后面的小节中。实验结果表明,该方法误差导致更快的收敛速度和更高的识别率比传统的技术。本文组织如下:部分2讨论了RBF神经分类器的基本理论部分3解释的理论设计李雅普诺夫理论基础训练算法。部分4描述的概述在马来西亚的交通标志检测与识别交通标志数据库。一些仿真结果与交通标志识别的应用部分所示5最后是结论和未来的工作。
2。径向基函数神经网络
一个典型的三层时滞(大小11)如图1模式识别。这样一个网络实现了输入输出映射:,在那里描述了输入的数量描述了输出的数量。有隐藏节点输入-输出层之间的连接。假设输入向量的第一层,将,输入数据排列成列向量。RBF中心被指示为。每个RBF单位被定义为: 在哪里显示输入空间上的欧几里得范数的高斯宽度吗jRBF单位。向量作为RBF神经元后生成的X下图: 在哪里径向基函数。考虑到隐藏节点是线性映射到输出的权重矩阵形成如下: RBF网络建立了一个线性函数映射在输出层。乘以(2)和(3隐藏),加权值求和输出矩阵,Y如下: 在哪里 和是对角矩阵的条目向量的元素。
两个重要的参数是与每个RBF关联单位。他们是RBF中心()和高斯宽度()。每个中心都应该代表相应的子类因为时滞主要测量大小的分类根据输入样本之间的距离和每个子类的中心。有不同的策略选择RBF中心(11]。这些策略可以分为监督(12,13)和无监督算法(14- - - - - -16]。一旦选定,中心网络开始学习与重量训练数据更新计划。中心和半径的选择并不是主要的问题。因此,意味着集群应用于寻找RBF中心最近的邻居是用来测量最近的半径连续中心网络评估。
学习算法中扮演一个重要的角色在更新隐层和输出层之间的权重的时滞。大小传统的RBF与LMS算法(17,18)是使用梯度下降训练方法发现的负梯度误差曲线。它存在收敛速度慢和总是陷入局部最小值而不是全局最小值。另一方面,传统的RBF使用RLS方法(19)计算自相关矩阵的逆相关的输入数据来更新系统的重量。然而,RLS算法的反演提供了系统收敛的不稳定,增加计算成本。
3所示。李雅普诺夫理论基础RBFNN
李雅普诺夫理论基础RBF滤波器的概念最初起源于(9)自适应滤波。李雅普诺夫函数的目标输出与实际输出之间的误差是第一个定义。然后调整网络权值基于李雅普诺夫稳定性理论,以便误差渐近收敛于零。选择李雅普诺夫函数有一个独特的全球最低的状态空间。通过适当选择权重更新法律李雅普诺夫意义上,RBF输出将渐近聚集到目标输出。在本节中,在[设计9)采用和修改应用李雅普诺夫理论基础RBF神经分类器分类了解决问题。
输入向量送入RBF节点,因此传递到输出层通过加权求和公式中描述(1)- (4)。对于给定的期望响应在离散时间最初,李雅普诺夫函数选为: 和是后验误差对角矩阵定义如下:
给定隐层的输入和所需的输出权重矩阵更新如下: 自适应增益是米姆这样修改: 而是单位矩阵,的列向量,时间间隔是有效的吗,是先验估计误差定义为: 然后这个错误随着时间渐近收敛于零无穷。
李雅普诺夫函数的选择是很重要的在构建新系统的成本函数。关于李雅普诺夫稳定性理论,应该选择李雅普诺夫的感觉:。为输出节点时滞网络的大小,选择(6)平方误差的总和。与预定义的参数表达式(7)- (10),这是证明在附录一个那有负面价值和李雅普诺夫稳定性理论是实现。只有当参数更新法律选择李雅普诺夫意义上,时滞系统大小的李雅普诺夫函数,它有一个独特的全球最低。
如前所述,训练误差渐近收敛于零随着时间增加到正无穷。为输出节点时滞,大小分类错误,证明是渐近接近为零当训练时间增加而获得了(9)。附录中给出了误差收敛性的证明B。一个收敛值的误差是有界的。有人指出误差收敛速度依赖于正的常数。对误差收敛的速度越快,应该保持一个小值的范围。
为了防止奇点,表达式(9)可以修改为: 在哪里是一个小的正整数。
4所示。马来西亚的交通标志检测与识别交通标志数据库
交通标志是当前的重要提醒司机道路情况。作为显示在图2100类的交通标志通常可以在马来西亚的路边找到。标志性的交通标志是来自马来西亚的公路代码测试手册。它们被设计在标准的几何形状如三角形、圆,八角,矩形,正方形,或钻石。主要用于交通标志的颜色是黄色,蓝色,红色,橙色,黑色,白色,大大区别于自然场景。的信息警告、禁止、指导、建设和维护所代表的具体颜色和形状如表所示1。他们可能包含一个象形图,一串字符或两者兼而有之。
交通标志检测基于颜色和形状信息从道路场景。然后,提取可能的迹象进一步验证。交通标志可以验证通过使用它的对称性质。随后,检测信号区域安排成一个列向量,这个向量插入到神经网络分类。一些评估交通标志识别使用马来西亚的数据库与拟议中的时滞和其他大小神经分类器将在下一节中讨论。
5。实验结果和讨论
李雅普诺夫理论基础时滞是本文开发的大小有多个输出分类和,因此,交通标志识别应用在几个实验是一个分布式天线的问题。为了观察和评估的性能提出了时滞,大小基本结构的时滞成立大小,输出层被分配到100年分类任务。100任务是识别任何迹象从马来西亚的随机选择数据库作为显示在前一节中。每个交通标志主题包含五个分别训练图像和两个测试图像。所有图片的尺寸。
三种类型的RBF分类器,实验中使用了不同的学习计划,也就是说,(i)传统RBF1 LMS学习方法,(2)传统RBF2 RLS技术,和(3)李雅普诺夫理论基础RBF分类器。网络性能比较的重量和为这些RBF系统误差收敛。此外,识别率是绘制随迭代次数的训练和测试数据集。李雅普诺夫理论基础算法获得一个参数,,而LMS算法获得了学习速率(),而从0.1到1.0范围是不同的。与此同时,遗忘因子()的RLS算法设置为0.1。在实验中,输入神经元的数量被设置图像大小和输出神经元的数量等于类的数量。RBF隐层的节点获得相同的大小作为输入层。两个初始条件设置为初始权重(i)是将一些随机值小,(ii)最初的错误后,被设置为,在那里。在实验中,一个时代代表一个有效的时间用于培训的整个输入数据集。因此,每个时代对整个训练数据集的权重更新一次,直到重量收敛的发生,这指的是一批学习方案。
体重融合神经网络学习特性至关重要。所有RBF分类器融合在平衡的重量与一组随机的初始权重。图3显示重量收敛情节,设在表示数量的时代设在表示平均体重值连接RBF网络的隐层到输出层。在250时代,提出了RBF分类器开始收敛−0.1。随着时间的延伸到无穷,只有小体重增量随着时代不断补充道。然而,传统的RBF分类器达到−0.1平衡点在1000时代,花了更长时间比李雅普诺夫理论基础RBF分类器。因此,提出了RBF分类器的重量是聚合速度比其他传统的RBF分类器。
作为显示在图4,误差曲线绘制,这是指数降低到最低限度。在2000年时期,提出了RBF分类器的均方误差达到0.4。对于其他传统RBFNNs,他们长时间达到降低错误率,如图4。因此,提出RBF训练计划的误差收敛速度是聚合速度比其他网络。然而,误差值尚未聚集到零由于一些原因,这个问题,是由于输入数据的冗余信息。此外,主题模式的相似性会混淆了神经网络的分类,你可以观察图2。输入数据的复杂性会降低分类识别率。因此,所有神经分类器的误差仍保持在0.4左右,但该神经分类器获得低误差曲线相比其他网络。减少分类错误,一些前处理技术可以应用到输入数据通过神经网络的训练过程。此外,交通标志第一次可以分为颜色和形状才得到公认使用神经网络(4]。本文的主要关心的是专注于房地产RBF培训计划而不是交通标志识别,它是一个应用实例提出网络讨论。
调查RBF分类器的性能,训练和测试数据输入系统和计算平均识别率。没有任何特征提取方法,原始图像与RBF分类器进行测试。系统性能与传统RBFNNs使用不同重量更新计划。作为显示在图5,李雅普诺夫理论基础时滞获得更快的训练速度大小在500时代。与此同时,它达到更高的识别率比其他网络培训。类似于图6,提出了RBF网络获得高识别率在800时代而其他训练算法实现最高识别率1500时代。这意味着李雅普诺夫理论基础时滞可能获得高识别率大小更小时代的数字。通过比较网络识别率,传统RBF1达到63.50%,而传统RBF2达到64%的识别率。然而,测试该分类器的识别率略增加率为64.50%。据报道在[12),高维输入数据会导致低识别率的神经网络因为高维输入数据和网络复杂性需要大量训练样本。因此,特征提取技术等主成分分析(PCA)可以用来减少图像维d为了进一步提高识别率。
除此之外,MLNN也用于分类多维模式基于李雅普诺夫稳定性理论,因为它是在10]。为了测试性能之间的李雅普诺夫理论基础时滞和MLNN大小隐藏节点的数目是固定为100和时代的数量为两个网络设置为3000。常数参数将0.1基于Lyapunov-theory MLNN和时滞与类似的培训和测试图像数据集大小受雇于时滞试验大小。一个被记录的平均识别率的比较。
报道在表2,李雅普诺夫理论基础时滞取得更好的分类性能比大小10]。虽然这两种方法都采用李雅普诺夫稳定性理论的基本设计训练算法,有一些他们之间的主要区别。首先,两个网络的结构是多杰出从输入到输出层。MLNN含有更多权重之间的联系隐藏的隐藏层和输出层的输入。因此,权重的MLNN被要求使用泰勒级数线性化扩张之前执行培训过程。这个MLNN配置,导致更多的不确定因素相比,重量和误差收敛的线性拓扑时滞。大小其次,构建了MLNN训练误差的能量函数为每个输出节点包含输出节点的数量。不像(10),能量函数基于李雅普诺夫理论时滞是专为所有大小输出一个矩阵形式的神经元,它提供了一个有效的推导在附录。最后,李雅普诺夫理论基础的性能时滞取得更好的培训和测试识别率比大小10在模式识别)。
6。结论
本文介绍了李雅普诺夫理论基础权重更新算法时滞。大小重量适应方案设计基于李雅普诺夫稳定性理论和迭代更新了时滞重量大小。交通标志识别的李雅普诺夫理论基础时滞扩展大小作为再分配的问题。仿真结果表明,我们建议的系统实现更快的训练速度,以及更高的识别率。识别率可以进一步提高了应用的输入维数降低去除冗余的信息。优化利用李雅普诺夫稳定性理论的研究仍处于初期阶段,许多调查李雅普诺夫理论基础神经分类器将提高网络效率和鲁棒性。未来的调查不同的李雅普诺夫函数和不同的权重更新法律需要进一步提高性能。
附录
李雅普诺夫稳定性理论证明
离散形式的给出: 在哪里。
b .误差收敛性的证明
自是一个对称矩阵,, 由于,和可以取消从方程: 在哪里是一个对角矩阵与小整数和。