《小波神经网络及其应用.pdf》由会员分享,可在线阅读,更多相关《小波神经网络及其应用.pdf(6页珍藏版)》请在三一文库上搜索。
1、精心整理 精心整理 小波神经网络及其应用 陆宇颖 摘要: 小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络,它避免了 BP 神经网络结构设计的盲 目性和局部最优等非线性优化问题,大大简化了训练,具有较强的函数学习能力和推广能力及广阔的应用前景。 首先阐明了小波变换和多分辨分析理论,然后介绍小波神经网络数学模型和应用概况。 1.研究背景与意义 人工神经网络是基于生物神经系统研究而建立的模型,它具有大规模并行处理和分布式存储各类图像信息的 功能,有很强的容错性、联想和记忆能力,因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图 像处理以及计算机领域。但是,人工神经网络模型建立
2、的物理解释,网络激活函数采用的全局性函数,网络收敛 性的保证,网络节点数的经验性确定等问题尚有待进一步探讨和改善。 小波理论自 Morlet 提出以来, 由于小波函数具有良好的局部化性质,已经广泛渗透到各个领域。小波变换方 法是一种窗口大小固定但其形状可以改变, 时间窗和频率窗都可以改变的时频局部化分析方法, 由于在低频部分 具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 所以被誉 为数学显微镜。正是这种特性, 使小波变换具有对信号的自适应性。基于多分辨分析的小波变换由于具有时频局 部化特性而成为了信号处理的有效工具。实际应用时常采用快速算法,利用
3、正交小波基将信号分解 到不同尺度上。 实现过程如同重复使用一组高通和低通滤波器把信号分解到不同的频带上,高通滤波器产生信号 的高频细节分量,低通滤波器产生信号的低频近似分量。每分解一次信号的采样频率降低一倍,近似分量还可以 通过高通滤波和低通滤波进一步地分解,得到下一层次上的两个分解分量。 而小波神经网络 (WaveletNeuralNetwork,WNN )正是在近年来小波分析研究获得突破的基础上提出的一种人 工神经网络。 它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型,即 用非线性小波基取代了通常的非线性Sigmoid 函数, 其信号表述是通过将所选取的
4、小波基进行线性叠加来表现的。 小波神经网络这方面的早期工作大约开始于1992年, 主要研究者是ZhangQ 、HaroldHS和焦李成等。 其中 , 焦李 成在其代表作神经网络的应用与实现中从理论上对小波神经网络进行了较为详细的论述。近年来,人们在小 波神经网络的理论和应用方面都开展了不少研究工作。 小波神经网络具有以下特点。首先, 小波基元及整个网络结构的确定有可靠的理论根据,可避免 BP 神经网络 等结构设计上的盲目性;其次, 网络权系数线性分布和学习目标函数的凸性,使网络训练过程从根本上避免了局 部最优等非线性优化问题;第三,有较强的函数学习能力和推广能力。 2.数学模型与小波工具 2.
5、1 小波变换及多分辨分析 在函数空间 2 ()LR(或更广泛的 Hilbert 空间)中,选择一个母小波函数(又称为基本小波函数)( )x,使 其满足允许条件: 式中 ()w 为 ( )x 的 Fourier 变换。对 ( )x 作伸缩、平移变换得到小波基函数系 , ( ) a b x 对任意 2 ( )()fxLR , 其连续小波变换定义为: 反演公式为: 在实际应用中,特别是计算机实现中,往往要把上述的连续小波及其变换离散化,通常采用二进制离散,即 令 2 ,2 mm abk ,则 二进小波一定是一个允许小波,且是一个正交小波基。考虑一个连续的、平方可积的函数 2 ( )()f xLR 在
6、 分辨率2 m 下的逼近 ( ) m fx ,由多分辨分析理论可知: 精心整理 精心整理 ( )x 是尺度函数,对其作伸缩、平移变换得到 ( ) mk x 。 Mallat 同时证明了函数 ( )f x 在2 m 和 1 2 m 分辨率下的信息差别(即细节) ( ) m Df x ,可以通过将函数 ( )f x 在一小波正交基上分解而获得,从而定义了一种完全而且正交的多分辨率描述,即小波描述。 ( ) mk x 就是式( 5)定义的二进小波,则 ( )f x 在 1 2 m 分辨率下的逼近式为: Mallat 并指出,对于任意一个函数 2 ( )()f xL R 可以在一组正交小波基上展开:
7、式( 11)是一个平方可积函数的小波分解,提供了小波神经网络设计的理论框架。 上述理论可推广到多维情况。我们以二维为例,若定义二维尺度函数 12 (,)xx ,则 则有 : 同理有 : 2.2 小波神经网络模型 小波神经网络模型的典型结构如图1所示,包括输入层、 输出层和隐层。 隐层包含两种节点:小波基节点 ( 节点)和尺度函数节点(节点)。 2.2.1分层多分辨学习 网络输出 ( )f x 在2 L 分辨率(最低的分辨率)上的逼近: ( )f x 在 1 2 L 分辨率上的逼近: 式( 18)中的第一项 1 ( ) L n LkLk k ax 表示 ( )f x 在2 L 分辨率上的逼近,在
8、式(17)中已计算,即系数 Lk a 与式 (17)中相同。式(18)中的第二项 1 ( ) L n LkLk k dx 表示增加的细节。 再考虑 ( )f x 在 2 2 L , 3 2 L , 分辨率上的逼近,有 : 上述方程式是小波神经网络的学习算法,这种算法是Moody 在1989年提出的。 2.2.2网络系数计算 对于式( 19)可以改写成下述形式: i c是网络权重系数, i 是激活函数(尺度函数或小波函数)。设小波神经网络有n个节点, m个训练数据。 则有: 即(21)fAc 式( 20)的最小二乘解为: A被称为A的伪逆矩阵。且 如果样本 i x均匀分布,(1,2,.,) i
9、in是正交基, 则 T A A是一个nn单位矩阵,且 精心整理 精心整理 2.2.3小波神经网络学习过程 选择合适的小波函数和尺度函数后,在最粗的尺度 L上训练节点,直到网络达到收敛。 要使网络达到收敛, 需确定逼近误差(在很多文献中提出了误差的计算方法)和增加合适的节点以减少逼近误差。最后是优化网 络,使用新的样本来检验网络并移去权重小的节点直到满足性能准则。 2.2.4计算复杂性 小波神经网络训练的计算复杂性介于O(N)和O(N2)之间, N为学习样本数。如果学习样本是均匀分布的,则 计算复杂性为O(N);如果学习样本是非均匀分布的,则计算复杂性为O(N2)。 3.数学应用案例 小波神经网
10、络是基于小波分析而构成的神经网络。它充分利用小波变换的良好局部化性质并结合神经网络的自学 习功能,因而具有较强的逼近、容错能力,其实现过程也比较简单。小波神经网络在近十年来应用较广泛,主要 应用于以下几个领域。 3.1 非线性函数逼近 非线性函数逼近具有非常重要的意义,很多实际问题通过建模都可归结于非线性函数逼近问题。而小波神经网络 是通过对小波分解进行平移和伸缩变换之后得到的级数,具有小波分解的函数逼近性质。由于它引入了伸缩和平 移因子,又比一般的小波分解有更多的自由度,而且还具有小波变换在高频域的时间精度和低频域的频率精度, 故能够更加细致地描述复杂函数的特性。 Zhang和Benveni
11、ste首先将小波理论应用于神经网络而提出了非正交小波神经网络 9,并首次将这种新理论应用于 函数逼近,取得了很好的结果。他们分别对一维、二维非线性函数进行拟合逼近的研究,采用高斯函数推导式 222 12 ()/2/2 12 ( )( ) xxx xxeandxx x e作为小波基函数, 对小波神经网络的逼近模拟结果与BP神经网 络和小波分解方法进行对比,结果显示小波神经网络对非线性函数的拟合逼近明显要优于BP神经网络和小波分 解方法(见图2,实线是实际曲线,虚线是逼近曲线),并吸收了两者的许多优点,摒弃了两者的一些缺点。 李银国等则在前人的基础上提出了小波神经网络结构设计的时(空)域“分解综合
12、”方法18,并通过仿真 实验(非线性函数逼近)表明:此种方法较好地解决了小波神经网络中普遍存在的“维数灾”问题,且函数逼近 能力强,精度便于掌握,训练过程方便,不存在局部最优问题。 3.2信号表示和分类 小波神经网络用于信号表示已有很多范例,但用于信号分类的很少。HaroldHS 等构造了自适应小波神经网络并将 其应用于语音识别。他们首先提出了两种不同的自适应小波神经网络结构(均采用高斯函数 2/2 ( )cos(1.75 ) x xx e作为小波基函数) 和能量函数分别用于信号表示与分类,并引入了超小波 (super-wavelet) 这一新术语(对于具体的问题,超小波不仅自适应计算定型小波
13、函数的参数,而且自适应计算小波形状)。他们 将这些理论先应用于一维信号的表示与分类,随后又讨论了其可能在语音识别中的应用,并展望这些理论可能会 广泛应用于信号识别与分类和图像识别与分类。 3.3材料损伤诊断 吴耀华等介绍了多变量输入、输出系统的B样条小波神经网络和用于分类的自适应B样条小波神经网络,应用于 智能复合材料应变损伤位置的诊断。他们在实际操作中采用了一些技术处理以减少小波神经网络结构的复杂性, 从而加快了训练的速度和提高了识别能力。并且在同样条件下将这两种小波网络与BP网络相对比, 结果表明 B样 条小波神经网络的建模精度和收敛速度明显高于BP神经网络(图 3)。 3.4错误诊断与分
14、析 ZhaoJinsong等提出了一种新颖的小波神经网络小波-Sigmoid 基函数神经网络 (wavelet-sigmoidbasicfunctionneuralnetwork,WSBFN),并将其应用于动态错误诊断中。他们为了解决小波神经 网络的“瓶颈”效应,提出了一种多维非乘积小波函数 2/2 ( )cos(1.75 ) x xx e ,并将其和相应的尺度函数一起作为WSBFN 隐层的激励函数,同时将sigmoid 基函数作为 WSBFN 输出层的激励 函数。 文献中将 WSBFN 应用于氢化裂解过程的错误诊断中,并同前人提出的较好的错误诊断方法之SBFN网 络进行对比。 结果显示, W
15、SBFN 可以用更简单的网络结构而得到更好的诊断效果(WSBFN 训练错误远低于SBFN, 精心整理 精心整理 而且错误诊断准确率达到100%,也优于 SBFN)。 Bakshi和Stephanopoulos在多分辨率基础上提出了正交小波神经网络,并将其应用于静态错误 3.5动态建模 现实中, 许多问题可以通过动态建模来解决。虽然采用人工神经网络进行非线性系统建模的研究很多,但是采用 小波神经网络进行动态建模的则比较少。钱峻等应用小波神经网络实现非线性系统模型的在线建立及自校正算法, 并将其应用于微生物生长过程的预测建模。他们在继承前人对小波神经网络的诊断与分析问题中,也取得了非常 好的诊断效
16、果。 经网络的结构设计方法的基础上,引入了限定记忆最小二乘法以替代普通的最小二乘法来实现小 波 神经网络在线建模和校正算法。他们将其方法应用于微生物生长过程的预测建模,结果显示该小波神经网络具有 很好的预测功能和推广性能(见图4,实线是系统输出,虚线是小波神经网络输出)。其训练方法亦比用普通的 最小二乘法快得多。 采用小波神经网络实现动态建模来解决自动控制中的一些实际问题也已有研究。Oussar等首次将小波神经网络应 用于动态系统建模。他们采用高斯函数作为小波函数,提出了一种训练算法和用其构建了反馈小波神经网络,并 将其应用于动态非线性输入输出系统建模中(机器人手臂的液压激励器的建模)。将其建
17、模效果与其他的输入输 出模型(铰链超平面模型和S形人工神经网络模型)进行比较,结果表明,在输入输出系统建模中采用小波神经 网络可以取得与采用S形神经网络同样良好的建模效果。Safavi等采用小波神经网络来简化分裂蒸馏塔模型。他 们采用一种混合模型替代传统的机械模型,混合模型是在传统的机械模型中加上了小波神经网络模块,用来控制 蒸馏塔的输入输出模块。同时,他们将其与传统模型进行比较,结果显示,该模型大大简化了分裂蒸馏塔模型且 保持了原有机械模型的精确性和内部数据变量的有效性。 3.6非平稳时间序列预测与分析 由于小波神经网络是用非线性小波基的线性叠加表示信号,故具有很好的特征提取和抑噪能 力,特
18、别适用于非平稳时间序列预测与分析。Bakshi和Stephanopoulos则首次在多分辨率基础上提出正交小波神 经网络用于非平稳时间序列预测与分析;杨宜康等则将小波神经网络应用于测量中的异常数据诊断和消除。他们 首先借助时 -频谱图识别时间序列中异常数据的位置和性质,然后利用小波神经网络作为拟合工具,同时引入加 权误差能量函数,通过适当选择网络结构和参数优化,实现了对受污染的时间序列的抗扰最佳逼近。 实例表明, 采用加权误差能量函数的小波神经网络除了具有逼近性能好、抑噪特性强和收敛速度快的优点外,还 能有效地消除异常数据对拟合结果的影响,具有较强的鲁棒性。 4.小波神经网络设计实例: 采用
19、sinc 函数来验证小波神经网络的拟合能力。Sinc 函数定义为: 自变量 x的范围取为 -5,5,采样间隔为 0.1 ,共101个样本点, 其中前 70个样本点作为训练样本,后31个样本 点作为检验样本。a=1,b=1, 因变量sin (1)1yc x。 本例中采用紧致型小波神经网络,将神经网络隐含层中神经元的传统激发函数用小波函数来代替,采用通常 用于信号分类的小波基函数Morlet 小波函数( r 通常取值为 1.75 )作为网络隐含层的激励函数。 式中, t 为函数的输入。当函数的输入为零时,其输出为1,达到最大值:当输入的绝对值较大时,输出很快 衰减为 0。 MATLAB 神经网络工
20、具箱中的传递函数没有Morlet 小波函数, 所以将创建自定义的传输函数。神经网络工具箱 中包含了一个自定义传递函数template_transfer,输入 helptemplate_transfer就可以得到有关此函数的帮助信 息。 将 template_transfer函数作为一个模板,来生成自定义的传递函数。 首先,在 MATLAB 安装目录下找到template_transfer.m文件。将原传递函数改为Morlet 小波函数表达式: 再将函数的导数改为: 将输入输出范围改为: 在主程序中将传递函数设为“template_transfer(本例中未改模板文件名称) 。程序如下: clc
21、 clear 精心整理 精心整理 closeall % 产生训练样本与测试样本 n1=-5:0.1:4.95; x1=sinc(n1+1)+1; n2=-4.95:0.1:5; x2=sinc(n1+1)+1; xn_train=n1;%训练样本,每一列为一个样本 dn_train=x1; xn_test=n2; dn_test=x2; % 设置神经网络参数 NodeNum=20; TypeNum=1; p1=xn_train;%训练输入 t1=dn_train;%训练输出 Epochs=1000;%训练次数 P=xn_test;% 测试输入 T=dn_test;% 测试输出(真实值) % 设
22、置网络参数 TF1= template_transfer ;TF2= purelin ;%设置传递参数, template_transfer 为自定义 Morlet 小波函数 net=newff(minmax(p1),NodeNumTypeNum,TF1TF2, trainlm ); % 指定训练参数 net.trainParam.epochs=Epochs;%最大训练次数 % 训练与测试 net=train(net,p1,t1);%训练 X=sim(net,P);%测试,输出为预测值 % 结果作图 plot(1:length(n2),x2, r+: ,1:length(n2),X, bo:
23、) title( +为真实值, o为预测值 ) 5.结论与展望 小波神经网络最初主要用于函数逼近,语音识别。随着小波网络的理论不断发展,应用领域也不断拓宽,如 非线性系统辨识,模式识别,信号分类;心电信号的识别与分类;数据与图像压缩。近年来,小波网络在我国也 引起了广大学者的关注。总体而言, 小波网络的理论和应用研究还处于初始阶段,至今还存在许多有待解决的问 题,这无疑是我们今后的研究方向。 ( 1)小波网络的新模型及其学习算法。例如可考虑基于小波包的小波网络、 PPR(ProjectionPursuitRegression)小波网络、小波与联想记忆神经网络的结合、多分辨分析与神经 网络的结合
24、。 关于小波网络的结构,近年来有人提出多层结构小波网络、局域连接型的小波网络。 目前神经网络的研究正由单纯的神经计算转向计算智能,并结合脑科学的研究向生物智能方向发 展,小波网络的研究也应该考虑吸收模糊、分形、混沌、进化计算等交叉学科的研究成果,如小 波网络与模糊逻辑的结合,如小波模糊神经网络、小波包模糊聚类网络;又如考虑小波网络与分 形理论的结合,构造分形小波网络;小波网络算法与遗传算法和进化计算的结合研究等。 ( 2)小波网络的收敛性、鲁棒性、计算复杂度等研究。 ( 3)离散正交小波网络构造的复杂性问题以及多维输入出现的“维数灾”问题。 ( 4)如何把输入信号特征与尺度、平移、旋转等不变性
25、量结合起来输入小波网络训练,以压缩信号特 征信息,加速训练过程。 ( 5)小波基函数的选择。实际应用不同情况应选取何种小波?小波基应选取相同类型还是不同类型? 精心整理 精心整理 选取的数目和标准是什么?如何用理论指导网络中小波的初始化参数? ( 6)WNN 硬件实现。 神经网络的光学实现是当前的研究热点之一。值得一提的是Szu和 Telfer 等人在 这方面做了不少工作,构造了一种神经网络“光学耳蜗”(opticalcochlea )模型,另外有学者提 出了一种基于并行神经计算机结构的模型,VLSI超大规模集成电路的实现无疑将进一步促进WNN 的推广和应用。 可以看到, 小波神经网络由于把神经网络的自学习特性和小波的局域特性结合起来,具有自适应分辨性和良 好的容错性,因此特别适合应用在函数逼近、系统辨识、数据压缩、模式识别等领域。小波神经网络的理论 和应用研究近年来发展很快,具有良好的应用前景。
链接地址:https://www.31doc.com/p-5363132.html