《人工神经网络1第1,2章.ppt》由会员分享,可在线阅读,更多相关《人工神经网络1第1,2章.ppt(56页珍藏版)》请在三一文库上搜索。
1、1,人工神经元模型,1、M-P模型 1943年ANN起始年代,Warren Mcculloch 和Walter Pitts提出的第一个模型,简称M-P模型。 M-P模型的数学表达式:,i,X1 X2 Xj,Xn,i1 i2 ij iN,yi,旬圃全台陨踌秽咋面览魄亢僚程乖佣两似译轮说抓可轿陌寝容嗜位车备涯人工神经网络1第1,2章人工神经网络1第1,2章,2,须巨非应死桥靴册宴感铣绘毁莽古势呕载苇诗腺恕否载挪诅筛曹能举燥屑人工神经网络1第1,2章人工神经网络1第1,2章,3,第i个神经元接收到的第j个神经元送入的信号(二值量) 突触强度(第j个神经元与第i个神经元连接的权值)固定值 第i个神经元
2、的阈值 净输入: 如果考虑输入至输出的延时作用(动态),表达式可修正为:,篷峻仔枫猴衫览英辟炸址褥苫韶烁攀扣难猜凝罪块捉浊卡渡肩澜拐解再埃人工神经网络1第1,2章人工神经网络1第1,2章,4,以上M-P模型只允许在二进制状态离散时间下操作,并且假设权值和阈值固定不变。因此,它是最古老的神经元模型。 2、通用的神经元模型 1 一个静态的神经元模型,f(.),y,神经元处理节点,I,怀针忻肘锄敞荫锌怀汾倡弟复恍办衬勇秒境龋赐矫士聊停楞琅直簿勤呈思人工神经网络1第1,2章人工神经网络1第1,2章,5,3、常用的功能函数,(1)线性函数 (3) s函数(又称sigmoid函数) (2)硬限幅函数(包括
3、符号函数),f(u),u,u,1,0,fh(u),+1,-1,0,u,1,0、5,u,0,0,fs(u),忆感竣炸前泌舞罪析吸棵治澜苔叁锗违螟带版忱捶永澜解驯虽孕弯川霍仑人工神经网络1第1,2章人工神经网络1第1,2章,6,注: 是单调上升函数,而且必须是有界函数。因为细胞传递的信号不可能是无限增加,必有最大值。 1、5 人工神经网络的基本结构、工作方式、学习(训练)及它的基本功能 一、网络的基本结构 1、单层前向网络,Q0,Qi,Qm1,。 。 。 。, ,00,01,0j,0,N-1,ij,m-1,0,m-1,N-1,鬼唁亥晤樱驭规铅忧枉佃爪谍非养敛乙癌尼被闸晦叙骸单敷对撂嘘苹衣作人工神经
4、网络1第1,2章人工神经网络1第1,2章,7,a、对第i个神经元而言 b、对整个网络而言,倾蜂托拼克脂昧菇捅弘驼本吃哄寸镭熬勃试卉谬拟强姿藕漆炒福梭杀癸耻人工神经网络1第1,2章人工神经网络1第1,2章,8,2、多层前向网络(由单层级联而成),。 。 。,输出层,隐含层 (一般12层),输入层,输入节点层 (零层),迸窗涵刹榆奸怖丸齐佛锋捻偿陵元垒芋什疙钙饶鲜运至刁仁煞两蛹扯恬浑人工神经网络1第1,2章人工神经网络1第1,2章,9,注1:构成多层网络时,各层间的功能函数 应是非 线性的,否则再多层的功能只能相当于一层。 设:两层网络,功能函数 是线性的。 将阈值放入X中,,罐硬试喷请疙咋攒畅桑
5、名宗撩鉴忘髓础父顷守津疡败绢渴钝父缓识谓官佰人工神经网络1第1,2章人工神经网络1第1,2章,10,3、反馈网络,输入,输出,i,j,ij ji,刺贴艳布捆僳串伸拔呕效起铁锹泵芥讯握匀揍框腐凄狄曲荤叉悉择辊层亥人工神经网络1第1,2章人工神经网络1第1,2章,11,注2:前向网络主要是函数映射。可用于模式识别和函数逼近和分类。 反馈网络按对能量函数的极小点的利用来分类。 有两种:(1)主要用作各种联想存储器 (2)主要用于求解最优化问题,二、工作方式及学习(训练) 1、工作方式 主要分两个阶段: 第一个阶段是学习期,此时各计算单元状态不变,各连线上的权值可通过学习来修改。(记忆) 第二个阶段
6、是工作期,此时各连接权固定,计算单元状态变化,以达到某种稳定状态。(分类、识别、逼近、聚类、等) 2、学习(训练) (1)学习方式: (a)有监督的学习(有导师的学习):在学习开始前,要提供由已知输入向量和应该输出变量所构成的“样本对”集(导师)。该类学习多用为函数逼近、分类和模式识别等。 (b )无监督的学习:学习开始前,只提供由已知输入向量所构成的“样本”集(训练集)。该类学习多用为聚类。,贴硝卡迂捻愈移唬笑唯迟霜龄师法梳券淋痈笛斥垢佯缎浅尝詹肢亨逻另郎人工神经网络1第1,2章人工神经网络1第1,2章,12,样本对集,W,输出,调整,导师,实际响应,误 差 信 号E,应有的响应,训练集,W
7、(自动调节),输出,图1 有监督学习的ANN,图2 无监督学习的ANN,洞俱洲翟崭澳救鹤女谬宗腿房敬贤彻混耻锰砒苍斥坟物荔椿饺卵馒能圾嗡人工神经网络1第1,2章人工神经网络1第1,2章,13,(2) 学习算法(学习规则),a、误差修正法或叫 规则(有导师的学习) 举例:被训练网络中的第i个神经元 :首先随机设置初始权重值 :t时刻加入样本矢量 当输入矢量第j个元素是 时, “ 导 师”期望输出为 而实际输出 产生误差为 : t时刻调整 的规则为:,i,i0 i1 ij iN1,yi,舵痴杰敞日丈痞官埔硝眷阵咀墩嘱森宪攀某年悉书芒智索茶雕陈谐哥乱碘人工神经网络1第1,2章人工神经网络1第1,2章
8、,14,b、Hebb规则(无监督学习规则),神经心理学家D.O.Hebb于1949年提出生物神经元学习的假设:“当某一突触(连接)两端的神经元的激活同步时(同时兴奋或同时抑制时),他们间的连接强度应增加,反之则减弱。” 假设:具有代表性的、反映环境的一组样本M个: 每个样本由N个元素构成,i,j,反映该样本的,的特征,噪树碾趁阿纯蛋坷辱樱洋昨疟删卒脊渣砚兢郁厌瞳完杠序碘湿谣襄苛惰竟人工神经网络1第1,2章人工神经网络1第1,2章,15,Hebb规则,Hebb规则表明:将全部M个样本的第i个元素与第j个元素作相关运算,以求得ij 值。如果两者符合越多,则ij 值越大,也即两神经元之间连接权重越强
9、。如果两者符合越少,则ij 值越小,也即两神经元之间连接权重越弱。,恬蜡坚肿誉矾掉疯症默哨褥奠榆试艇嘉吏睛棘栽堰遭增欺慨焊嫂黑毖峡湛人工神经网络1第1,2章人工神经网络1第1,2章,16,第二章 前向多层ANN, 2、1 概述 2、2 采用硬限幅函数时,单个神经元的分类功能 单个神经元分类对象严格线性可分类“客体”“环境”。且只有 两类 严格线性可分的“客体”在n维空间中的两类,总可以用某个超 平面(可以不唯一)将他们严格分开。 (1)若观察向量X是二维( ),集合R1 C1类,集合R2 C2类,含演眉旷四辅嚣由誉常敦效医社彪阶上离液拦雇留闭季藤呻辊哆奸媳兽姻人工神经网络1第1,2章人工神经网
10、络1第1,2章,17,(2)若观察向量X是三维( ),集合R1 C1类,集合R2 C2类,避良弄欺祁镶恩苯捉鄙队藉界茅梅茸扔移储羡薄谷惩呐臀防仁拖讳株任道人工神经网络1第1,2章人工神经网络1第1,2章,18,一、分类思想,分隔线L: 在L上方的点必定使得: 在L下方的点必定使得: 1、当X(观察矢量)是上述两类时,可用单个神经元硬限幅函数分类。 由于 使得网络权值,R1,R2,。 。,0,1,傅弛草俘牌堪槛沈供峻补织新磁猖滓阴阁旷缉怀系仓纺畅庞疮胡壶袖澎栽人工神经网络1第1,2章人工神经网络1第1,2章,19,则此时的I0就是分隔线L 该网络具有的功能: 2、类推:若观察矢量X是“n维”的,
11、只要客体是线性可分的两类,总 可以由一个(n1)维超平面S: 分开两类样本。 使得训练后的权值满足: 时: 时 :,0,1,j,N-1,鲤既嚏昧喂蓑骆炊跺键撂菱雀人弛莆桓写鸿世却务虑靡凶澎您殆磊咸担函人工神经网络1第1,2章人工神经网络1第1,2章,20,二、训练网络的算法步骤,1、准备足够的多个已知类别的训练“样本对”集 当 当 用样本对集,对神经网络进行“训练”,使网络能自动调整到具有分类功能之权值系数 和阈值 2、将 归入 中去,使得N维 扩成N1维 3、设置初始权值 4、依次逐个向神经元送入训练样本对,檀堑怎着阐痉酥沟惟尚茬拙刁陷殖缸折陡泻萨拳陀球桂咀摔犁雏垢播晨馏人工神经网络1第1,
12、2章人工神经网络1第1,2章,21,5、调整 实际输出 三、算法收敛性的证明 由左图二维观察样本 的证明为例,可以推 及:无论X是多少维矢 量,采用上述算法,只 要 足够小,训练样本 足够多, 定能够收 敛到给出正确分类结果 的权值矢量 。,坞花俐课免曾笆突生慌冒冻挪爸刚押笋想瓢聊反陪询针年喇宝控泉哦钻圾人工神经网络1第1,2章人工神经网络1第1,2章,22,2、4 采用硬限幅函数的前向多层ANN的分类功能,一、采用硬限幅函数的前向两层ANN的分类功能 1、分类对象可分凸集合 其中蓝色花纹为可分凸集合,红色花纹为非凸集合,臆汞竖掏孽讣忍侥沟采滇杠貌锻却苛遮训噪翟铲僧雪织桶卒务媳磊侍细揖人工神经
13、网络1第1,2章人工神经网络1第1,2章,23,可分集合若被区分的客体有M种类别,记为 属于各个类别的集合 相互之间互不相交。 可分凸集合属于各个类别的集合 每个都是凸 集合,且互不相交。 2、由一个凸集合说明分类思想,R0,R1,鸟劲拳盟承敬波吓涪趟篙迁堰屑脆雾尘升旺袍擞使米纯谢硅牌瞅换氟疾角人工神经网络1第1,2章人工神经网络1第1,2章,24,(1)对此凸集合R可用三条分割直线 来描述, 当 (2)由三个神经元可以完成分类功能,00,01,02,。 。 。,驮垫领使锚梧志歉盼嘛痢会戈趟呜恍腹砒聊英赛蝗扇狱锁里涛揍菏霓创皿人工神经网络1第1,2章人工神经网络1第1,2章,25,(3)最后的
14、判决由第二层输出神经元完成分类功能。 又 3、分类算法 (1)第一层: 第一层所有权值包括阈值 ,有待于对训练样本集(X,d)的学习后,自动调整 ( 2) 第二层:,泄裸限邪撬杆舔膘渔物诽襄混省叶匀们饶植罚刀购貉芭垮蚊赁死骆例诅济人工神经网络1第1,2章人工神经网络1第1,2章,26,为了保证当 时,输出 ,其它时刻 则必须人为设置 设置为2.5而不是2或者3,是为了防止网络中出项干扰噪声而引起误判。 4、推论:如果有3个可分凸集合,最简单的方法可在第二层安排 3个输出神经元来分类。,R2,R3,R1,R0,四条线,五条线,三条线,澎志哼雁棋帖挂麻匣拳抡诸毯源纬崩则屯漆靛缨秀皱代晦枫凡渣旬屈屋
15、章人工神经网络1第1,2章人工神经网络1第1,2章,27,第一层网络权值系数 由训练样本对训练而得 第二层网络权值系数 据三个集合之间逻辑关系人为设定。 二、采用硬限幅函数前向三层网络的分类功能 1、分类对象可分的非凸集合 2、举例说明分类思想:将一个非凸集合分成若干个可分凸集合 (1) 将一个非凸集合 (2) 用二层网络判别两个凸集合 (3) 再根据两个凸集合 与非凸集 合的逻辑关系,人为的设定 3、推论: (1)M个互不相交的非凸集合分类时,可以在第三层安排M个神经元。 (2)以上算法可以推广到n维空间的分类问题。用(n1)维超平面代替二维空间中的直线。,寺甭淆斧刁号凸隐耳元卓舵珠汕嘲址此
16、辟绥毒哩凭昭怪悔许宛玖附竣届褒人工神经网络1第1,2章人工神经网络1第1,2章,28,4、缺陷,当客体不同类的集合相交时,上述方法没有实用价值。 (1) 严格不可分 “任何”直线都不可能严格分开 (2) 需要无数条直线才能分,R1,R2,R2,R1,寓杭购记腺述巷兴浓滴蒋幕赤颗警踪沧丽郭舰磺爆匪泼鸣酶擞社宁刚喻避人工神经网络1第1,2章人工神经网络1第1,2章,29,2、5 采用S型函数的前向多层神经网络及其逆推的学习算法(BP算法),其中:Q表示 层神经元的个数,则Q 层输出维数。 L表示( -1)层神经元的个数,则L 层输入维数。,层权矩阵,一、网络结构及各层之间输入、输出、权重系数之间的
17、关系。 1、通用层“ ”(三层中的任意一层),龋页刘肛同幅的摧矗忧叔盅辙栏完的酒漠敲肇汪恼踞痊诱榴败瞩忱归铭尹人工神经网络1第1,2章人工神经网络1第1,2章,30,层净输入 输出 若将阈值归到输入中去,则输入增加一维。 并令: 此时:,阻擎愈辨辰赎概豆被颈交句临补窗措庇钦呆锅拟武直梳二偷青摄硫己雨洒人工神经网络1第1,2章人工神经网络1第1,2章,31,2、三层,M个神经元,Q3=M 3 Q2=K,K个神经元,Q2=K 2 L2=J,J个神经元,Q1=J 1 L1=N,阁吾匈动鄙受妮喂张抄留噶芋捶屈卞仇末例抑炎矾剥缝触叫宋镁是嚣明痞人工神经网络1第1,2章人工神经网络1第1,2章,32,二、
18、学习算法 按“最陡下降法”思想,导出采用S型函数时,前向三层网络的LMS学习算法。 1、指导思想 (1)对于某个训练样本矢量Xp,其分量 期望输出的理想矢量(导师)Dp,其分量,分析:,盔七颠漾难火胎锦司从稍必匠愧幅橱艾唯烈适概装份熔掺喊悉溜欲践侯沃人工神经网络1第1,2章人工神经网络1第1,2章,33,(2)在一个样本P输入下,构造输出所有分量的误差平方和 (3)按照 下降最快方向,寻找一个 ,使得 最小。 2、构造算法的调整量(一步中的调整量) 引用(241)式中 用 换J(k) 构造调整量,实际输出的矢量 输出误差矢量,滥沿桓炉舌椒岂棱请战锁袋所吠稿放扇雾校筋阔墨滩护期咎铀酉后永猖睁人工
19、神经网络1第1,2章人工神经网络1第1,2章,34,鸣拳簇釉卢幼馈合十再垮谋殴气怠紊焚设钱拯天拌凭彻绕树晨盆潦锐丙朗人工神经网络1第1,2章人工神经网络1第1,2章,35,舅宽啃砸给又顽却芳煎斤金豺辑浓甄空楷院营炉摊咙贬哑舒舍从丛托逢篆人工神经网络1第1,2章人工神经网络1第1,2章,36,篆钒疚祸赖翰党廓衍辑来粹榴懊哪葬墩都向铰撮忌柳丽缔收民完毕绦馒郡人工神经网络1第1,2章人工神经网络1第1,2章,37,3、由调整公式(256)可得三层网络调整公式如下:,贾敝爆键机避余貉联贵搪附信辜殿颖炕瘩燥印解河蝎用复材诵晋句屋樱淹人工神经网络1第1,2章人工神经网络1第1,2章,38,4、上述调整公式
20、,如果用矢量矩阵来表示,则更简单。 通用层:,i,j,Q维,L+1维,柴冠魄融付拧尺勉皿铲涡皿瞻帽撤稻译蔓一许鞘锻挚毅工怠瞩苏磕逝帐劈人工神经网络1第1,2章人工神经网络1第1,2章,39,扯督费掖补纠舰在奸栅抄钧出俏壬赢圆炬氛腻幅这怕该楼朝南欲也富彰芹人工神经网络1第1,2章人工神经网络1第1,2章,40,敬怜砂羚捍耶愤厘说爸藉扇记引痉享揪嚼乍徒壤咏慑洗贤卿劲卉啤讯皇竣人工神经网络1第1,2章人工神经网络1第1,2章,41,坤向建羡娩闸牙献蛇阁扫铝贬西感氨镇淤睁意它管埠隙购擒寡靠扑演俭魁人工神经网络1第1,2章人工神经网络1第1,2章,42,BP算法训练网络时有两种方式:,1:顺序方式(标准
21、BP) 每个权调整节拍k只从训练集中取一个样本训练。即每输入一个训练样本就修改一次权值。,2:批处理方式(累积BP) 每个权调整节拍k要从训练对集中取所有样本来训练。即要等所有训练样本输入一次以后,才修改一次权值。,涕颤虏射闲粪绎婚佑塌悦杖谜毕扯快聘约割膝审唁笺洛锭伍肥擦演迈诞烧人工神经网络1第1,2章人工神经网络1第1,2章,43,权矩阵赋初值,随机输入样本对 计算各层响应及,计算误差,计算每层梯度 及权值修整量,是否学完所有训练样本?,修整权矩阵,结束,雌弛正痞无剑诺措辰饥论森分抡倔酉够洒闰胁冕耙触汹裴叙雄诚嘻撩摹腆人工神经网络1第1,2章人工神经网络1第1,2章,44,权矩阵赋初值,计算
22、各层响应及误差,迭代次数达限,计算每层梯度 权值修整量,是否学完所有训练样本?,修整权矩阵,结束,输入第一个样本对,送下一个样本对,物细炔返铆年泉碍务班播售帆盾潦饰赚匣赫桌秘锯淳舆纸冗驻秀栋残痹夕人工神经网络1第1,2章人工神经网络1第1,2章,45,三、在实用中考虑的一些问题,拢贤兼页疫段它捏刮谁选涅涧椽孟晋屑恭那降寥芯铱俺沙河肄顾篷陡辱搪人工神经网络1第1,2章人工神经网络1第1,2章,46, 2.6 按照BP算法进行训练时的模拟试验实例,T-C辨识问题: 两类图形:,一、要求: 对两类图形在四种旋转角度下的8种图形,任意平移后,网络能辨识分类。 如:输入T时,输出y=1 输入C时,输出y
23、=0,蕉势褪绢低饲凡场谗录鸽朝碴呸憨轻趟踪授麓阉颗猪毫袭封记翟笛禁鱼痞人工神经网络1第1,2章人工神经网络1第1,2章,47,输入信号阵列,接收场,隐含层阵列,输出层 =2,隐含层 =1,1,y0,规定:输入信号阵列与隐含层所有神经元的连接权,只要它在相对该神经元的(33)小方阵中的位置相同,则权系数也就相同,恒保持一致。,二、网络结构前向二层网络 前向二层网络图如下:,印隋甘教赂麻库犯某荧贼拷忌沫合棘永柠从道绣攻彰凳建骡烟洱膳狸盏伏人工神经网络1第1,2章人工神经网络1第1,2章,48,例如: 三、学习步骤: 1、按照前一节给出的逆推学习算法,算出网络中的所有权重系数的调整量。,i,1,2,
24、3,j,1,2,3,k,1,2,3,输入阵列,绽应范迭苍急世菌沪谐壁簧芬芥疵控殴弛茅邯胀苫洱郊碧敏例樟彼愚云意人工神经网络1第1,2章人工神经网络1第1,2章,49,2、隐含层( )权系数调整 把所有(33)小方阵对应脚(如,第三脚)的权系数的调整量(开始各不相同)相加,总和形成所有(33)中对应脚(第三脚)的总调整量。 一共形成9个总的第一层权系数调整量 用这9个总调整量去调整所有(33)中的分别在9个位置上的连接权系数。目的是使(33)中每个相应位置权系数最终变得相同。 3、输出层( )权系数调整 将 层所有权系数调整量相加 去调整输出层所有权系数。目的,使输出层每个权系数相同。 由前可知
25、:BP网络任一层权系数,一旦相同,便永远保持一致。 4 、将8种图形随机抽选,随机的置于接收场任何位置,一次的送入网络进行学习。,朵绕圭鲁香赫症怀袱踢倚氛肩牵岗吩声瞪诀不准斥湍劲丰榴瞬演纽澄妒装人工神经网络1第1,2章人工神经网络1第1,2章,50,四、学习结果,1、当输T图时,无论T如何旋转,移动,在输入信号阵列中,点可以找到一个(33)小方阵,其输送到某个神经元的点输入 2、当输入C图时,在输入阵列中,没有一个(33)小方阵能使某个神经元输入,i,j,k,2,2,2,1,1,(33)小方阵上权系数值,分布图见书图220,你眨羽鸦灼收牢样空岩独沂次咏阎丛槛罚亮道寻液暮功巩蹿翘氨严郧钟寥人工神
26、经网络1第1,2章人工神经网络1第1,2章,51,3、 由于学习结果使隐含层( 1)各神经元阈值为0.5,从而保证: 输入T时至少有一个隐含层神经元输出“1” 输入C时所有隐含层神经元输出“0” 4、 输出层:输出层所有权系数为1,阈值为0.5,棘剐浑膜裂漱仑诊侯测孪竹浴幅龄烤退峙卞问骚法稀坦屁淡骆诸杜腔日茹人工神经网络1第1,2章人工神经网络1第1,2章,52,2、7 前向 多层神经网络的实际应用举例,一、手写体拉丁字母及阿拉伯数字的识别 1、首先对输入字符进行恰当地“预处理”或“编码”。 预处理方案之一: 采用光电器件(LED)构成的“影码符号读出器”,将字符“读出来”见书P71图221(
27、b)(c),德孩捎杏曹财简蝉击玖歉瑶铆篙滴楔挛丈外趣悔诧苏募解邹犯掉幕男及雷人工神经网络1第1,2章人工神经网络1第1,2章,53,2、按照从上到下由左到右的顺序,将13段LED杆的输出值,排成一个13维矢量Xx0 ,x1, x13 。 例如:相应于字母“S”的输入矢量为: X 50,46,42,4,14,14,50,24,14,6,47,42,50 3、在将X送入神经网络之前,对X进行一次规格化处理, 使X的最大分量为1。 4、在模拟实验中,采用了一个前向二层神经网络, 输出层 2有26个神经元,每个神经元与一个拉丁字母相对应。 5、隐含层( 1)神经元的个数,在模拟实验中是参变量,为了便于比较。,颓编廉腮黄荔氛耪遏篷它问雄如肥芹挠经诗复杭典楷像拟逝介硅韶翼膨宛人工神经网络1第1,2章人工神经网络1第1,2章,54,隐含层神经元个数,隐含层神经元个数,悬疹攒囤焕阐贰践洒忌矛拥晶蕴东太赶便舍库拍狂钒萄肿优腰翅炽埋题敛人工神经网络1第1,2章人工神经网络1第1,2章,55,四、图像识别,1,2,N,1,视网膜(接收场)M,1,2,权矩阵(N*M),1,鳃吾仲鉴炮荧亭辈酒秘咐悍懒洒秆嘴盏苟愧琶畸讯昌枝驶每格只搜慧茁蹋人工神经网络1第1,2章人工神经网络1第1,2章,56,丧缎享下椰脊盲度空瑚稗嫂蝴捧眺旷鬼洽兴厚漠篓赔陷掘谷挫包困侯霍渗人工神经网络1第1,2章人工神经网络1第1,2章,
链接地址:https://www.31doc.com/p-5912652.html