机器学习课件.pdf
《机器学习课件.pdf》由会员分享,可在线阅读,更多相关《机器学习课件.pdf(343页珍藏版)》请在三一文库上搜索。
1、第一章: 关于机器学习的一般论题 一. 人工智能、专家系统、机器学习 1. 人工智能 分四个阶段:第一阶段:智力难题的求解(修道士过河) 第二阶段:自然语言理解,景物分析等 第三阶段:专家系统(推理) 人工智能走向实用 程序 知识库 第四阶段:以知识为中心(由于专家系统 的发展) AB B C C D AD 知识获取是专家系统的“瓶颈”。 二. 学习的概念 1. (simon) 学习是系统的改变,这种改变使系统在下一次做相同 或类似的工作更有效。 2. 学习是(有用)知识的获取。 3. (Michalski) 学习是构造或修改所经历事物的表示。 4 。 (Mitchell) 如果一个计算机程序
2、(执行任务T,性能衡量为 P) 能根据经验E来自我完善,那么我们称这个计算机程序从经验 E中学习。 三. 机器学习研究的分类 1. 分类方式: 1)基于所使用的基本学习策略分类:根据在所给定的数据上执 行学习所花费的推理步骤。死记硬背式学习、讲授式学习、演绎 式学习、示例学习、观察与发现学习。 2)基于知识表示的分类:树、产生式规则。 3)基于应用领域分类: 农业、化学、机器人、语言 识别 等 2. 基于学习策略分类 1)死记硬背式学习(Rote Learning):不需要推理、直接 编程或存储外部信息。 1)讲授式学习(Learning by being told or from instr
3、uction): 通过教师或其它知识系统来获取知识, 学习程序要把得到的知识转化为内部可用的一种表示。 讲授式学习知识获取程序一般要作以下几项工作: 把领域专家(即环境)用自然语言或其它手段表述 的知识翻译成系统的内部表示。 把新知识放入知识库中适当位置上。 维护知识库的一致性。 3)演绎式学习(Deductive Learning): 从公理出发, 经逻辑变换推导出结论。这种推理是一种保真变换。 4)示例学习:给学习程序提供正例集和反例集,学习程序能 归纳出适合正例集排除反例集的一般概念描述。 主要算法:AQ15、ID3、扩张矩阵理论AE算法。 (例子集见表1.1) 第一组: 发色=金色红色
4、眼睛=蓝色灰色 第二组: 发色=黑色 眼睛=黑色 5)观察与发现学习(Learning from observation and discovery): 环境给程序提供一组观察事例,学习程序构造 一个概念描述来覆盖所有或大多数事例。聚类,经验发现。 6)解释学习:学生根据教师提供的目标概念,该概念的一个 例子,领域理论及操作准则,首先构造一个解释说明该例子 能满足目标概念,然后使用回归将解释推广为目标概念的一 个满足操作准则的充分条件。 7)类比学习:S和T分别是源域和目标域,P(S) 及P(t) 成立, 且Q(S) 成立, 可推出Q(t) 成立。 组次身材发色眼睛 第1组1 2 3 4 矮
5、高 高 矮 金色 红色 金色 金色 蓝色 蓝色 蓝色 灰色 第2组1 2 3 4 5 高 矮 高 高 矮 金色 黑色 黑色 黑色 金色 黑色 蓝色 蓝色 灰色 黑色 表1.1 两组人(例子)的集合 四. 机器学习的研究目标: 1. 加强基础研究,发展各种学习理论,探讨所有可能的学习 方法及其算法,比较人类学习与机器学习的异同及其联系。 2. 模拟人类学习过程,深入研究学习过程的各个环节及其特 征。 3. 面向应用,研制各种机器学习系统,即具有学习功能的人 工智能系统。 五. 机器学习的若干说明 1. 机器学习算法在很多应用领域被证明很有实用价值。如: 数据挖掘(从大量数据中发现有价值的规律),
6、模式识别 等领域。 2. 机器学习从不同的学科吸收概念,包括人工智能、概率和 统计、计算复杂性、信息论、心理学和神经生物学、控制 论以及哲学。 3. 一个完整定义的学习问题需要一个明确的任务、一个性能 度量标准以及用来训练的经验。 六. 机器学习(阅读)资源: 1. 杂志:Machine Learning(机器学习), Neural Networks (神经网络); 2. 会议: ICML(国际机器学习会议)、ECML(欧洲机器学习 会议) 、NIPS(神经信息处理系统会议) 、ICGA(国际遗传算 法会议) 、KDD(国际知识发现和数据挖掘会议)等。 第三章 规则学习算法 1. 基本概念:
7、定义1 (例子). 设E=D1D2 Dn 是n维有穷向量空 间,其中 Dj是有穷离散符号集。E中的元素 e=(V1,V2, ,Vn)简记为叫做例子。其中VjDj。 例如:对表2.1 D1=高,矮;D2=淡黄,红,黑;D3=兰,褐 E=D1 D2 D3 例子 e=(矮,淡黄,兰) 定义2。选择子是形为xj=Aj的关系语句,其中xj为第j个属 性,Aj Dj; 公式(或项)是选择子的合取式,即 xj=Aj, 其中 J 1, ,n; 规则是公式的析取式,即,其中Li为 公式。 Jj Li l i1= 一个例子e=满足选择子xj=Aj当且仅当Vj是Aj的 元素,即Vj Aj; e满足一个公式当且仅当它
8、满足该公式 的每一个选择子;e满足一条规则当且仅当e满足该规则的 至少一个公式。 例子满足选择子(公式、规则)也称做选择子(公式、规 则)覆盖该例子。 例如: 例子e= 满足选择子头发=淡黄红 色和 眼睛=蓝色 ;满足公式头发=淡黄红色 眼睛= 蓝色 。 定义3:普化(generalize) :减少规则的约束,使其覆盖更多的 训练例子叫普化。 定义4:特化(specialize) : 增加规则的约束,使其覆盖训练例 子较少叫特化。 定义5:一致:只覆盖正例不覆盖反例的规则被称为是一致 的。 定义6:完备:覆盖所有正例的规则被称为是完备的。 2. GS算法: GS算法 输入: 例子集; 输出:
9、规则; 原则: (a) 从所有属性中选出覆盖正例最多的属性; (b) 在覆盖正例数相同的情况下,优先选择只覆盖正 例不覆盖反例的属性值; 设PE,NE是正例,反例的集合。 PE,NE是临时正,反例集。 CPX表示公式,F表示规则(概念描述)。 (1) Ftrue; (2) PE PE, NE NE, CPXtrue; (3) 按上述(a) (b)两规则选出一个属性值V 0 , 设V 0 为第j0个属 性的取值,建立选择子Xj0=V0并加入公式中, CPXCPX Xj0=V0 (4) 如果Xj0=V0覆盖NE中的反例,转(5); 否则 FFCPX, 转(6); (5) 重新构造PE和NE, PE
10、含有原来PE中被Xj0=V0覆盖的例 子,NE含有原来NE中被Xj0=V0覆盖的例子,转(3); (6) PEPEPE,如果PE= ,停止,否则转(2); GS算法举例: 例子集见表2.3 学习结果: ESR=normalAusculation=bublelike X-ray=spotESR=normal 3.AQ算法: 1) 普化(generalize) : 2) 特化(specialize) : 3) 一致 4) 完备 肺炎 noFeverCoughX-rayESRAusculat. 1highheavyFlackNormalBubblelike 肺炎2mediuheavyFlackNor
11、malBubblelike 3lowslightSpotNormalDry-peep 4highmediuFlackNormalBubblelike 5mediuslightFlackNormalBubblelike 1absentslightStripNormalNormal 肺结2highheavyHoleFastDry-peep 核3lowslightStripNormalNormal 4absentslightSpotFastDry-peep 5lowmediuflackfastsNormal 表23 肺炎与肺结核两组病历 AQ算法: 输入:例子集、参数#SOL、#CONS、Star的
12、容量m、优化标 准; 输出:规则; 1)Pos和NEG分别代表某概念的正例和反例的事件集合 从Pos中随机地选择一事件 生成事件e相对于反例集NEG的一个约束Star(reduced star), G(e|NEG,m) , 其中元素不多于m个。 在得到的star中,根据设定的优化标准LEF找出一个最优的 描述D。 若描述D完全覆盖集合Pos,则转 否则,减少Pos的元素使其只包含不被D覆盖的事件。从步 骤开始重复整个过程。 生成所有描述D的析取,它是一个完备且一致的概念描述。 2) Star生成: Induce方法 1事件e的各个选择符被放入PS(partial star)中,将ps中的元素按
13、 照各种标准排序. 2在ps中保留最优的m个选择符. 3对ps中的选择符进行完备性和一致性检查,从ps中取出完备一 致的描述放入SOLUTION表中,若SOLUTION表的大小大于参数 #SOL,则算法停止.一致但不完备的描述从ps中取出放入表 CONSISTENT中,若CONSISTENT表的大小大于参数#COS,则转 5; 4对每个表达式进行特殊化处理,所有得到的表达式根据优化标 准排列,仅保留m个最优的.重复步骤3, 4直到CONSISTENT表 中包含#CONS个表达式或该过程分配的时间用完为止. 5得到的一般化描述按优先标准排序,保留m个最优的表达式构 成约束Star(e|NEG,m
14、). 举例: 例子集: 表2.3 #SOL=2 #CONS=2 M=2 优化标准: 正例数/反例数 种子: Fever=highCough=heavyX-ray=flackESR=normal Ausculation=bubblelike 第一轮: (进入Induce算法) Ps: 5 Fever=high 4Cough=heavy 2X-ray=flack 3ESR=normal 1Ausculation=bubblelike 保留m个表达式 Ausculation=bubblelike 一致的表达式,放入CONSISTENT中 X-ray=flack + 1 e 特化; x-ray=fla
15、ckESR=normal X-ray=flack x-ray=flackCough=heavy x-ray=flackFever=high 上面3个表达式均为一致的,放入CONSISTENT中,按优先标准排 序,并保留m(2)个表达式. Ausculation=bubblelike x-ray=flackESR=normal (出Induce算法) 选出一个最优的作为D D: Ausculation=bubblelike 将D覆盖的正例去掉. 去掉第一轮结束. 第二轮: 种子: Fever=lowCough=slightx-ray=spotESR=normal Ausculation=dry-
16、peep + 5421 ,eeee + 3 e Ps: 4fever=low 5Cough=slight 1x-ray=spot 2ESR=normal 3Ausculation=dry-peep 保留m(2)个表达式: ESR=normal x-ray=spot 特殊化: ESR=normal fever=low ESR=normal ESR=normal Cough=slight ESR=normal Ausculation=dry-peep x-ray=spot ESR=normal x-ray=spot Ausculation=dry-peep x-ray=spot x-ray=spo
17、t fever=low x-ray=spot Cough=slight 上面有3个表达式是一致的,放入CONSISTENT表中,按优先标准 排序,并保留m(2)个表达式 x-ray=spot ESR=normal x-ray=spot fever=low 选出一个最优的作为D D: x-ray=spot ESR=normal 将D覆盖的正例从pos中去掉,去掉,pos空. 生成规则: Ausculation=bubblelike x-ray=spot ESR=normal肺炎 算法结束. 参考文献: 1. Machine learning: An Artificial Intelligence
18、 Approach Edited by R.S. Michalski P39-135. 2. 归纳学习-算法,理论,应用. 洪家荣著 P4-11, P30-33 + 3 e 3. 机器学习:实现人工智能的途径. 科学出版社. P.23-77.3. 机器学习:实现人工智能的途径. 科学出版社. P.23-77. FCV算法 表2.4正例集PE和反例集NE PENE 序号 X1X2X3 X4序号 X1X2X3X4 3100012000 4111122210 5200170010 6121080100 90111130001 101111140211 112211 122001 表2.5 PE和NE
19、的频率矩阵 FM(PE)FM(NE) X1X2X3X4X1X2X3X4 0133204334 1435610132 232222 序号 X1 + 12115 e ,e ,e + 12115 e ,e ,e + 9 e + 9 e + 9 e + 9 e + 113 e ,e + 116 e ,e 2) Star生成: Induce方法 1事件e的各个选择符被放入PS(partial star)中,将ps中的元素按 照各种标准排序. 2在ps中保留最优的m个选择符. 3对ps中的选择符进行完备性和一致性检查,从ps中取出完备一 致的描述放入SOLUTION表中,若SOLUTION表的大小大于参数
20、 #SOL,则算法停止.一致但不完备的描述从ps中取出放入表 CONSISTENT中,若CONSISTENT表的大小大于参数#COS,则转 5; 4对每个表达式进行特殊化处理,所有得到的表达式根据优化标 准排列,仅保留m个最优的.重复步骤3, 4直到CONSISTENT表 中包含#CONS个表达式或该过程分配的时间用完为止. 5得到的一般化描述按优先标准排序,保留m个最优的表达式构 成约束Star(e|NEG,m). 举例: 例子集: 表2.3 #SOL=2 #CONS=2 M=2 优化标准: 正例数/反例数 种子: Fever=highCough=heavyX-ray=flackESR=no
21、rmal Ausculation=bubblelike 第一轮: Ps: 5 Fever=high 4Cough=heavy 2X-ray=flack 3ESR=normal 1Ausculation=bubblelike 保留m个表达式 Ausculation=bubblelike 一致的表达式,放入CONSISTENT中 X-ray=flack + 1 e 特化; x-ray=flackESR=normal X-ray=flack x-ray=flackCough=heavy x-ray=flackFever=high 上面3个表达式均为一致的,放入CONSISTENT中,按优先标准排 序
22、,并保留m(2)个表达式. Ausculation=bubblelike x-ray=flackESR=normal 选出一个最优的作为D D: Ausculation=bubblelike 将D覆盖的正例去掉. 去掉第一轮结束. 第二轮: 种子: Fever=lowCough=slightx-ray=spotESR=normal Ausculation=dry-peep + 5421 ,eeee + 3 e Ps: 4fever=low 5Cough=slight 1x-ray=spot 2ESR=normal 3Ausculation=dry-peep 保留m(2)个表达式: ESR=no
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器 学习 课件
链接地址:https://www.31doc.com/p-3710062.html