人工智能ArtificialIntelligence第五章ppt课件.ppt
《人工智能ArtificialIntelligence第五章ppt课件.ppt》由会员分享,可在线阅读,更多相关《人工智能ArtificialIntelligence第五章ppt课件.ppt(110页珍藏版)》请在三一文库上搜索。
1、人工智能 Artificial Intelligence 第五章,史忠植 中国科学院计算技术研究所 http:/ Machine Learning,2019/4/12,史忠植 人工智能: 机器学习,2,内容提要,5.1 机器学习概述 5.2 归纳学习 5.3 类比学习 5.4 统计学习 5.5 强化学习 5.6 进化计算 5.7 群体智能 5.8 知识发现 5.9 小结,机器学习概述,什么是机器学习? 学习是使系统在不断重复的工作中对本身能力的增强和改进,使得系统下一次完成同样或类似的任务时比上一次更有效,即通过对人类学习过程和特点的研究,建立学习理论和方法,并应用于机器,以改进机器的行为和性
2、能。 1、学习是一个过程。学习是经验积累的过程,这个过程可能很快,也可能很漫长; 2、学习是对一个系统而言。这个系统可能是一个计算机系统,或一个人机系统; 3、学习能够改变系统的性能。这只说明对系统性能的改进,但是并未限制改进的方法。 从人工智能的角度看,机器学习是一门研究使用计算机获取新的知识和技能,提高现有计算机求解问题能力的科学,2019/4/12,史忠植 人工智能: 机器学习,3,机器学习概述,为什么要研究机器学习? 必要性: 理解学习的本质和建立学习系统是AI研究的目标之一 现有的大多数AI系统都是演绎的,没有归纳推理,因而不能自动获取和生成知识 可行性: 学习的过程是信息处理的过程
3、,这包括直接记忆和经过推理 已有工作说明可以实现一定程度的机器学习,2019/4/12,史忠植 人工智能: 机器学习,4,机器学习概述,机器学习的研究目标和困难 研究目标: 通用学习算法:理论分析任务和开发用于非实用学习任务的算法 认知模型:研究人的学习的计算模型和实验模型 工程目标:解决专门的实际问题,并开发完成这些任务的工程系统 困难: 学习系统性能的预测更加困难 获取知识的本质还是猜想。由特定的观察和类比生成的知识不可能证明其正确性。,2019/4/12,史忠植 人工智能: 机器学习,5,机器学习模型,学习的一种模型 环境:外部信息的来源,它将为系统的学习提供有关信息 知识库:代表系统已
4、经具有的知识 学习环节:系统的学习机构,它通过对环境的感知取得外部信息,然后经分析、综合、类比、归纳等思维过程获得知识,生成新的知识或改进知识库的组织结构。 执行环节:基于学习后得到的新的知识库,执行一系列任务,并将运行结果报告学习环节,以完成对新知识库的评价,指导进一步的学习工作,是该模型的核心。,2019/4/12,史忠植 人工智能: 机器学习,6,机器学习发展阶段,机器学习的研究大致可以分为三个阶段: 五六十年代的探索阶段: 主要受神经生理学、生理学和生物学的影响,研究主 要侧重于非符号的神经元模型的研究,主要研制通用学习系统,即神经网络或自组织系统。 主要成果有: 感知机(Percep
5、tron) Friedberg等模拟随机突变和自然选择过程的程序, Hunt等的决策树归纳程序CLS。,2019/4/12,史忠植 人工智能: 机器学习,7,七十年代的发展阶段: 由于当时专家系统的蓬勃发展,知识获取成为当务之急,这给机器学习带来了契机,主要侧重于符号学习的研究。机器学习的研究脱离了基于统计的以优化理论为基础的研究方法,提出了基于符号运算为基础的机器学习方法,并产生了许多相关的学习系统, 主要系统和算法包括: Winston的积木世界学习系统; Michalski基于逻辑的归纳学习系统AQVAL; Michalski和Chilausky的AQ11; Quinlan的ID3程序
6、Mitchell的版本空间方法。,机器学习发展阶段,2019/4/12,史忠植 人工智能: 机器学习,8,八九十年代至今的鼎盛阶段。 理论研究和应用研究也有了新的突破,机器学习的研究进入了全面的、系统化的时期。 主要成果有: 一方面传统的符号学习的各种方法已日臻完善。Michalski等将AQ11扩充为一个多功能学习系统AQ15,ID3算法中使用了熵,从而使决策树归纳得到了很大的改进。 科学发现系统BACON开辟了无导师学习的两个重要研究领域。 神经网络学习在消沉了一段时期后又重新蓬勃发展起来了,同时计算机硬件技术的高速发展也为开展大规模和高性能的人工神经网络提供了保障,使得基于神经网络的连接
7、学习从低谷走出,发展迅猛。其中Rumelhart等人提出的BP模型,提供了一个训练多层网络的实际可行的方法,克服了Perceptron的大部分局限性。,机器学习发展阶段,2019/4/12,史忠植 人工智能: 机器学习,9,另一方面,机器学习的基础理论的研究越来越引起人们的重视。 1984年美国学者Valiant提出了基于概率近似正确性的学习理论(PAC学习),对布尔函数的一些特殊子类的可学习性进行了探讨,将可学习性与计算复杂性联系在一起,并由此派生出了“计算学习理论”(COLT) 1995年,Vapnik出版了“统计学习理论”一书。 对PAC的研究是一种理论性,存在性的;Vapnik的研究却
8、是构造性的,他将这类研究模型称为支持向量机SVM(Support Vector Machine)。,机器学习发展阶段,2019/4/12,史忠植 人工智能: 机器学习,10,机器学习概述,机器学习的研究方法 1、演绎学习 :是一种常规的逻辑推理方法。其推理的过程就是从公理出发,经过逻辑变换,推导出结论。 2、归纳学习 :环境或教师提供一系列正例和反例,通过归纳推理,机器将这些例子进行推广,产生一个或一组一般的概念描述。 3、类比学习 :利用两个不同领域(目标域和源域)知识的相似性,从源域的知识(包括相似的特征和其他特征)推断出目标域的相应知识的推理方法。 4、统计学习 :基于数据构建概率统计模
9、型并运用模型对数据进行预测与分析。 5、强化学习:又称激励学习,是从环境到行为映射的学习,以使奖励信号函数值最大。 6、进化学习:是研究利用自然进化和适应思想的计算系统。,2019/4/12,史忠植 人工智能: 机器学习,11,2019/4/12,史忠植 人工智能: 机器学习,12,内容提要,5.1 机器学习概述 5.2 归纳学习 5.3 类比学习 5.4 统计学习 5.5 强化学习 5.6 进化计算 5.7 群体智能 5.8 知识发现 5.9 小结,归纳学习,归纳学习(Inductive Learning) 就是从个别到一般,根据某个概念的一系列已知的正例和反例,从中归纳出一个一般的概念描述
10、 旨在从大量的经验数据中归纳抽取出一般的判定规则和模式。 是机器学习中最核心、最成熟的分支。 归纳学习也称为: 经验学习:归纳学习依赖于经验数据 基于相似性的学习:归纳学习依赖于数据间的相似形 归纳的操作: 泛化(Generalization):扩展某假设的语义信息,使其能够包含更多的正例 特化(Specialization):泛化的相反操作,用于限制概念描述的应用范围,2019/4/12,史忠植 人工智能: 机器学习,13,归纳学习,归纳学习的分类和研究领域: 符号学习 监督学习: 实例学习:系统事先将训练例子(经验数据)分类:正、负例子。由于它产生规则,所以也称为概念学习 无监督学习:事先
11、不知道训练例子的分类 概念聚类: 机器发现 神经网络:本质上是实例学习,为区别起见,称为联结学习 学习的计算理论 传统的算法复杂性分析 概率近似正确性学习研究(计算学习理论),2019/4/12,史忠植 人工智能: 机器学习,14,实例学习,基本思想: 环境提供给系统一些特殊的实例,这些例子事先由施教者划分为正例和反例。 实例学习由此进行归纳推理,产生适用于更大范围的一般性知识,得到一般的规则 ,它将覆盖所有的正例并排除所有的反例。 环境提供给学习环境的例子是低水平的信息,这是在特殊情况下执行环节的行为。学习环节归纳出的规则是高水平的信息,可以在一般情况下用这些规则指导执行环节的工作,2019
12、/4/12,史忠植 人工智能: 机器学习,15,实例学习,例子空间要考虑的问题: 示教例子的质量 例子空间的组织和搜索方法 规则空间要考虑的问题 形成知识的归纳推理方法 搜索规则空间的方法 对规则空间的要求,2019/4/12,史忠植 人工智能: 机器学习,16,实例学习,按规则空间搜索方法分类: 数据驱动方法: 变型空间方法:采用统一的形式表示规则和例子。 改进假设方法:例子和规则的表示不统一。程序根据例子选择一种操作,用该操作修改H中的规则 模型驱动方法: 产生和测试方法:针对示教例子反复产生和测试假设的规则。利用基于模型的知识产生假设的规则,便于只产生可能合理的假设 方案示例方法:使用规
13、则方案的集合来限制可能合理的规则形式,最符合示教例子的规则被认为是最合理的规则,2019/4/12,史忠植 人工智能: 机器学习,17,实例学习,按任务的复杂性划分为: 学习单个概念:由系统提供的某个概念的正例和反例,只要求系统归纳出一个概念的描述规则 学习多个概念:要求归纳出多个相互独立的概念 学习执行多步任务:执行环节使用一个操作序列去完成任务,即执行环节进行任务规划。因此,归纳出的规则应该是进行任务规划的规则,2019/4/12,史忠植 人工智能: 机器学习,18,变型空间方法,基本思想:以整个规则空间为初始的假设规则集合H,根据示教例子中的信息,对集合H进行一般化或特殊化处理,逐步缩小
14、集合H,最后使H收敛为只含要求的规则。 规则空间中的偏序关系:它是按一般性和特殊性来建立的一种概念之间的关系 排序后的变形空间: 最上面:是最一般的 规则(概念),是没有描述的点,所有的例子都符合这一概念 最下面一行的各点:是示教正例对应的概念,每个点的概念只符合一个正例,2019/4/12,史忠植 人工智能: 机器学习,19,假设规则的集合H: H是规则空间的子集 H中最一般的元素组成的子集称为G集合 H中最特殊的元素组成的子集称为S集合 在规则空间中,H是G和S中间的一段。 可以用G和S来表示H 变型空间方法: 初始:G是最上面一个点,S是最下面的直线(示教正例),H为整个规则空间 搜索过
15、程:G下移,S上移,H逐步缩小。 结果:H收敛为只含一个要求的概念,变型空间方法,2019/4/12,史忠植 人工智能: 机器学习,20,消除侯选元素算法 (1)正规的初始H集是整个规则空间,这时S包含所有可能的示教正例(最特殊的概念)。 (2)接收一个新的示教例子。 如果是正例:去掉G中不覆盖新正例的概念,然后修改S为由新正例和S原有的元素共同归纳出的最特殊的结果 如果是反例:从S中去掉覆盖该反例的概念;然后修改G为由新反例和G原有元素共同特殊化为最一般的结果 (3)若G=S,且是单元集合,则转(4),否则转(2) (4)输出H中的概念(即G和S),变型空间方法,2019/4/12,史忠植
16、人工智能: 机器学习,21,变型空间法的缺点 (1)抗干扰能力差 变形空间法是数据驱动的方法,所有数据驱动的方法都难以处理有干扰的训练例子 算法得到的概念应满足每个示教例子的要求,所以一个错误的例子会造成很大的影响 (2)无法发现析取概念,变型空间方法,2019/4/12,史忠植 人工智能: 机器学习,22,决策树学习,决策树 通过把实例从根节点排列到某个叶子节点来分类实例。 叶子节点即为实例所属的分类 树上每个节点说明了对实例的某个属性的测试 节点的每个后继分支对应于该属性的一个可能值 正实例:产生正值决策的实例 负实例:产生负值决策的实例 决策树代表实例属性值约束的合取的析取式。从树根到树
17、叶的每一条路径对应一组属性测试的合取,树本身对应这些合取的析取,2019/4/12,史忠植 人工智能: 机器学习,23,决策树学习例子,2019/4/12,史忠植 人工智能: 机器学习,24,ID3算法,1、是利用信息论原理对大量样本的属性进行分析和归纳而产生的。 2、决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含的样本子集中信息量最大的属性。决策树的叶结点是样本的类别值。 3、用信息增益(即信息论中的互信息)来选择属性作为决策树的结点。,2019/4/12,史忠植 人工智能: 机器学习,25,决策树学习,熵(entropy):给定有关某概念的正例和负例的集合
18、S。对此BOOLEAN分类的熵为: Entropy(S)= - pos log2(pos) neg log2(neg) “pos”和”neg”分别表示S中正例和负例的比例。并定义:0log2(0)=0 如果分类器有c个不同的输出,则: Entropy(S)= - ci=1pi log2(pi) pi表示S中属于类i的比例,2019/4/12,史忠植 人工智能: 机器学习,26,决策树学习,例1:p1 = p2 = 1/2 H1 = -(1/2)*log2(1/2) - (1/2)*log2(1/2) = 1 例2:p1 = 1/4 p2 = 3/4 H2 = -(1/4)* log2(1/4)
19、 - (3/4)*log2(3/4)=0.81 例3:p1 = 1 p2 = 0 H3 = -1 * log21 = 0,2019/4/12,史忠植 人工智能: 机器学习,27,决策树学习,实例集合S中属性A的信息增益为: Gain(S, A)= Entropy(S) - (|SV|/|S|)Entropy(Sv) vvalues of A Sv表示S的子集,其属性A的值为V,2019/4/12,史忠植 人工智能: 机器学习,28,决策树学习,思路: 考察任一个属性,计算其熵值; 对这个特定属性,考察根据其不同的属性值分成的若干子集; 对任意子集,考察不同的类别,计算其熵值并求和; 从所有属性
20、中,选择熵值最小( 或增益最大)的属性作为当前决策节点。,2019/4/12,史忠植 人工智能: 机器学习,29,2019/4/12,史忠植 人工智能: 机器学习,30,内容提要,5.1 机器学习概述 5.2 归纳学习 5.3 类比学习 5.4 统计学习 5.5 强化学习 5.6 进化计算 5.7 群体智能 5.8 知识发现 5.9 小结,31,类比学习,类比学习 类比学习(learning by analogy)就是通过类比,即通过对相似事物加以比较所进行的一种学习 。 其推理过程如下 : 回忆与联想 选择 建立对应关系转换 P(a) Q(a) , P(a) P(b) Q(b)Q(a),20
21、19/4/12,史忠植 人工智能: 机器学习,32,类比学习主要包括如下四个过程: 输入一组已知条件和一组未完全确定的条件。 对两组出入条件寻找其可类比的对应关系。 根据相似转换的方法,进行映射。 对类推得到的知识进行校验。,类比学习,2019/4/12,史忠植 人工智能: 机器学习,2019/4/12,史忠植 人工智能: 机器学习,33,发展简况, 1971年,Kling, R.E., Stanford Research Institute, 发表文章“A Paradigm for Reasoning by Analogy” 提出了记忆网模型和案例 检索算法。 1981年,Jaime G.
22、Carbonell, Carnegie-Mellon University,发表文章“A Computational Model of Analogical Problem Solving”,提出了转换类比 1983年,Jaime G. Carbonell,发表文章“Derivational Analogy and its role in Problem Solving”,提出了 派生类比 1991年,Jaime G. Carbonell等,发表文章“PRODIGY: An Integrated Architecture for Planning and Learning”, 开发了PRODI
23、GY系统。,2019/4/12,史忠植 人工智能: 机器学习,34,类比的形式定义,A,B,A,B,类比问题求解的一般模式,2019/4/12,史忠植 人工智能: 机器学习,35,转换类比,2019/4/12,史忠植 人工智能: 机器学习,36,手段-目的分析的问题求解模型,问题空间: 一组可能的问题组合状态集。 一个初始状态。 一个或多个目标状态。 一组变换规则集 差别函数 对可用规则编序的索引函数 一组全局路径限制 差别表,S-MEA算法,2019/4/12,史忠植 人工智能: 机器学习,37,比较当前状态和目标状态,得出差别 选择合适的规则,以减少两个状态间的差别 尽可能应用转换规则,直
24、至完成状态转换。否则保存当前状态,并将MEA算法递归地应用于其它子问题,直到该子问题确认不能满足该规划的前提条件为止。 当子问题求解后,恢复被保存的当前状态,再继续求解原来的问题,2019/4/12,史忠植 人工智能: 机器学习,38,类比求解问题的计算模型,EMEA的T-空间包括: 转换空间中每个状态是初始问题的潜在解,包括初始状态、最终状态、操作符序列以及路径限制。 初始状态:O-空间中检索到的相似问题的解序列。 目标状态:求解新问题的解的规范说明。 操作符将一个完整的解序列映射到另一个潜在的解序列。 差别函数:新问题情况下检索解的初始状态、中止状态、路径的约束和应用度之间的差别测度的综合
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 ArtificialIntelligence 第五 ppt 课件
链接地址:https://www.31doc.com/p-2584116.html