高级人工智能_知识发现.ppt
《高级人工智能_知识发现.ppt》由会员分享,可在线阅读,更多相关《高级人工智能_知识发现.ppt(36页珍藏版)》请在三一文库上搜索。
1、2020/1/19,高级人工智能 史忠植,1,高级人工智能,第十三章 知识发现 (一),2020/1/19,高级人工智能 史忠植,2,知识发现,概述 知识发现的任务 数据仓库 知识发现工具,2020/1/19,高级人工智能 史忠植,3,知识发现,知识发现是指从数据集中抽取和精炼新的模式。 范围非常广泛:经济、工业、农业、军事、社会 数据的形态多样化:数字、符号、图形、图像、声音 数据组织各不相同:结构化、半结构化和非结构 发现的知识可以表示成各种形式 规则、科学规律、方程或概念网。,2020/1/19,高级人工智能 史忠植,4,数据库知识发现,目前, 关系型数据库技术成熟、应用广泛。因此, 数
2、据库知识发现(Knowledge Discovery in Databases KDD)的研究非常活跃。 该术语于1989年出现,Fayyad定义为“KDD是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程”,2020/1/19,高级人工智能 史忠植,5,不同的术语名称,知识发现是一门来自不同领域的研究者关注的交叉性学科,因此导致了很多不同的术语名称。 知识发现:人工智能和机器学习界。 数据挖掘(data mining): 统计界、数据分析、数据库和管理信息系统界 知识抽取 (information extraction)、 信息发现 (information di
3、scovery)、 智能数据分析 (intelligent data analysis)、 探索式数据分析 (exploratory data analysis) 信息收获 (information harvesting) 数据考古 (data archeology),2020/1/19,高级人工智能 史忠植,6,2020/1/19,高级人工智能 史忠植,7,知识发现的任务,数据总结: 对数据进行总结与概括。传统的最简单的数据总结方法是计算出数据库的各个字段上的求和值、平均值、方差值等统计值,或者用直方图、饼状图等图形方式表示。 分类: 根据分类模型对数据集合分类。分类属于有导师学习,一般需要
4、有一个训练样本数据集作为输入。 聚类: 根据数据的不同特征,将其划分为不同的类。无导师学习,2020/1/19,高级人工智能 史忠植,8,知识发现的任务,相关性分析: 发现特征之间或数据之间的相互依赖关系 关联规则 偏差分析: 基本思想是寻找观察结果与参照量之间的有意义的差别。通过发现异常, 可以引起人们对特殊情况的加倍注意。 建模: 构造描述一种活动或状态的数学模型,2020/1/19,高级人工智能 史忠植,9,知识发现的方法,统计方法:,传统方法: 回归分析、判别分析、聚类分析、探索性分析 模糊集(fuzzy set) Zadeh 1965 支持向量机(Support Vector Mac
5、hine) Vapnik 90年代初 粗糙集(Rough Set) Pawlak 80年代初,2020/1/19,高级人工智能 史忠植,10,知识发现的方法,机器学习:,规则归纳:AQ算法 决策树:ID3、C4.5 范例推理:CBR 遗传算法:GA 贝叶斯信念网络,2020/1/19,高级人工智能 史忠植,11,知识发现的方法,神经计算: 神经网络是指一类新的计算模型,它是模仿人脑神经网络的结构和某些工作机制而建立的一种计算模型。常用的模型:,Hopfield网 多层感知机 自组织特征映射 反传网络,可视化:,2020/1/19,高级人工智能 史忠植,12,KDD的技术难点,动态变化的数据 噪
6、声 数据不完整 冗余信息 数据稀疏 超大数据量,2020/1/19,高级人工智能 史忠植,13,数据仓库,在过去几十年,数据库技术,特别是OLTP(联机事务处理),主要是为自动化生产、精简工作任务和高速采集数据服务。它是事务驱动的、面向应用的。 20世纪80年代,人们要利用现有的数据,进行分析和推理,从而为决策提供依据。这种需求既要求联机服务,又涉及大量用于决策的数据。而传统的数据库系统已无法满足这种需求:,所需历史数据量很大,而传统数据库一般只存储短期数据。 涉及许多部门的数据,而不同系统的数据难以集成。 对大量数据的访问性能明显下降,2020/1/19,高级人工智能 史忠植,14,数据仓库
7、的定义,信息处理技术的发展趋势是:从大量的事务型数据库中抽取数据,并将其清理、转换为新的存储格。随着此过程的发展和完善,这种九十年代初出现的支持决策的、特殊的数据存储即被称为数据仓库(Data Warehouse)。 Inmon将数据仓库明确定义为: 数据仓库(Data Warehouse)是面向主题的,集成的,内容相对稳定的、不同时间的数据集合,用以支持经营管理中的决策制定过程。,2020/1/19,高级人工智能 史忠植,15,数据仓库的特征,数据仓库中的数据是面向主题的 与传统数据库面向应用相对应的。主题是一个在较高层次将数据归类的标准,每一个主题基本对应一个宏观的分析领域 数据仓库中的数
8、据是集成的 在数据进入数据仓库之前,必然要经过加工与集成。要统一原始数据中的所有矛盾之处,还要进行数据综合和计算,2020/1/19,高级人工智能 史忠植,16,数据仓库的特征,数据仓库中的数据是稳定的 数据仓库的数据主要供决策分析之用,所涉及的操作主要是数据查询,一般不进行修改操作 数据仓库中的数据又是随时间不断变化的 数据仓库的数据不是实时更新的,但并不是永远不变的,也要随着时间的变化不断地更新、增删和重新综合。 更新周期,2020/1/19,高级人工智能 史忠植,17,元数据,元数据(Metadata)是关于数据的数据,它描述了数据的结构、内容、编码、索引等内容。传统数据库中的数据字典是
9、一种元数据,但在数据仓库中,元数据的内容比数据库中的数据字典更加丰富和复杂。设计一个描述能力强、内容完善的元数据,是有效管理数据仓库的具有决定意义的重要前提,2020/1/19,高级人工智能 史忠植,18,元数据的重要性,数据仓库使用者往往将使用元数据作为分析的第一步。元数据如同数据指示图,指出了数据仓库内各种信息的位置和含义 从操作型数据环境到数据仓库的数据转换是复杂的、多方面的,是数据仓库建设的关键性步骤,元数据要包含对这种转换的清晰描述,保证这种转换是正确、适当和合理的,并且是灵活可变的 元数据还管理粒度的划分、索引的建立以及抽取更新的周期等,以便管理好数据仓库中的大规模数据,2020/
10、1/19,高级人工智能 史忠植,19,数据仓库的相关概念,事实表(Fact):存储用户需要查询分析的数据,事实表中一般包含多个维(Dimension)和度量(Measurement)。 维:代表了用户观察数据的特定视角,如:时间维、地区维、产品维等。每一个维可划分为不同的层次来取值,如时间维的值可按年份、季度、月份来划分,描述了不同的查询层次。 度量:是数据的实际意义,描述数据“是什么”,即一个数值的测量指标,如:人数、单价、销售量等。,2020/1/19,高级人工智能 史忠植,20,数据仓库的建模模型,度量的实际数据存放在事实表中。维的详细信息,如不同的层次划分和相应数据等在维表中存储,事实
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高级 人工智能 知识 发现
链接地址:https://www.31doc.com/p-4957965.html