教育系统中的多变量分析及其应用.ppt
数据挖掘及其应用,傅德荣,内 容,一、数据挖掘概述 二、DM与教育 三、教育应用 四、基于聚类的DM 五、马氏距离及其应用（判别分析） 六、数量化类应用 预约数的预测 超市顾客数预约 问卷设计与分析,一、数据挖掘概述,1.数据挖掘（Data Mining）定义 从大量数据中发现信息、看法、知识、假设、课题的处理和方法。 KDD（Knowledge Discovery in Database） DM是KDD的挖掘、发现部分。 发掘数据中内在的规则、知识 专家系统：抽出专家头脑中的知识，以便利用 DM：发掘数据中内在的、非明示的知识。 期待：信息社会中洪水般信息带来的诸问题的解决对策。,2. DM的处理过程,（）DM的处理过程,（1）数据仓库：获取、选择相关目的数据 （2）对数据进行重要的前期处理、变换 （3）从数据中发现知识 （4）对多发现的知识解释、评价、应用 这个过程可认为是知识发现的过程。 有时对（3）也称之为DM 。 从（1） （4）不是单纯的直线进行，在每一处理阶段为了达到满意的结果，还需要返回前面的阶段，这个处理过程可能需要多次反复。,（）DM处理的说明,一、数据的获取、选择 理解对象领域的性质 具备对象领域的基本知识 设定DM的目标 对象领域的数据集中在多个体内，并对这些库集中管理称之为数据仓库。 对库内数据集合挖掘时应基于选定的目标。 计算机支持是导致DM成功的重要处理。,二、数据的预处理,从目标数据中消除杂音、异常值 连续数据离散，分类离散数据连续化、修补。 单位变化，坐标变换规范化 根据DM算法的要求,数据变换,预处理数据应是能符合知识发现算法要求的数据，所以数据变换可考虑到入预处理，即预处理应包含直接数据变换及其以前的全部过程。此外，还应包括属性的选择，属性的抽出，属性的建构，事例的选择。,许多知识发现的算法是以表形式的数据为对象的，数据变换的记过，往往是以表形式给出的。然而，文本信息，Web信息，判别是属性信息、药物信息等多为表形式的信息，它们是一般的表形式信息，需要别的变换处理。,三、知识发现,利用知识发现的算法，可从数据中抽出我们感兴趣的知识的候补（准知识）。利用的手法主要是统计的方法，机器学习的方法、数据挖掘的传统方法。 探索空间通过输入各种方法所规定的参数的选择多规定。 其结果，可得到概念的描述，分类的规则、相关的规则。决策树、聚类，针对不同性质，不同数量的数据，应使用不同的算法。,四、数据的解释与评价,抽出的准知识，经过解释、评价可得到完全的知识。若在此阶段还得不到这样的宏观知识，则应返回以上的步骤。究竟返回到哪一步只有在处理的过程中方能确定，也有可能返回新的数据收集。对于所得到的知识是否是所需的有用知识，应对照最初设定的标准来确认。,数据挖掘的结果及其解释应置于重要的未知，这是DM的重要特性，用户（专家）不能理解的知识是不能使用的。 上述的步骤中，许多研究集中在知识的发现算法上。然而，在DM中，最重要的是数据的获得、选择、预处理。DM中，数据是以一定的形式存放在数据库中的，这是DM的前提，用于DM 的形式，在这个处理数据比例的7070%，能否实现有用的、良好的知识的发现与DM算法有关、与有效数据的收集有关。有效数据的准备是DM成功的重要保障。,获取数据应基于DM 的目的。在DM最初，确定的目的设定有时是比较困难的。所收集的数据可能是没有准确的目的，单在使用这些数据时，设定适当的目的是十分重要的。在庞大的数据中，若不关注这样的目的，则 不可能得到有用的知识。 设定目的是DM的开始，也是对挖掘的知识有效性评价的根据。在DM过程中，应反复听取专家的意见。处理的多阶段应反复进行，直到得到有效的知识和预设的目的。,3. DM系统,DM系统模块,用户接口： 用户与系统交互性 易于实验 视觉化 数据库接口： 是连接对象数据库的接口 通过接口，可对关系数据中的表、面向对象数据库只能够的对象，进行操作,DM模块 置入用于知识发现的算法 多种或一种 DM工具 推理、知识库 基于DM目的的多背景知识 对获取知识的存储、修正、活用,4. 应用,金融 流通 装备制造 通信 医疗,二、DM与教育概述,1. 教育的过程是一种信息（产生、传递、处理、呈现、存储）的过程。 从表面现象获取实质规律 DM 2. 远教（e-Learning）的特点,3.应用面（表观现象 本质） 学习过程 学习者特性 教材（资源）特性 教育评价 学习方式（教学模式） 问卷处理 教育现象的描述（分类）与预测,三、教育应用实例,1.学习异常的检测,2. 学习状态的预测,3.学习资源的评价,4. 协作学习,1.等价发言数 2.形态词分析,四、基于聚类的DM,1.基于股票价值和资本金聚类 （1）八家公司的数据,（2）散布图,（3）计算欧氏距离,（4）以最短距离法聚类,（5）以Ward法聚类,不同的聚类算法有不同的聚类结果,2. 八个变量的聚类,（1）变量数据,（2）树状图,（3）分类,3.七个变量聚类,4.三个变量,变量数不同，聚类结果不同！,五、马氏距离及其应用（判别分析）,1.相关的二维数据 （1）数据,（2）散布图,（3）计算马氏距离,马氏距离,（4）基准空间的马氏距离分布,2.不相关的数据,（1）数据,（2）散布图,（3）判别分析,不明数据,马氏距离,直方图,3.多个变量数据,（1）数据,（2）马氏距离,（3）不明公司的马氏距离,（4）相关矩阵,六、数量化类应用,1.预约数的预测 （1）数量化类模型 特点： 变量为定性的信息 利用虚拟变量的回归分析,（2）数据,（3）改写后的数据,（4）削减类别,（5）预测式,（6）预测,（7）要因分析,各种因素中最具影响的因素指标： 该因素中回归系数的范围。,2.超市顾客数预测,（1）顾客数据,（2）用于分析的数据,（3）预测式,（4）预测效果,（5）要因分析,（6）关于一周和事件日的预测,3.问卷设计与分析,（1）假期旅游方案,（2）问卷设计,（3）问卷结果,（4）用于分析的数据,（5）预测式,（6）要因分析,结论：,季节：初秋 地点：北海道 住：包早、晚餐饭店，5天 全程自由活动 费用：6万（日元）,
