第17章数据挖掘模型评价.ppt
《第17章数据挖掘模型评价.ppt》由会员分享,可在线阅读,更多相关《第17章数据挖掘模型评价.ppt(49页珍藏版)》请在三一文库上搜索。
1、Copyright 2003-12, SPSS Taiwan Corp.,数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编 邓 松 李文敬 刘海涛 编著 电子工业出版社,Copyright 2003-12, SPSS Taiwan Corp.,2,Copyright 2003-12, SPSS Taiwan Corp.,3,17.1基于损失函数的标准 17.1.1混淆矩阵 17.1.2准确率及误差的度量 17.1.3两个评价模型成本的可视化工具 17.1.4评估分类器的准确率 17.2基于统计检验的准则 17.2.1统计模型之间的距离 17.2.2统计模型的离差 17.3基于
2、记分函数的标准 17.4贝叶斯标准,17.5计算标准 17.5.1交叉验证标准 17.5.2自展标准 17.5.3遗传算法 17.6小结,Copyright 2003-12, SPSS Taiwan Corp.,17.1基于损失函数的标准,17.1.1混淆矩阵 混淆矩阵(confusion matrix )用来作为分类规则特征的表示,它包括了每一类的样本个数,包括正确的和错误的分类。 主对角线给出了每一类正确分类的样本的个数,非对角线上的元素则表示未被正确分类的样本个数。,Copyright 2003-12, SPSS Taiwan Corp.,对于 m类的分类问题,误差可能有m2-m。如果仅
3、有2类(正样本和负样本,用T和F或1和0来象征性地代表),就只有两类误差。 期望为T,但分类为F:称为假负。 期望为F,但分类为T:称为假正。 此外 期望为T,但分类为T:称为真正。 期望为F,但分类为F:称为真负。,Copyright 2003-12, SPSS Taiwan Corp.,我们可以把它们汇总在表17-1正、负样本的混淆矩阵中。,表17-1 正、负样本的混淆矩阵,Copyright 2003-12, SPSS Taiwan Corp.,当分类数m为3时,对角线给出正确的预测。如表17-23个类的混淆矩阵所示。 在本例中,总共是150个检验样本。有6类误差(m2-m=32-3=6
4、), 在表中它们以粗体字表示。 可以看到,这个分类器对于属于B类的46中的38个样本给出了正确的分类;8个样本给出了错误的分类,其中2个分到了A类,6个分到了C类。,表 17-2 3个类的混淆矩阵,Copyright 2003-12, SPSS Taiwan Corp.,17.1.2 准确率及误差的度量 为了度量分类器的预测精度,如果明确或隐含地假设每个被错分的数据会产生相同的成本,我们引入误差率和准确率这两个参数作为它的一个性能度量来对其进行评估。 误差率R是误差数目E和检验集中的样本数S的比值: (17-1) 分类器的准确率A是检验集中正确分类数和检验集中样本数S的比值,它的计算是: (1
5、7-2),Copyright 2003-12, SPSS Taiwan Corp.,到目前为止,我们所假设的是每个误差同等成本,如果对于不同的错误有不同的成本的话,即使一个模型有低的准确率,它也比一个有高准确率但是成本高的模型更好。 例如,在表17-23个类的混淆矩阵中如果假定每一个正确分类的成本为1000元,关于A类分错的成本是500元,关于B类分错的成本是1000元,关于C类分错的成本是2000元,则通过矩阵计算模型成本为(1231000)(5500)(121000)(102000)=88500元。,Copyright 2003-12, SPSS Taiwan Corp.,因此当不同类型的
6、误差对应不同的权值时,我们要将每个误差乘以对应的权值因子cij 如果混淆矩阵中的误差元素为eij,那么总成本函数C(替代精度计算中的误差数)可以计算为: (17-3 ),Copyright 2003-12, SPSS Taiwan Corp.,要描述模型的质量,必须有更加复杂和全局性的度量。为此我们引入5个参数:敏感性(sensitivity),特异性(specificity),精度(precision),错误正例(false positives),错误负例(false negatives)。 敏感性(sensitivity)= (17-4) 特异性(specificity)= (17-5),
7、Copyright 2003-12, SPSS Taiwan Corp.,以上两个参数分别评估分类器识别正样本的情况和识别负样本的情况。 精度(precision)= (17-6) 错误正例(false positives)=1- (17-7) 错误负例(false negatives)=1- (17-8),Copyright 2003-12, SPSS Taiwan Corp.,其中,t_pos是真正的样本个数, pos是正样本数,t_neg是真负的样本个数,neg是负样本的个数, f_pos是假正的样本个数。 最终准确率为: A= + (17-9),Copyright 2003-12, S
8、PSS Taiwan Corp.,例17-1 基于表17-1 正、负样本的混淆矩阵。事件(Event)这个术语代表二值响应变量的值Y,Event (1)表示成功,Event(0)表示失败。可以把一个检验数据集中的样本数据分为可能的4类,如表17-3事件(Event)的混淆矩阵:,表 17-3 事件(Event)的混淆矩阵,Copyright 2003-12, SPSS Taiwan Corp.,该模型的敏感性(sensitivity),特异性(specificity),精度(precision),错误正例(false positives),错误负例(false negatives)5个参数分别
9、为: 敏感性(sensitivity)= 特异性(specificity)= 精度(precision)= 错误正例(false positives)= 错误负例(false negatives)=,Copyright 2003-12, SPSS Taiwan Corp.,介绍lift图和ROC曲线,这两个图都可以用来评价模型成本。它们都是关于二值响应变量的,而二值响应变量是评价方法发展最快的领域。 17.1.3.1 lift图 lift图把验证数据集中的观测数据根据它们的分数以升序或降序排列,分数是基于训练数据集估计的响应事件(成功)的概率。把这些分数再细分成10分位点,然后对验证数据集中的
10、每个10分位点计算和图示成功的预测概率。如果这些成功的预测概率与估计概率具有相同的顺序(升序或降序),那么模型就是有效的。,17.1.3 两个评价模型成本的可视化工具,图17-1lift图示例比较了两个分类模型的lift图,Copyright 2003-12, SPSS Taiwan Corp.,图中可看出分数以降序排列,所以曲线减少越多表明模型越好。因此模型classification tree看起来比另一个更好,特别是在第3个10分位点,它具有较好的成功率。 用每个曲线的值除以基本线,可得到性能的相对指标,称为lift,它测量一个模型的价值。 对于模型classification tree
11、,在第3个10分位点的lift值为2.77(即2.27/1.0),这意味着使用模型classification tree的成功率是随机选择(基本线)的3倍。,Copyright 2003-12, SPSS Taiwan Corp.,17.1.3.2 ROC曲线 ROC曲线显示了给定模型的真正率即敏感性与假正率(错误正例)之间的比较评定。也就是说,给定一个二类问题,我们可以对检验集的不同部分,显示模型可以正确识别正样本的比例与模型将负样本错误标识为正样本的比例之间的比较评定。敏感性的增加以错误正例的增加为代价。,Copyright 2003-12, SPSS Taiwan Corp.,ROC曲线
12、的画出以错误正例为水平抽,以敏感性为垂直轴,截止点是任意特定点。在模型比较方面,理想的曲线是和垂直轴一致的曲线。所以最佳曲线是最靠左边的曲线。 图17-2 3个分类模型的ROC曲线给出了对3个分类模型的ROC曲线,它说明最佳模型是reg2。不过三个模型实际上是相似的。,图17-2: 3个分类模型的ROC曲线,Copyright 2003-12, SPSS Taiwan Corp.,通常把数据集分为训练集和检验集,在训练集上建立模型,然后在检验集上评估其质量。怎样将可用样本分为训练样本和检验样本呢? 这里我们将讨论将较小数据集划分为训练样本集和检验样本集的不同技术,这种技术通常叫做再取样方法。
13、17.1.4.1 再替换方法 所有可用的数据集都既用于训练集也用于检验集。换句话说,训练集和检验集是相同的,17.1.4 评估分类器的准确率,Copyright 2003-12, SPSS Taiwan Corp.,17.1.4.2保持方法和随机子抽样 保持(holdout)方法是我们目前为止讨论准确率时默认的方法(见图17-3 用保持方法估计准确率)。在这种方法中,给定数据随机地划分到两个独立的集合:训练集和检验集。通常,三分之二的数据分配到训练集,其余三分之一分配到检验集。使用训练集导出模型,其准确率用检验集估计。 随机子抽样(random subsampling)是保持方法的一种变形,它
14、随机地选择训练集和检验集,将保持方法重复k次。总准确率估计取每次迭代准确率的平均值。,图17-3: 用保持方法估计准确率图,Copyright 2003-12, SPSS Taiwan Corp.,17.1.4.3 交叉确认 在k折交叉确认(k-fold cross-validation)中,初始数据随机划分成k个互不相交的子集或“折”D1,D2,Dk,每个折的大小大致相等。训练和检验进行k次。在第i次迭代,划分Di用作检验集,其余的划分一起用来训练模型。即在第一次迭代子集D2,Dk 一起作为训练集,得到第一个模型,并在D1上检验;如此下去。与上面的保持和随机子抽样方法不同,这里每个样本用于训
15、练的次数相同,并且用于检验一次。对于分类,准确率估计是k次迭代正确分类的总数除以初始数据中的样本总数。 留一(leave-one-out)是k折交叉确认的特殊情况,其中k设置为初始样本数。用k-1个样本作为训练集,每次只给检验集“留出”一个样本,由此设计一个模型。从k个样本中选k-1个样本有k中选择,所以可用不同的大小为k-1训练样本重复进行k次。由于要设计k个不同的模型并对其进行比较,这种方法计算量很大。,Copyright 2003-12, SPSS Taiwan Corp.,17.1.4.4 自助法 自助法(bootstrap method)从给定训练样本中有放回均匀抽样。即每当选中一个
16、样本,它等可能地被再次选中并再次添加到训练集中。 有多种自助法方法。常用的一种是.632自助法,其方法如下,设给定的数据集包含d个样本,该数据集有放回地抽样d次,产生d个样本的自助样本集或训练集。原数据样本中的某些样本很可能在该样本集中出现多次。没有进入该训练集的数据样本最终形成检验集。,Copyright 2003-12, SPSS Taiwan Corp.,“数字63.2从何而来?”每个样本被选中的概率是1/d,因此未被选中的概率是(1-1/d)。经过挑选d次,一个样本在全部d次挑选都未被选中的概率是(1-1/d)d。如果d很大,该概率近为e-1=0.368。这样,36.8的样本未被选为训
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 17 数据 挖掘 模型 评价
链接地址:https://www.31doc.com/p-2596770.html