十三章节判别分析.ppt

第十三讲 判别分析,一、距离判别,二、Bayes判别,三、Fisher判别,一、距离判别,定义18.1,（一）,马氏距离,设 和 是总体 中抽取的样品，,称,的均值和协方差阵分别为 和,为 与 之间的马氏距离，记为 ，即,为 与总体 的马氏距离，,容易证明 满足距离的三条基本公里：,称,（1）非负性：,（2）自反性：,且当且仅当,时，,（3）三角不等式：,对任意三个点,及 有,（二）,两个总体的判别,设有两个总体为 和 ，,对于给定的样品,需要判断它来自哪个总体？,判别的规则是：当 时，,判定 ；,否则判定 。,定理18.1,当参数 及 已知时，,判别准则,是：,当 时，,判定 ；,否则，,判定 ，,其中 ，,两个总体协方差阵相同的情形：,证明,因为,令,所以当 时，,有,判定 ；,否则判定,由于函数,是 的线性函数，故称 为 的线性判别,函数，称 为判别系数。,在实际应用中，参数 及 往往是未知的，,此时需要根据收集到的样本资料对参数作出估,计，然后将其相应的估计值代入线性判别函数,中。,下面就给出参数的估计。,设 是来自总体 的样本，,是来自总体 的样本，,且两样本相,互独立，则样本平均值,分别是总体均值 和 的无偏估计。,的估计为,这样 的估计可取为,其中,故当参数均未知时，判别函数为,其中判别系数为,注：距离判别法没有要求知道总体的分布。,两个总体协方差阵不等的情形：,设两个总体 和 的协方差阵为 和 ，,且,所有的参数均已知，这时就直接用样,品到总体的马氏距离来判别，即判别规则为,当 时，,当 时，,其中,当参数 未知时，,需用来自两个,总体的相互独立的样本来估计这些参数，即,将这些估计值代入上述判别法即可进行判别。,通常为了初略了解所建立的判别方法的,误判率，,需进行回报判别，即对已给的两个样,本逐个进行判别，可以计算出回报误判率。,若,回报的误判率较大，则说明所建立的判别规则,不适用，分析其原因，重新建立恰当的判别规,则。,注：回报的误判率并不是错判概率，一般情形,下，前者比后者小，这种衡量标准仅供参考。,（三）,多个总体的判别,设有 个总体：,其均值和,协方差阵分别为 及,且,所有的 。,当这些参数都已知时，计算,若存在某个 使得,成立，则判别 。,同样地当总体的参数是未知的时，应先利,用来自 个总体的相互独立的样本给出所有未,知参数的估计，再利用上述判别法进行判别。,对同协方差阵的情形，可以由 个样本给,出的 估计,具体判别过程,不再赘述。,二、Bayes判别,（一）,Bayes判别法的基本概念,设有 个总体 ，其概率密度分,别为,且是互不相同的。,进一步假设已知 个总体各自发生的概率为,这个已知的概率称为先验概率，,它,可以由经验给出，也可以由收集到的历史资料,确定。,定义损失函数 ，,表示将本来属,于 的样品错判为属于 所造成的损失，,规,定,显然应有,当然也可用矩阵表示，即,其中,或 ，,由于一个判别规则实质上是就是对 维空间,划分成 个互不相交的部分 ，,即满足,和,故为了方便起见，可简记一个,的样品判为属于 的（错判概率）概率记为,判别规则为,那么将属于,即,注意这里的积分是 重积分。,这样在判别规则 下，,错判来自总体 的个,这时 表示正确判别的概率，即,因此有,体所造成的平均损失为,其中 表示损失矩阵的第 行元素，,而,表示矩阵,的第 行元素。,由于每,个总体发生的概率为,所以通过判别,规则 来进行判别所造成的总平均损失为,Bayes方法的原理是寻求使平均损失达到,最小的规则或一种划分,这种规则或划分称为Bayes判别法。,并将,（二）,两个总体的判别,设有两个总体,其密度函数分,两个总体的先验概率为,损失函数矩阵为,定理18.2,别为,则Bayes判别法,具有如下形式,在实际使用Bayes判别法时，并不需要求出,集合,而只要将需判别的样品 代入,若该不等式成立，则判定,否则，,判定,如果总体 分别服从协方差阵相同的,正态分布,则Bayes判别,法有更简便的形式，依定理形式给出如下。,定理18.3,设总体 分别服从协方差阵相,Bayes判别法,同的正态分布,且,则当参数 均已知时，,具有如下形式,其中,注：从 的表达式可知Bayes判别函数与,距离判别函数完全相同，只是临界值有所不,同，,当先验概率 ，即任取一个样,品 ，,它等可能地来自总体 或 ，,且错判,损失 时，,有,这说明在种情况,下Bayes判别与距离判别等价。,其它情形下两,者并不等价。,当参数 均已知时，,定理18.3中的,Bayes判别法的所产生的错判概率为,其中,在实际应用中，参数 及 往往是未知的，,此时需要根据收集到的样本资料对参数作出估,计，然后将其相应的估计值代入线性判别函数,中不再赘述。,例子可参见P316。,（三）,多个总体的判别,设有 个总体 ，其概率密度分,别为,且各个总体 出现,的先验概率为,错判造成的损失为,假设,为 维空间 的一,个划分，则在规则 下，错判的平均损失为,如何寻找一个划分 ，使 达到最小呢？,我们有如下的定理。,定理18.4,设有 个总体 ，其概率,密度分别为,且各个总体,出现的先验概率为,错判造成的,损失为,则使,达到最小的划分 为,其中,由定理所获得的划分 称为,划分 的Bayes解。,定理18.4给出了实际可行的具体判别方法。,对给定的样品 ，,计算 个错判平均损失,然后比较他们的大小，若 最小，则判定,。,推论18.1,在定理18.4的条件下，若,(即错判的损失均相同)，则,Bayes解为,此推论说明当错判损失相同时，Bayes解具,有上述更简单的形式。,三、Fisher判别,设有 个总体：,其均值和,协方差阵分别为 及,任,给一个样品 ,考虑它的线性函数 ，,则在 来自 的条件下有,若令,其中,判别函数中的系数 的选取应使目标函数,达到极大，此时极大值 称为判别效率。,定理18.5,设有 个总体：,其均,值和协方差阵分别为 及,任给一个样品 ,在 下，使得,正是矩阵 的最大特征值 所对应的特征,达到最大的线性判别函数 中的系数,向量，其中,是所有元素都是 的 矩阵。,判别方法：对给定的样品 ，,计算,若存在 使得,成立，则判定 。,如果认为这种判别法还不很好的区分各个,总体，还可以由 的前 个特征值,所对应的特征向量,建立 个线性判别函数,这样,就相当于把原来的 个指标压缩成 个指标，,再用这 个指标，根据欧氏距离的大小来规定,的范围，即对 维空间 作划分,其中,当样品 时，则判定 。,第二次小论文,聚类分析和判别分析,用聚类分析方法对全国各省或直辖市进行经,济进行经济类型分类。数据可从统计年鉴上,1.,获得，自己选择决定经济类型的因素变量。,分类后进行解释，即是否符合直观判断。,2.,建立判别分析方法，并对选择的对象进行回,报判别，用回报率说明方法是否适用。,3.,或对自己感兴趣的问题建立判别分析方法。,Five measure of socio-economic data on Swiss provinces,