六章非参数统计.ppt

第六章 非参数统计,利用P值进行决策：,P- Value: 观察到的显著水平,假设检验. P-Value,例题 ：钻头寿命,抽取一个随机样本 n = 25, H0: = 32 H1: 32 （左尾检验） 观察到的 Z score 是 p-Value （NORMSDIS）: 这个概率值过分小了.因此我们拒绝 H0.,非参数统计,优点： （1）对总体分布一般无特殊假设； （2）适用于一些较低的计量标准（如顺序变量， 名义变量）；,数据计量的尺度,定性变量（ Qualitative ）： 名义变量（ Nominal Scale ）：2检验 顺序变量（ Ordinal Scale ）：符号检验、秩检验，等 定量变量（ Quantitative ） : Z检验，t检验（正态总体） 非参数检验（总体分布未知）,6.1 拟合优度的2检验 The Chi-Square Goodness -of- Fit Test,检验目的：总体被分为K类; 检验观测频次与期望频次是否吻合？ H0: 总体在第 1, 2, , K 类中的比率分别是 p1, p2, , pk . H1:上述比率中至少有一个是不正确的.,例. 某小汽车经销商根据去年销售小汽车的颜色的百分率，认为今年顾客选择各颜色的数目仍将不变。他随机抽取了150名顾客询问：,color pi oi ei (oi-ei) (oi-ei)2/ei yellow 0.2 35 30 5 0.83 red 0.3 50 45 5 0.55 green 0.1 30 15 15 15.00 blue 0.1 10 15 -5 1.67 white 0.3 25 45 -20 8.90 Total 1.0 150 150 0 26.96,又例: 香皂的颜色, 牙膏的包装等,6.2 列联表独立性检验 Test of Independence of Contingency Tables,列联表（ Contingency table ） 两个定性变量的相关关系 例：对电视节目的选择与工资收入是否相关？,H0: 对电视节目的选择与工资收入无关. H1:对电视节目的选择与工资收入相关. 取=0.05, df = (H-1)(K-1)=(3-1)(3-1)=4 查表： 2(4)=9.49 观察的2值为 : 2= 21.1749.49 因此，拒绝 H0 . 收入与电视选择具有相关性.,习惯 性别 男 女 xi 几乎天天看 a b a+b 偶 尔 看 c d c+d xj a+c b+d n,例：在电视收视率调查中，得到性别与收视习惯的列联表如下。试分析性别与收视习惯的相互关系。,习惯 性别 男 女 xi 几乎天天看 38 24 62 偶 尔 看 31 7 38 xj 69 31 100,0.55,0.77,0.45,0.23,介绍几个比较重要的检验问题,参数检验（t-检验，z-检验） 1、关于总体均值的检验 2、两个总体的均值是否相等 （1）独立样本问题 （2）配对样本问题,非参数检验（符号检验、秩检验、游程检验） 1、关于总体中位数的检验 2、两个总体的中位数是否相等 （1）独立样本问题 （2）配对样本问题,6.3 符号检验 （Sign Test),一. 符号检验的基本原理,Bernoulli试验: 二项分布： n次独立的Bernoulli试验。S+表示成功的次数, S- 表示失败的次数 (S- = n S+ ). P(S+ =k) =,提出假设：成功的概率与失败的概率相等，即： p = 0.5 S+ S-,如果实验了100次，只有一次成功，能否认为成功与失败的概率相同？,提出假设：成功的概率与失败的概率相等 H0 : p = 0.5 H1 : p 0.5 如果H0 的假设为真，S+与 S- 的数量应该基本相等。 S = minS+ , S- = k 如果 S 过小，则H0 的假设是错误的。,P-Value: P(Sk),二、单样本中位数的符号检验,例题：某企业生产一种钢管，规定长度的中位数是10米。现随机从生产线上选取10根进行测量，结果为： 9.8 10.1 9.7 9.9 9.8 10.0 9.7 10.0 9.9 9.8 问生产过程是否需要调整？ 分析： n=8 (与10的差值为0者不计） S+=1， S-= 7，,取=0.05,结论： 拒绝 H 0，生产过程需要调整。,0.05,SPSS软件使用说明,例16.1 （数据gs.sav）质量监督部门对商店里面出售的某厂家的西洋参片进行了抽查。对于25包写明为净重100g的西洋参片的称重结果为（单位：克）： 样本中位数为: m=98.36 因此，人们怀疑厂家包装的西洋参片份量不足。 由于对于这些重量的总体分布不清楚，决定对其进行符号检验。需要检验的是：,例16.1 （数据gs.sav）质量监督部门对商店里面出售的某厂家的西洋参片进行了抽查。对于25包写明为净重100g的西洋参片称重，结果是样本中位数为m=98.36。,双边检验的p-值=0.108；因此，单尾检验的p-值为0.05388。根据这个符号检验，我们还没有充分的证据拒绝零假设。,SPSS输出,配对样本问题 某香烟公司要了解消费者对其香烟的电视广告的态度，通过市场研究公司向一消费小组进行调查。该小组成员有24人。首先用一问卷，要求消费者回答若干有关该品牌香烟的问题，并给予相应的分数。然后，放映该牌香烟的电视广告片，看毕后再回答问卷询问。希望了解应答者在观看广告片前后的态度有无差异。 配对样本：两个样本中的个体均相同，但处理不同。判断总体分布是否发生变化。,三、配对样本符号检验,数据： 应答者 事前分数 事后分数 符号 1 80 90 + 2 70 65 3 75 80 + 4 80 80 0 24 85 95 + 总计 S+=19 （注意：取消符号等于0 的样本点） S- = 4 H0: 观看前后的态度无差异 n=23 选择S+ 与S- 中较小的一个作为检验统计量S， S = minS+ , S-； 当H0为真时，S 在 n/2 附近。如果S过小，则说明H0不真。,检验过程：,(1) H0 : （事后分数 事前分数）的中位数 = 0 H1 : （事后分数 事前分数）的中位数 0 (2) S = minS+, S- = min19,4 = 4 (3) 在假设为真的前提下( p = 0.5)，计算 (4) 此为“小概率”事件，所以拒绝H0假设。 广告效果显著！,例、采用例6.4的减肥数据（diet.sav）。有两列50对数据。其中一列数据（变量是before）是减肥前的重量，另一列(变量是after)是减肥后的重量（单位：公斤）。令所有个体减肥前后重量差的中位数为mD.则要检验的问题成为： 如果不知道总体的任何信息，则可利符号检验。 符号检验的SPSS的输出为：,显然单尾p-值小于0.05，拒绝零假设。,减肥前后体重有显著区别,四、 两个独立样本的符号检验,问题： 例： 某公司拟调查两性购买者的态度有无差异。在男性中抽取 n1=12的样本。在女性中抽取n2=9 的样本。检验这两个总体的中位数是否相同。 样本1： n1=12 10，10，10，12，15，17，17，19，20，22，25，28； 样本2： n2=9 6，7，8，8，12，16，19，19，22；,检验方法 （1）先将两组样本的观测值按统一顺序排列，找出中位数； （2）将每一个观测值与它比较，大于该中位数的用正号表示，小于中位数的用负符号表示； 如果 H0 为真，则在两个样本中，其正负号的个数应该各占其总数的一半。 + 行和 样本1 a b n1 样本2 c d n2 列和 S+ S n1+ n2,可以利用列联表检验:,样本2 样本1 符号2 符号1 6 7 8 8 10 10 10 12 12 15 16 0 17 + 17 + 19 + 19 + 19 + 20 + 22 + 22 + 25 + 28 +, + 行和 样本1 5 7 12 样本2 5 3 8 列和 10 10 20,所以，不拒绝H0。两总体中位数无显著差别。,6.4 秩检验（Rank Test),一. Wilcoxon test (配对样本的秩检验） 双样本问题 例：某防晒美容霜制造者欲了解一种新配方是否有利于防止晒黑，对 7 个志愿者进行实验。在每个人脊背上一侧涂原配方的美容霜，另一侧涂新配方的美容霜，背部在太阳下暴晒后，按照预先给顶的标准测定晒黑程度，数据如下表。,编号 原配方yi 新配方xi di= xi - yi 符号 的秩 1 42 46 4 + 4 2 + 2 2 51 49 - 2 - 2 1 - 1 3 31 26 -5 - 5 3 -3 4 61 52 -9 - 9 5 -5 5 44 33 -11 - 11 6 -6 6 55 49 -6 - 6 4 -4 7 48 36 -12 - 12 7 -7,（1）符号检验 H0: S+= S ( 两种配方的防晒作用相同,即 p = 0.5） 不能拒绝H0 ？,T+ = 2, T = 26,（2）秩检验,运用更多的数据信息： 配对样本差距的方向（符号： 正号、负号） 配对样本差距的大小 （秩： 等级排序） I. 计算配对样本的差距 di= xi - yi ； II. 求 ； III. 按照 的值，对样本进行等级排序（求秩）； IV. 还原 的符号； V. 求秩和： T+ ， T T+ 正等级的秩和 T 负等级的秩和,检验过程： (1) H0 : T+ = T H1 : T+ T (2) 取 T= minT+ , T = T= min2 , 26 = 2 (3) 根据 n = 7， = 0.05，查 Wilcoxen检验表，得到拒绝域的边界值 ： T0.05 = 3 (单侧检验） (4) 而现在有 T = 2 3 所以，拒绝 H0 假设。 两种配方的防晒作用显著不同！ 与符号检验区别：应用了更多的原始数据信息。,Wilcoxon符号秩检验需要假定样本点来自连续对称总体分布；,例、采用例6.4的减肥数据（diet.sav）。有两列50对数据。其中一列数据（变量是before）是减肥前的重量，另一列(变量是after)是减肥后的重量（单位：公斤）。令所有个体减肥前后重量差的中位数为mD.则要检验的问题成为： 如果不知道总体的任何信息，则可利用符号检验 符号检验的SPSS的输出为：,显然单尾p-值小于0.05。我们可以拒绝减肥前后体重没有区别的零假设。,例、采用例6.4的减肥数据（diet.sav）。有两列50对数据。其中一列数据（变量是before）是减肥前的重量，另一列(变量是after)是减肥后的重量（单位：公斤）。令所有个体减肥前后重量差的中位数为mD.则要检验的问题成为： 如果总体分布是连续对称的，则可利用Wilcoxon符号秩检验。 Wilcoxon符号秩检验的结果输出为：,SPSS软件使用: 以数据diet.sav 为例 选项AnalyzeNonparametric TestsRelated Samples 把变量before和after同时选入Test Pair(s) List之中 在下面选Wilcoxon 在Exact中选Exact 然后回到主对话框，OK即可,单尾p-值小于0.05，拒绝零假设。,减肥前后体重有显著区别,二、单样本中位数检验(Wilcoxen检验) 某企业生产一种钢管，规定长度的中位数是10米。现随机从生产线上选取10根进行测量。问生产过程是否需要调整？,正秩和 T+ = 2，负秩和 T- = 34,如果有观测值相等，则用它们的相应等级的平均数代替。,检验过程： (1) H0 : T+ = T H1 : T+ T (2) 取 T= minT+ , T = T= min2 , 34 = 2 (3) 根据 n = 8， = 0.05，查 Wilcoxen检验表，得到拒绝域的边界值 ： T0.05 = 4 (单侧检验） (4) 而现在有 T = 2 4 所以，拒绝 H0 假设。 钢管长度的中位数显然不是10。,Wilcoxon秩检验需要假定样本点来自连续对称总体分布；,例16.1 符号检验：质量监督部门对商店里面出售的某厂家的西洋参片进行了抽查。对于25包写明为净重100g的西洋参片称重，结果是样本中位数为m=98.36。,双边检验的p-值=0.108；因此，单尾检验的p-值为0.05388。根据这个符号检验，我们没有充分的证据拒绝零假设。,SPSS输出,用例16.1 （西洋参重量）来说明Wilcoxon秩检验。假定例16.1的样本来自对称的连续总体分布。,利用Wilcoxon秩检验，可以在置信水平为0.05时拒绝零假设。可见，Wilcoxon秩检验比符号检验要更有效。,S-,S+,n,225/17,W+,W-,SPSS软件使用: 以数据gs.sav 为例 选项AnalyzeNonparametric TestsRelated Samples 把变量 gsweight 和 m 同时选入Test Pair(s) List之中 在下面选Wilcoxon; 在Exact中选Exact 然后回到主对话框，OK即可,Mean Rank Sum of Rank,二. Mann-Whitney-Wilcoxen秩和检验 （U-检验）,1. 目的：独立样本，比较两个总体的中位数 2. 工作步骤： （1）将两个样本合并，按顺序从小到大排列，求秩。如果有观测值相等，则用它们的相应等级的平均数代替。 （2）分别计算两个样本的等级总和: T1 ，T2 当 n1 = n2 时，如果两总体中位数无差异，则有 T1 = T2 当n1 与n2差别 较大时，T1 ，T2 的大小将受 n1 ，n2 影响。,Mann-Whitney 提出了“U-统计量”：,(1) (2) (3) 根据 n1 ，n2 查U- 检验表，找出U 的临界值U* 。 (4) 判断： U U* , 拒绝 H0 U U* , 不拒绝 H0,该检验需要的唯一假定就是两个总体的分布有类似的形状（不一定对称）。,例. 某公司欲在市场上推销一种产品。在上市之前，拟做一调查，了解高收入消费者与低收入消费者对该产品的评估是否一致。市场调查公司在高收入消费者中随机抽取10 个人，在低收入消费者中抽14个人。将新产品免费增于两种消费者，试用后进行调查，结果两组消费者对该产品的评分如下表。,高收入组 低收入组 评分 等级 评分 等级 80 17 95 24 ( max ) 75 13.5 40 1 ( min ) 82 18 84 21 60 6 88 22 90 23 75 13.5 55 5 65 8 72 11 62 7 83 19.5 78 16 68 10 83 19.5 50 3 74 12 50 3 67 9 77 15 50 3 n1=10 T1= 126 n2 =14 T2= 174,解: 查 U-检验表： U* = 36 因为 U U*, 不拒绝H0。 两个消费组在对该新产品的态度上无显著差异。,例16.4 、数据（GDP.sav）是地区1的10个城市和地区2的15个城市的人均GDP（元）。现在要想以此作为两个样本来检验两个地区的人均GDP的中位数m1和m2是否一样. H0: m1=m2 H1: m1m2(双尾检验),可以拒绝原假设，即地区2的人均GDP的中位数明显更高一些,SPSS软件使用说明: GDP.sav数据 选项: AnalyzeNonparametric Tests2 Independent Samples 把变量 GDP 选入Test Variable List； 把数据中用1和2分类的变量area输入进Grouping Variable 在Define Groups输入1和2 在Test Type选中MannWhitney 在点Exact对话框中选择 Exact 最后OK即可,6.5 Kendall 一致性系数,例题：对某班级同学的若干科目学习成绩和办事能力进行评分。问：某门课程成绩高的学生，其他几门课程的成绩是否也高？学习成绩与办事能力是否相关？ 问题： 分析学生在各方面的等级是否一致！,学生 动手实验 艺术 文学 音乐 数学 办事 Ti 1 4 5 7 6 5 1 28 2 6 2 1 5 7 4 25 2 1 8 9 2 2 9 31 4 2 6 5 10 1 7 31 5 8 1 2 8 9 5 33 6 10 3 4 3 8 3 31 7 9 7 6 4 10 2 38 8 3 4 3 1 4 8 23 9 5 9 8 7 6 10 45 10 7 10 10 9 3 6 45,秩： 10个学生的分数排名（等级）,n = 10 （学生）, k = 6 （六科成绩） 记：Ti 为 i 同学六门课程的等级总和（秩）。 （1）10名学生在6门课程的秩的总和（行和）：,（每一个学生）,(2)如果排序完全相关，即某同学在6 种能力上均排名第一，而有同学在6种能力上均排名第二，某同学均排在最后。 不妨记：T1=16 , T2=26 , , T10=106 求离差平方和：,这时，离差平方和已达到最大值！,（3）计算实际秩的离差平方和,学生在各科成绩及办事能力等方面相关度不高！,例16.8 （数据在school.sav）下面是4个独立的环境研究单位对15个学校排序的结果；每一行为一个评估机构对这些学校的排序。,H0：四个机构在15个学校的排序结果是随机的（不相关的）； H1：四个机构在15个学校的的排序具有一致性（是相关的）。,计算结果为W=0.491，而近似的p-值为0.017; 若令显著性水平.05, 则拒绝零假设; 也就是说，这些评估机构的排序具有相关性。,SPSS软件使用说明: 使用school.sav数据 选项: AnalyzeNonparametric TestsK Related Samples 把变量（这里是s1、s2、s15）选入Test Variable List 在下面Test Type选中Kendalls W OK,6.6 Kolmogorov-Smirnov 检验,K-S检验: 当有一个样本数据后，希望知道它的总体分布是不是服从某一个已知分布（比如正态分布） 例题：检验一个车间生产的20个轴承外座圈的内径后得到下面数据（单位：mm). 15.04 15.36 14.57 14.53 15.57 14.69 15.37 14.66 14.52 15.41 15.34 14.28 15.01 14.76 14.38 15.87 13.66 14.97 15.29 14.95 按照设计要求，检验这组数据是否来自均值为 ，方差为 的正态分布？,检验问题： 样本是否来源于某一个已知分布F0(x). 定义：样本数据的经验分布(Empirical Distribution Function, 简称EDF)为如下阶梯函数：,S(x) 是小于等于 x 的值的观测点的比例它是总体分布F(x)的一个估计因此，检验统计量定义为：,例如：,在表中， 查单样本K-S检验统计量表 n = 20, = 0.05 得到 da= 0.294 因为 D = 0.339 0.294 则拒绝H0 假设轴承外座圈的内径数据不服从均值为 ，方差为 的正态分布,P210：不同软件所采取的统计量也不一定完全一样。结果会稍有差别。在SPSS软件中对于是否是正态分布或均匀分布的检验统计量为,例16.2 数据ksdata.sav的K-S检验,一个容量为50的样本，问是否服从正态分布。 单尾检验的 p-值 等于： 0.069/2=0.0345 若=0.05，拒绝产生数据的总体为正态分布的零假设。,这是右尾检验。也就是说，Z越大，就越有理由怀疑零假设（但SPSS输出是双边检验的p-值，需要除以2）。,SPSS软件使用说明：使用ksdata.sav数据 选项：AnalyzeNonparametric Tests1 Sample K-S 把变量（这里是x）选入Variable List 在Test Distribution选中零假设的分布（Normal、Poisson、Uniform、Exponential）在Exact对话框中可以选择精确方法（Exact）或大样本渐近方法（Asymptotic only） OK,讨论. 检验的效率（Efficiency),一个大米加工厂卖给一个超市一批表明10 kg重的大米。而该超市怀疑该厂家缺斤短两，随机抽取10包大米进行称重，得到下面的结果： 9.93 9.83 9.76 9.95 10.07 9.89 10.03 9.97 9.89 9.87 假定打包的大米重量服从正态分布。由于发生分歧，各方同意用这个数据进行检验。 H0 : = 10 H1 : 10 （1）超市用全部数据进行 t 检验（拒绝） （2）大米加工厂的老板只用前两个数据进行 t 检验（接受） （2）大米加工厂老板的律师用全部数据进行符号检验（接受）,结论：如果针对同一个检验问题有多种检验方法，那么其中只要有一个拒绝，结论就是拒绝的！,不能拒绝假设，仅说明根据所使用的检验方法和当前的数据没有足够的证据拒绝假设。,练习： 检验效率与样本容量的关系,有两个候选人的民意调查表示：候选人A有50%的支持率，而候选人B有48%的支持率。 （1）那么是不是候选人A在整个选民中的支持率一定会大于候选人B ？我们还缺乏什么信息？ （2）如果两个样本容量均为5000呢，结论是什么？,如果零假设的均值和总体均值确实不一样，则只要样本容量充分大，就必然会拒绝零假设。,（假定A样本容量为500， B样本容量为1200。）,频次 代别 答案 青年 中年 老年 可以 114 15 5 不知道 122 18 5 不可以 774 226 86,作 业,1北京市婚姻家庭调查，对“你认为是否可以同时和几个人谈恋爱？”问卷调查的结果如下所示。问题：答案是否与代别有关？,2. 某小汽车经销商根据去年销售小汽车的颜色的百分率，认为今年顾客选择各颜色的数目仍将不变。他随机抽取了150名顾客询问：,color pi oi ei (oi-ei) (oi-ei)2/ei yellow 0.2 35 30 5 0.83 red 0.3 50 45 5 0.55 green 0.1 30 15 15 15.00 blue 0.1 10 15 -5 1.67 white 0.3 25 45 -20 8.90 Total 1.0 150 150 0 26.96,又例: 香皂的颜色, 牙膏的包装等,6.2 6.3,采用手工计算方法，做符号检验方法；采用SPSS做符号检验和秩检验,