主成分分析作业解析.ppt

主成分分析作业解答,没有人看得懂SAS的输出。所以实验报告明确写出实验的结果：方程、向量、统计量是多少，不要写SAS的输出。,练习一、书p292，7-11题。用主成分分析确定信息损失不超过15%应取几个主成分，并解释这几个主成分的涵意。,data data711; input name : $18. x1-x8; cards; 1(冶金) 90342 52455 101091 19272 82.000 16.100 197435 0.172 2(电力) 4903 1973 2035 10313 34.200 7.100 592077 0.003 3(煤炭) 6735 21139 3767 1780 36.100 8.200 726396 0.003 4(化学) 49454 36241 81557 22504 98.100 25.900 348226 0.985 5(机械) 139190 203505 215898 10609 93.200 12.600 139572 0.628 6(建材) 12215 16219 10351 6382 62.500 8.700 145818 0.066 7(森工) 2372 6572 8103 12329 184.400 22.200 20921 0.152 8(食品) 11062 23078 54935 23804 370.400 41.000 65486 0.263 9(纺织) 17111 23907 52108 21796 221.500 21.500 63806 0.276 10(缝纫) 1206 3930 6126 15586 330.400 29.500 1840 0.437 11(皮革) 2150 5704 6200 10870 184.200 12.000 8913 0.274 12(造纸) 5251 6155 10383 16875 146.400 27.500 78796 0.151 13(文教艺术用品) 14341 13203 19396 14691 94.600 17.800 6354 1.574 ; proc princomp data=data711 prefix=z out=o711; var x1-x8; run; proc means data=data711; var x1-x8; run;,means过程可以不必要。因为用它来计算均值和标准差，但princomp过程自己就会计算均值和标准差。,Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 3.10491252 0.20747090 0.3881 0.3881 2 2.89744162 1.96722608 0.3622 0.7503 3 0.93021555 0.28809329 0.1163 0.8666 4 0.64212226 0.33803813 0.0803 0.9468 5 0.30408413 0.21748637 0.0380 0.9848 6 0.08659776 0.05441338 0.0108 0.9957 7 0.03218438 0.02974261 0.0040 0.9997 8 0.00244178 0.0003 1.0000,相关系数矩阵的特征根（可以看出各主成分的贡献率和累积贡献率）：,The SAS System 16:26 Tuesday, May 27, 2008 2 The PRINCOMP Procedure Eigenvectors z1 z2 z3 z4 z5 z6 z7 z8 x1 0.476650 0.295991 0.104190 0.045303 -.184219 -.065854 0.757619 0.245000 x2 0.472808 0.277894 0.162983 -.174431 0.305448 -.048451 -.518413 0.527105 x3 0.423845 0.377951 0.156255 0.058670 0.017475 0.099048 -.174045 -.780540 x4 -.212893 0.451408 -.008544 0.516086 -.539407 0.287855 -.249427 0.220126 x5 -.388460 0.330945 0.321133 -.199416 0.449899 0.582289 0.232969 0.030623 x6 -.352427 0.402737 0.145144 0.279257 0.316835 -.713571 0.056436 -.042355 x7 0.214835 -.377415 0.140459 0.758169 0.418201 0.193587 0.052842 0.041160 x8 0.055034 0.272736 -.891162 0.071855 0.322201 0.122168 0.067111 -.003300,相关系数矩阵的特征向量（可以看出各主成分的构成）：,故：z1=0.47665*X1* + 0.472808*X2* + 0.423845*X3* -.212893 *X4* -.388460 *X5* -.352427*X6* + 0.214835 *X7* + 0.055034 *X8* ,Simple Statistics x1 x2 x3 x4 Mean 27410.15385 31852.38462 43996.15385 14370.07692 StD 41925.34721 53549.87903 61103.39007 6528.97650 Simple Statistics x5 x6 x7 x8 Mean 149.0769231 19.23846154 184280.0000 0.3833846154 StD 106.5518509 9.97501366 233247.4120 0.4493095701,均值和标准差：,这说明，标准后的变量X1*=(X1-27410.15385)/sqrt(41925.34721) =0.00488384*X1-133.86688 X2*=(X2- 31852.38462)/sqrt(53549.87903) ,各主成分的意义为： 第一主成分在各投入项上为正，在效率项上或负或接近0，而且投入项的绝对值大于效率项的绝对值，故代表投入与效率的对比，或者就叫做绝对投入。 第二主成分的意义不是很明显。可以认为，在除燃料项以外各项都为正，燃料为负，故代表总规模。也可以认为，在x4（劳动生产率）、x6（资金利税率）绝对值大，x3（工业总产值）、x5（百元资产实现产值）次大，燃料负绝对值也很大，可以看作效率。 第三主成分在能源利用效果上接近-1，故代表负的能源消耗。,故取三个主成分使信息损失少于15%：,z1 z2 z3 z4 z5 z6 z7 z8 x1 0.476650 0.295991 0.104190 0.045303 -.184219 -.065854 0.757619 0.245000 x2 0.472808 0.277894 0.162983 -.174431 0.305448 -.048451 -.518413 0.527105 x3 0.423845 0.377951 0.156255 0.058670 0.017475 0.099048 -.174045 -.780540 x4 -.212893 0.451408 -.008544 0.516086 -.539407 0.287855 -.249427 0.220126 x5 -.388460 0.330945 0.321133 -.199416 0.449899 0.582289 0.232969 0.030623 x6 -.352427 0.402737 0.145144 0.279257 0.316835 -.713571 0.056436 -.042355 x7 0.214835 -.377415 0.140459 0.758169 0.418201 0.193587 0.052842 0.041160 x8 0.055034 0.272736 -.891162 0.071855 0.322201 0.122168 0.067111 -.003300,Eigenvalue Difference Proportion Cumulative 1 3.10491252 0.20747090 0.3881 0.3881 2 2.89744162 1.96722608 0.3622 0.7503 3 0.93021555 0.28809329 0.1163 0.8666,省份 GDP 居民消 固定资 职工平 货物周 居民消费 商品零售 工业总 费水平 产投资 均工资 转量 价格指数 价格指数 产值 北京 1394.89 2505 519.01 8144 373.9 117.3 112.6 843.43 天津 920.11 2720 345.46 6501 342.8 115.2 110.6 582.51 河北 2849.52 1258 704.87 4839 2233.3 115.2 115.8 1234.85 山西 1092.48 1250 290.90 4721 717.3 116.9 115.6 697.25 内蒙 832.88 1387 250.23 4134 781.7 117.5 116.8 419.39 辽宁 2793.37 2397 387.99 4911 1371.1 116.1 114.0 1840.55 吉林 1129.20 1872 320.45 4430 497.4 115.2 114.2 762.47 黑龙江 2014.53 2334 435.73 4145 824.8 116.1 114.3 1240.37 上海 2462.57 5343 996.48 9279 207.4 118.7 113.0 1642.95 江苏 5155.25 1926 1434.95 5943 1025.5 115.8 114.3 2026.64 浙江 3524.79 2249 1006.39 6619 754.4 116.6 113.5 916.59 安徽 2003.58 1254 474.00 4069 908.3 114.8 112.7 824.14 福建 2160.52 2320 553.97 5857 609.3 115.2 114.4 433.67 江西 1205.11 1182 282.84 4211 411.7 116.9 115.9 571.84 山东 5002.34 1527 1229.55 5154 1196.6 117.6 114.2 2207.69 河南 3002.74 1034 670.35 4344 1574.4 116.5 114.9 1367.92 湖北 2391.42 1527 571.68 4685 849.0 120.0 116.6 1220.72 湖南 2195.70 1408 422.61 4797 1011.8 119.0 115.5 843.83 广东 5381.72 2699 1639.83 8250 656.5 114.0 111.6 1396.35 广西 1606.15 1314 382.59 5105 556.0 118.4 116.4 554.97 海南 364.17 1814 198.35 5340 232.1 113.5 111.3 64.33 四川 3534.00 1261 822.54 4645 902.3 118.5 117.0 1431.81 贵州 630.07 942 150.84 4475 301.1 121.4 117.2 324.00 云南 1206.68 1261 334.00 5149 310.4 121.3 118.1 716.65 西藏 55.98 1110 17.87 7382 4.2 117.3 114.9 5.57 陕西 1000.03 1208 300.27 4396 500.9 119.0 117.0 600.98 甘肃 553.35 1007 114.81 5493 507.0 119.8 116.5 468.79 青海 165.31 1445 47.76 5753 61.6 118.0 116.3 105.80 宁夏 169.75 1355 61.98 5079 121.8 117.1 115.3 114.40 新疆 834.57 1469 376.95 5348 339.0 119.7 116.7 428.76,练习二、试对全国30个省市自治区经济发展基本情况的八项指标作主成分分析（自己按一定标准，指出选几个主成分，它们分别是什么，代表了什么涵意，为什么）：,data ex02; input province $ x1-x8; cards; 北京 1394.89 2505 519.01 8144 373.9 117.3 112.6 843.43 . . . . 新疆 834.57 1469 376.95 5348 339.0 119.7 116.7 428.76 ; proc princomp data=ex02 prefix=z out=pca_ex02; var x1-x8; run;,程序为：,Simple Statistics x1 x2 x3 x4 Mean 1921.092667 1745.933333 511.5083333 5439.933333 StD 1474.806031 861.641934 402.8854765 1325.826325 Simple Statistics x5 x6 x7 x8 Mean 672.7866667 117.2866667 114.9066667 862.9740000 StD 481.3849107 2.0253111 1.8980813 584.6101337,均值和标准差：,这说明，标准后的变量X1*=(X1- 1921.092667)/sqrt(1474.806031) =0.0260395*X1-50.024282 X2*=(X2- 1745.933333)/sqrt(861.641934) ,Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 3.73686457 1.56412913 0.4671 0.4671 2 2.17273545 0.93993456 0.2716 0.7387 3 1.23280089 0.83093111 0.1541 0.8928 4 0.40186978 0.16534899 0.0502 0.9430 5 0.23652079 0.09910454 0.0296 0.9726 6 0.13741625 0.07050229 0.0172 0.9898 7 0.06691396 0.05203563 0.0084 0.9981 8 0.01487833 0.0019 1.0000,相关系数矩阵的特征根（可以看出各主成分的贡献率和累积贡献率）：,Eigenvectors z1 z2 z3 z4 z5 z6 z7 z8 x1 0.457196 0.260084 0.112739 -.325164 -.136509 0.045776 0.084692 0.759595 x2 0.315325 -.408246 0.233845 0.640016 -.143400 0.436592 0.213476 0.113374 x3 0.471784 0.109639 0.190983 -.426754 -.115287 0.242893 0.329970 -.604680 x4 0.239050 -.485791 0.339651 -.231282 0.656676 -.113311 -.304843 0.031865 x5 0.244630 0.499789 -.246539 0.360899 0.656188 -.007818 0.259356 -.037805 x6 -.262685 0.162457 0.721163 0.119132 0.007143 -.432588 0.427162 0.026172 x7 -.319936 0.398590 0.403162 -.030104 0.135590 0.651821 -.363299 0.008959 x8 0.424984 0.287442 0.193320 0.322012 -.259363 -.351271 -.603097 -.203261,相关系数矩阵的特征向量（可以看出各主成分的构成）：,故：z1= 0.457196*X1* + 0.315325*X2* + 0.471784*X3* + 0.239050*X4* + 0.244630*X5* -.262685*X6* -.319936*X7* + 0.424984*X8* 很多人把z1=3*X1+2*X2+X3，写成z1=3*X1+ 这一题有人把全部主成分罗列出来错！主成分分析就是要把原始变量中的主要信息提炼出来，把后面的累积贡献率只有10%的垃圾主成分罗列出来，就是没有做主成分分析。,各主成分的意义为： 第一主成分在经济规模项上为正，在价格项上为负，故代表经济规模与价格的对比，或叫做考虑了通货膨胀因素后的经济规模。 第二主成分在消费水平、平均工资为负，在货物周转量、商品零售价格指数为正且绝对值大，故代表货物周转与消费水平的对比，或者叫做消费能力。 第三主成分在居民消费价格指数、商品零售价格指数上为很大，故代表价格指数。,第二主成分累积贡献率为74%，第三主成分累积贡献率为89%，故取超过80%累积贡献率的三个主成分。,Eigenvectors z1 z2 z3 z4 z5 z6 z7 z8 x1 0.457196 0.260084 0.112739 -.325164 -.136509 0.045776 0.084692 0.759595 x2 0.315325 -.408246 0.233845 0.640016 -.143400 0.436592 0.213476 0.113374 x3 0.471784 0.109639 0.190983 -.426754 -.115287 0.242893 0.329970 -.604680 x4 0.239050 -.485791 0.339651 -.231282 0.656676 -.113311 -.304843 0.031865 x5 0.244630 0.499789 -.246539 0.360899 0.656188 -.007818 0.259356 -.037805 x6 -.262685 0.162457 0.721163 0.119132 0.007143 -.432588 0.427162 0.026172 x7 -.319936 0.398590 0.403162 -.030104 0.135590 0.651821 -.363299 0.008959 x8 0.424984 0.287442 0.193320 0.322012 -.259363 -.351271 -.603097 -.203261,练习三、有人在某地抽样调查了29例儿童的血红蛋白与种微量元素的含量， 资料如下，种微量元素(单位都是mol/L)钙(X1)、镁(X2)、铁(X3)、 铜(X4) 、血红蛋白(Y，g/L)的含量。试进行主成分回归、变量增减法的逐步回归，你认为哪一种回归法对本问题比较有效，为什么：,如何做主成分回归,主成分回归，要知道我用几个主成分参与回归。 1.因此首先做主成分分析，看到nm个主成分的累计贡献率比较合适（75%90%）。 2.然后，做因变量与这nm个主成分的分别的回归，看回归系数是否显著地非0。（如果第3主成分不显著，那么第4主成分也要舍去。也要综合考虑显著性的统计值与剩下的主成分的累计贡献率。） 综合1与2，决定用几个主成分做主成分回归。,DATA d4p16a; INPUT y x1-x4; CARDS; 135.0 13.70 12.68 80.32 0.16 . . . . 70.0 11.80 11.73 52.75 0.13 ; proc princomp data=d4p16a prefix=z out=d4p16c; var x1-x4; run; proc print data=d4p16c; var z1 z2 y; run; proc reg data=d4p16c; model y=z1-z3; run; quit;,proc reg data=d4p16a outest=d4p16d; model y=x1-x4/pcomit=1,2,3; run; quit; options ps=40 ls=100; proc print data=d4p16d; run; proc reg data=d4p16a; model y=x1-x4/selection=stepwise; run; quit; proc reg data=d4p16a; model y=x3; model y=x1 x3; model y=x1 x3 x4; run; quit;,结果分析： Eigenvalue Difference Proportion Cumulative 1 2.48779496 1.62130456 0.6219 0.6219 2 0.86649041 0.48398077 0.2166 0.8386 3 0.38250963 0.11930464 0.0956 0.9342 4 0.26320500 0.0658 1.0000 第一主成分累积贡献率为62%，第二主成分累积贡献率为84%，第三主成分累积贡献率为93%。故最好取二或三个主成分。,以y为因变量，z1、z2、z3为自变量，做回归分析发现： Parameter Standard Variable DF Estimate Error t Value Pr |t| Intercept 1 7.18987E-16 0.09700 0.00 1.0000 z1 1 0.34578 0.06259 5.52 .0001 z2 1 0.71065 0.10605 6.70 .0001 z3 1 -0.23612 0.15962 -1.48 0.1516 发现z1、z2的显著性99.99%，但z3的显著性为84.84%。可以认为z3不显著。,故进行主成分回归，最好是y与z1、z2回归。回归结果为： y = 5.9882 -1.20022 * x1 + 3.16499 * x2 + 1.27532 * x3 -82.0116 * x4,这一个主成分回归，有同学把常数项省略了。这是错的。因为进行主成分回归的时候，常数项的产生，不仅源于因变量与主成分之间回归时，有常数项，而且主要因为把主成分表示为原自变量的线性组合时，必然会含有常数项。 而因变量与主成分之间进行回归中的常数项，在SAS中是没法消除的，所以我们不应该省略主成分回归的常数项。,做逐步回归，如果95%显著性，则只取x3，如果90%显著性，则只取x3、x1，如果取85%显著性，则取x1、x3、x4。 模型分别为： y = -6.57254 + 1.64125 * x3 y = 10.68762 -1.62047 * x1 + 1.74230 * x3 y = 11.17060 -2.69539 * x1 + 1.71225 * x3 + 101.59857 * x4 因截距项都是不显著的，（显著性低于40%），所以更好的模型应为： y = 1.54744 * x3 y = -1.24281 * x1 + 1.81388 * x3 y = -2.29157 * x1 + 1.78730 * x3 + 100.72612 * x4,这一问题用主成分回归好，还是变量增减法的逐步回归比较好？为什么？,先请同学们来回答这个问题,这一问题，做逐步回归更佳。 这是因为，如果一个问题，诸x（自变量）与y（因变量）都有相关性，而x（自变量）之间也强相关，这时做主成分回归比较好，因为这时候，每个x们（自变量们）都参与影响了y（因变量），所以不应该用变量增减法删除一部分自变量，但不删除变量，x们之间又因相关性有多重共线性的问题，这时做主成分回归非常好，因为这种方法消除了多重共线性的问题； 而如果一个问题，诸x（自变量）不一定与y（因变量）有强相关性，也就是有的x相关，有的x不相关，这时就要选出一部分与y的联系紧密的x来，而把那些跟y无关的x舍弃，这时做逐步回归比较好。而我们这一习题，恰恰是后一情况。,用SAS进行因子分析,书p305，例8.3.1，表8.1，盐泉水化学分析资料的因子分析,data d831; input x1-x7; n=_n_; cards; 11.835 0.480 14.360 25.210 25.21 0.810 0.98 45.596 0.526 13.850 24.040 26.01 0.910 0.96 3.525 0.086 24.400 49.300 11.30 6.820 0.85 3.681 0.370 13.570 25.120 26.00 0.820 1.01 48.287 0.386 14.500 25.900 23.32 2.180 0.93 17.956 0.280 9.750 17.050 37.20 0.464 0.98 7.370 0.506 13.600 34.280 10.69 8.800 0.56 4.223 0.340 3.800 7.100 88.20 1.110 0.97 6.442 0.190 4.700 9.100 73.20 0.740 1.03 16.234 0.390 3.100 5.400 121.50 0.420 1.00 10.585 0.420 2.400 4.700 135.60 0.870 0.98 23.535 0.230 2.600 4.600 141.80 0.310 1.02 5.398 0.120 2.800 6.200 111.20 1.140 1.07 283.149 0.148 1.763 2.968 215.86 0.140 0.98 316.604 0.317 1.453 2.432 263.41 0.249 0.98 307.310 0.173 1.627 2.729 235.70 0.214 0.99 322.515 0.312 1.382 2.320 282.21 0.024 1.00 254.580 0.297 0.899 1.476 410.30 0.239 0.93 304.092 0.283 0.789 1.357 438.36 0.193 1.01 202.446 0.042 0.741 1.266 309.77 0.290 0.99 ;,输入资料:,n=_n_;这一行指出，对数据集加入一个新变量（一列），变量名为n，其值等于样本的实际编号。,因子分析在SAS中用factor过程：,proc factor data=d831 method=prin priors=one simple p=0.8 ; var x1-x7; run;,factor过程中的simple关键字指出，输出变量的均值、标准差、样本的个数,factor过程中的method=prin（或写为method=principal）指出，这是因子模型中的主成分法或者主因子法，再由priors=one指出，这是主成分法（意思是说，在主因子法中，取初始公因子方差，即初始共同度，设为1，这就等价于主成分法）。 如果用主因子法，取第i初始共同度为第i变量与其它变量相关系数绝对值的最大者，则priors=max。如果取第i初始共同度为第i变量与其它变量的复相关系数的平方，则priors=smc。 如果因子模型用极大似然法，则method=ML。,factor过程中的p=0.8指出，选取因子的个数这样决定，这些因子的累计贡献率在80%以上，或者说，主成分分析中几个主成分的累计贡献率在80%以上，就选几个因子。,Eigenvalues of the Correlation Matrix: Total = 7 Average = 1 Eigenvalue Difference Proportion Cumulative 1 4.24441725 2.99308584 0.6063 0.6063 2 1.25133141 0.33115056 0.1788 0.7851 3 0.92018086 0.48176599 0.1315 0.9166 4 0.43841487 0.32482565 0.0626 0.9792 5 0.11358922 0.08220625 0.0162 0.9954 6 0.03138297 0.03069954 0.0045 0.9999 7 0.00068343 0.0001 1.0000 3 factors will be retained by the PROPORTION criterion.,我们看到，前3个因子的累计贡献率达到91.66%。所以选3个因子。,输出的一部分：,我们看到，公共因子的意义有点含糊不清。,载荷矩阵：,Factor Pattern Factor1 Factor2 Factor3 x1 -0.71560 0.56452 0.04559 x2 0.41233 -0.13191 0.89278 x3 0.90960 -0.06429 -0.17215 x4 0.94490 0.04843 -0.17493 x5 -0.83458 0.46939 0.04773 x6 0.82555 0.49675 -0.13428 x7 -0.68122 -0.66459 -0.20123,第一公共因子的方差贡献很高。,变量的共同度和因子的方差贡献：,Variance Explained by Each Factor Factor1 Factor2 Factor3 4.2444172 1.2513314 0.9201809 Final Communality Estimates: Total = 6.415930 x1 x2 x3 x4 x5 x6 x7 0.83283931 0.98448030 0.86113910 0.92578890 0.91912734 0.94632220 0.94623236,还想进行因子旋转,使因子更有意义,为了各因子有更好的意义，对因子进行旋转：,proc factor data=d831 rotate=varimax n=3 ; var x1-x7; run;,factor过程中的rotate=varimax指出，用方差最大正交旋转法，对因子进行旋转。 如果用四次方最大旋转，则rotate=QUARTIMAX，或写为rotate=QMAX。 n=3指出计算3个因子。这里也可以继续使用p=0.8，指出使累计贡献率达到80%的因子个数。但我们在刚才一个程序的结果中已经知道了这一条件将得到3个因子，所以这里明确指出n=3。 这个程序只指出了旋转所用的方法，那么它解因子分解模型时，用的是主成分法，还是主因子法，还是极大似然法呢，如果是主因子法，又是哪一种主因子法呢？原来，默认的情况下，method=principal（也就是method=prin），priors=one，这表示初始共同度设为1的主因子法，也就是主成分法。 如果我们不想用默认的方法，也可以在这