第15章多元线性回归.ppt
《第15章多元线性回归.ppt》由会员分享,可在线阅读,更多相关《第15章多元线性回归.ppt(38页珍藏版)》请在三一文库上搜索。
1、1,多元(重)线性回归 multiple linear regression ,2,复习: 一元回归:分析一个应变量与一个自变量之间的线性关系。 其回归模型:Y=+X + (总体) 由样本计算的回归方程:,3,一、多元线性回归 (一) 概述 1. 模型 回归模型: Y=0+1X1+2X2+mXm + 即因变量与多个自变量间存在线性关系。 Y为因变量,随机变量,取定量观察值。 X1,X2, ,Xm为自变量,选定或随机变量。 0为常数项。 1,2,m为偏回归系数。 为随机误差(或称残差, residual),N(0, ),是因变量Y总变异中不能为自变量解释的部分。,4,偏回归系数(partial
2、regression coefficient) j (j=1,2, ,m) 的意义: 在其他自变量固定不变的情况下,自变量 Xj 每改变一个单位,单独引起因变量Y平均改变 j 个单位。 由样本计算的回归方程:,5,2. 特点 多元线性回归较简单线性回归的 ,回归方程估计精度,预报、控制效果。,6,3. 前提条件(LINE) 线性(linear) 应变量 与自变量的关系是线性的 。 独立性(independence) 随机误差项在不同样本点之间是独立的,无自相关性。 正态性(normality) 随机误差项服从正态分布; 方差齐性(equal variance) 随机误差项在不同的样本点的方差相
3、同 。,7,(二) 参数估计 1. 依最小二乘法原理,令 2. 求偏导数得正规方程组,8,推导得正规方程组: nb0+b1x1+b2 x2+bm xm= y b0x1+b1 x12+ b2 x1 x2 +bm x1 xm= x1y b0x2+b1 x2 x1 + b2 x22 +bm x2 xm= x2y b0xm+b1 xm x1+ b2 xm x2 +bm xm2= xmy,m+1,9,4. 求偏回归系数 方法:矩阵法 正规方程组的矩阵表达, 令: 原始数据。,10, 系数矩阵,11, 常数项矩阵,12,正规方程组的矩阵表达形式: 方程回归系数(正规方程组的解): 为 的转置矩阵, 为 的
4、逆矩阵。,13,14,(三) 回归方程的假设检验及回归效果粗评 1. 方差分析检验回归方程有无统计学意义 H 0 : 1 = 2 = = m = 0, H 1 : 至少有一个 j 0 , 或各 j ( j = 1 , 2, , m)不全为0 ; = 0.05;,15,若 F F ( m , n-m-1 ),P ,拒绝 H 0,则总的来说,自变量X 与 Y 间存在线性回归关系。需由偏回归系数的假设检验才能确定究竟是哪一个或哪几个自变量与 Y 间存在线性回归关系。,16,2. 粗评回归效果确定系数 R 2 (coefficient of determination) R2 = SS回 / SS总
5、R 2意义:在Y的总变异中,由自变量建立的线 性回归方程所能解释的比例。 R 2的假设检验 (与回归方程假设检验等价) H0:总体的确定系数 = 0, H1:总体的确定系数 0, =0.05;,17,(四) 偏回归系数的假设检验 1. 目的 了解各自变量对 Y 作用的大小,剔除不重要的自变量,使方程“最优”。 2. 思路 对 b j 作假设检验(方差分析法或 t 检验法),无统计学意义者不能保留在方程里,重建回归方程,直到最新的方程: 方程中所有自变量均有统计学意义而方程外所有自变量均无统计意义止。,18,3. 对各偏回归系数bj作假设检验的方法 H 0 : j = 0,H 1 : j 0,
6、= 0.05 方差分析法 偏回归平方和 是指将 从回归 方程里剔除后所引起回归平方和的减少 量,它间接反映自变量 对因变量的贡 献大小。,19,t 检验法 方法一 : , 为偏回归系数估计值 b j 的标准误。 方法二: S y 12m多元回归的误差(剩余)标准差 C j j A 1 主对角线上的元素。,20,P262 例15-1 求得回归方程为: 回归方程检验:P0.01 R2=0.6008 偏回归系数检验结论: 只有X3、X4对血糖的影响有统计学意义。,21,4.自变量的筛选的方法 (1) 后退法 ( backward selection ) 建立含全部自变量的回归方程,剔除 方程中偏回归
7、平方和最小且无统计学 意义的自变量; 重建回归方程,再剔除方程中偏回归 平方和最小且无统计学意义的自变量; 重复 ,直到无自变量被剔除为止。 此法计算量大。,22,(2) 前进法 ( forward selection ) 把方程外偏回归 平方和最大且有统 计学意义的自变量引入回归方程内; 每引入一个自变量,重建一次回归方程; 重复 ,直到无自变量被引入为止。 此法建立的回归方程有时不够精练。,23,(3) 逐步筛选法 ( stepwise selection ) 此法集向前引入法和向后剔除法的优点。 向前每引入一个自变量后,都要对方程里所有的自变量作假设检验,剔除无 统计学意义者,再引入新的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 15 多元 线性 回归
链接地址:https://www.31doc.com/p-2979046.html