第9章SPSS的线性回归分析.ppt

2019/6/15,1,统计分析与SPSS的应用,第九章 SPSS的线性回归分析,2019/6/15,第9章 SPSS的线性回归分析,2,回归分析概述,(一)回归分析理解 (1)“回归”的含义 galton研究研究父亲身高和儿子身高的关系时的独特发现. (2)回归线的获得方式一:局部平均 回归曲线上的点给出了相应于每一个x(父亲)值的y(儿子)平均数的估计 (3)回归线的获得方式二:拟和函数 使数据拟和于某条曲线; 通过若干参数描述该曲线; 利用已知数据在一定的统计准则下找出参数的估计值(得到回归曲线的近似);,2019/6/15,第9章 SPSS的线性回归分析,3,回归分析概述,(二)回归分析的基本步骤 (1)确定自变量和因变量(父亲身高关于儿子身高的回归与儿子身高关于父亲身高的回归是不同的). (2)从样本数据出发确定变量之间的数学关系式,并对回归方程的各个参数进行估计. (3)对回归方程进行各种统计检验. (4)利用回归方程进行预测.,2019/6/15,第9章 SPSS的线性回归分析,4,线性回归分析概述,(三)参数估计的准则 目标:回归线上的观察值与预测值之间的距离总和达到最小 最小二乘法(利用最小二乘法拟和的回归直线与样本数据点在垂直方向上的偏离程度最低),2019/6/15,第9章 SPSS的线性回归分析,5,一元线性回归分析,(一)一元回归方程: y=0+1x 0为常数项；1为y对x回归系数，即:x每变动一个单位所引起的y的平均变动 (二)一元回归分析的步骤 利用样本数据建立回归方程 回归方程的拟和优度检验 回归方程的显著性检验(t检验和F检验) 残差分析 预测,2019/6/15,第9章 SPSS的线性回归分析,6,一元线性回归方程的检验,(一)拟和优度检验: (1)目的:检验样本观察点聚集在回归直线周围的密集程度，评价回归方程对样本数据点的拟和程度。 (2)思路: 因为: 因变量取值的变化受两个因素的影响 自变量不同取值的影响 其他因素的影响 于是: 因变量总变差=自变量引起的+其他因素引起的 即: 因变量总变差=回归方程可解释的+不可解释的 可证明:因变量总离差平方和=回归平方和+剩余平方和,2019/6/15,第9章 SPSS的线性回归分析,7,一元线性回归方程的检验,(一)拟和优度检验: (3)统计量：判定系数 R2=SSR/SST=1-SSE/SST. R2体现了回归方程所能解释的因变量变差的比例;1-R2则体现了因变量总变差中，回归方程所无法解释的比例。 R2越接近于1，则说明回归平方和占了因变量总变差平方和的绝大部分比例，因变量的变差主要由自变量的不同取值造成，回归方程对样本数据点拟合得好 在一元回归中R2=r2; 因此，从这个意义上讲，判定系数能够比较好地反映回归直线对样本数据的代表程度和线性相关性。,2019/6/15,第9章 SPSS的线性回归分析,8,一元线性回归方程的检验,(二)回归方程的显著性检验：F检验 (1)目的:检验自变量与因变量之间的线性关系是否显著,是否可用线性模型来表示. (2)H0: =0 即:回归系数与0无显著差异 (3)利用F检验,构造F统计量: F=平均的回归平方和/平均的剩余平方和F(1,n-1-1) 如果F值较大，则说明自变量造成的因变量的线性变动远大于随机因素对因变量的影响,自变量于因变量之间的线性关系较显著 (4)计算F统计量的值和相伴概率p (5)判断 p=a:拒绝H0,即:回归系数与0有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝H0,2019/6/15,第9章 SPSS的线性回归分析,9,一元线性回归方程的检验,(三)回归系数的显著性检验:t检验 (1)目的:检验自变量对因变量的线性影响是否显著. (2)H0:=0 即:回归系数与0无显著差异 (3)利用t检验,构造t统计量： 其中:Sy是回归方程标准误差(Standard Error)的估计值，由均方误差开方后得到，反映了回归方程无法解释样本数据点的程度或偏离样本数据点的程度 如果回归系数的标准误差较小，必然得到一个相对较大的t值，表明该自变量x解释因变量线性变化的能力较强。 (4)计算t统计量的值和相伴概率p (5)判断,2019/6/15,第9章 SPSS的线性回归分析,10,一元线性回归方程的检验,(四)t检验与F检验的关系 一元回归中,F检验与t检验一致,即: F=t2,两种检验可以相互替代 (六)F统计量和R2值的关系 如果回归方程的拟合优度高，F统计量就越显著。F统计量越显著，回归方程的拟合优度就会越高。,2019/6/15,第9章 SPSS的线性回归分析,11,一元线性回归分析操作,(一)基本操作步骤 (1)菜单选项: Analyze-regression-linear (2)选择一个变量为因变量进入dependent框 (3)选择一个变量为自变量进入independent框 (4)enter:所选变量全部进入回归方程(默认方法) (5)对样本进行筛选(selection variable) 利用满足一定条件的样本数据进行回归分析 (6)指定作图时各数据点的标志变量(case labels),2019/6/15,第9章 SPSS的线性回归分析,12,一元线性回归分析操作,(二) statistics选项 (1)基本统计量输出 Estimates:默认.显示回归系数相关统计量. confidence intervals:每个非标准化的回归系数95%的置信区间. Descriptive:各变量均值、标准差和相关系数单侧检验概率. Model fit:默认.判定系数、估计标准误差、方差分析表、容忍度 (2)Residual框中的残差分析 Durbin-waston:D-W值 casewise diagnostic:异常值(奇异值)检测 (输出预测值及残差和标准化残差),2019/6/15,第9章 SPSS的线性回归分析,13,一元线性回归分析操作,(三)plot选项:图形分析. Standardize residual plots:绘制残差序列直方图和累计概率图,检测残差的正态性 绘制指定序列的散点图,检测残差的随机性、异方差性 ZPRED:标准化预测值 ZRESID:标准化残差 SRESID:学生化残差 produce all partial plot:绘制因变量和所有自变量之间的散点图,2019/6/15,第9章 SPSS的线性回归分析,14,线性回归方程的残差分析,(一)残差序列的正态性检验: 绘制标准化残差的直方图或累计概率图 (二)残差序列的随机性检验 绘制残差和预测值的散点图,应随机分布在经过零的一条直线上下,2019/6/15,第9章 SPSS的线性回归分析,15,线性回归方程的残差分析,(三)残差序列独立性检验: 残差序列是否存在后期值与前期值相关的现象,利用D.W(Durbin-Watson)检验 d-w=0:残差序列存在完全正自相关;d-w=4:残差序列存在完全负自相关;0d-w2:残差序列存在某种程度的正自相关;2d-w4:残差序列存在某种程度的负自相关;d-w=2:残差序列不存在自相关. 残差序列不存在自相关,可以认为回归方程基本概括了因变量的变化;否则,认为可能一些与因变量相关的因素没有引入回归方程或回归模型不合适或滞后性周期性的影响.,2019/6/15,第9章 SPSS的线性回归分析,16,线性回归方程的残差分析,(四)异常值(casewise或outliers)诊断 利用标准化残差不仅可以知道观察值比预测值大或小,并且还知道在绝对值上它比大多数残差是大还是小.一般标准化残差的绝对值大于3,则可认为对应的样本点为奇异值 异常值并不总表现出上述特征.当剔除某观察值后，回归方程的标准差显著减小,也可以判定该观察值为异常值,2019/6/15,第9章 SPSS的线性回归分析,17,线性回归方程的预测,(一)点估计 y0 (二)区间估计,x0为xi的均值时,预测区间最小,精度最高.x0越远离均值,预测区间越大,精度越低.,2019/6/15,第9章 SPSS的线性回归分析,18,多元线性回归分析,(一)多元线性回归方程 多元回归方程: y= 0 +1x1+2x2+.+kxk 1、2、k为偏回归系数。 1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动 (二)多元线性回归分析的主要问题 回归方程的检验 自变量筛选 多重共线性问题,2019/6/15,第9章 SPSS的线性回归分析,19,多元线性回归方程的检验,(一)拟和优度检验: (1)判定系数R2: R是y和xi的复相关系数(或观察值与预测值的相关系数),测定了因变量y与所有自变量全体之间线性相关程度 (2)调整的R2: 考虑的是平均的剩余平方和,克服了因自变量增加而造成R2也增大的弱点 在某个自变量引入回归方程后，如果该自变量是理想的且对因变量变差的解释说明是有意义的，那么必然使得均方误差减少，从而使调整的R2得到提高；反之，如果某个自变量对因变量的解释说明没有意义，那么引入它不会造成均方误差减少，从而调整的R2也不会提高。,2019/6/15,第9章 SPSS的线性回归分析,20,多元线性回归方程的检验,(二)回归方程的显著性检验： (1)目的:检验所有自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示. (2)H0: 1 = 2 = k =0 即:所有回归系数同时与0无显著差异 (3)利用F检验,构造F统计量: F=平均的回归平方和/平均的剩余平方和F(k,n-k-1) 如果F值较大，则说明自变量造成的因变量的线性变动大于随机因素对因变量的影响,自变量于因变量之间的线性关系较显著 (4)计算F统计量的值和相伴概率p (5)判断 p=a:拒绝H0,即:所有回归系数与0有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝H0,2019/6/15,第9章 SPSS的线性回归分析,21,多元线性回归方程的检验,(三)回归系数的显著性检验 (1)目的:检验每个自变量对因变量的线性影响是否显著. (2)H0:i=0 即:第i个回归系数与0无显著差异 (3)利用t检验,构造t统计量： 其中:Sy是回归方程标准误差(Standard Error)的估计值，由均方误差开方后得到，反映了回归方程无法解释样本数据点的程度或偏离样本数据点的程度 如果某个回归系数的标准误差较小，必然得到一个相对较大的t值，表明该自变量xi解释因变量线性变化的能力较强。 (4)逐个计算t统计量的值和相伴概率p (5)判断,2019/6/15,第9章 SPSS的线性回归分析,22,多元线性回归方程的检验,(四)t统计量与F统计量 一元回归中,F检验与t检验一致,即: F=t2,可以相互替代 在多元回归中，F检验与t检验不能相互替代 Fchange =ti2 从Fchange 角度上讲，如果由于某个自变量xi的引入，使得Fchange是显著的(通过观察Fchange 的相伴概率值)，那么就可以认为该自变量对方程的贡献是显著的，它应保留在回归方程中，起到与回归系数t检验同等的作用。,2019/6/15,第9章 SPSS的线性回归分析,23,多元线性回归分析中的自变量筛选,(一)自变量筛选的目的 多元回归分析引入多个自变量. 如果引入的自变量个数较少,则不能很好的说明因变量的变化; 并非自变量引入越多越好.原因: 有些自变量可能对因变量的解释没有贡献 自变量间可能存在较强的线性关系,即:多重共线性. 因而不能全部引入回归方程.,2019/6/15,第9章 SPSS的线性回归分析,24,多元线性回归分析中的自变量筛选,(二)自变量向前筛选法(forward): 即:自变量不断进入回归方程的过程. 首先,选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验; 其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方程,并进行检验; 默认:回归系数检验的概率值小于PIN(0.05)才可以进入方程. 反复上述步骤,直到没有可进入方程的自变量为止.,2019/6/15,第9章 SPSS的线性回归分析,25,多元线性回归分析中的自变量筛选,(三)自变量向后筛选法(backward): 即:自变量不断剔除出回归方程的过程. 首先,将所有自变量全部引入回归方程； 其次,在一个或多个t值不显著的自变量中将t值最小的那个变量剔除出去,并重新拟和方程和进行检验; 默认:回归系数检验值大于POUT(0.10),则剔除出方程 如果新方程中所有变量的回归系数t值都是显著的,则变量筛选过程结束. 否则,重复上述过程,直到无变量可剔除为止.,2019/6/15,第9章 SPSS的线性回归分析,26,多元线性回归分析中的自变量筛选,(四)自变量逐步筛选法(stepwise): 即:是“向前法”和“向后法”的结合。 向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不回被剔除 随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的变量。 逐步筛选法则在变量的每一个阶段都考虑的剔除一个变量的可能性。,2019/6/15,第9章 SPSS的线性回归分析,27,线性回归分析中的共线性检测,(一)共线性带来的主要问题 高度的多重共线会使回归系数的标准差随自变量相关性的增大而不断增大,以至使回归系数的置信区间不断增大,造成估计值精度减低. (二)共线性诊断 自变量的容忍度(tolerance)和方差膨胀因子 容忍度:Toli=1-Ri2. 其中: Ri2是自变量xi与方程中其他自变量间的复相关系数的平方. 容忍度越大则与方程中其他自变量的共线性越低,应进入方程. (具有太小容忍度的变量不应进入方程,spss会给出警)(T0.1一般认为具有多重共线性) 方差膨胀因子(VIF):容忍度的倒数 SPSS在回归方程建立过程中不断计算待进入方程自变量的容忍度,并显示目前的最小容忍度,2019/6/15,第9章 SPSS的线性回归分析,28,线性回归分析中的共线性检测,(二)共线性诊断 用特征根刻画自变量的方差 如果自变量间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是可从这些自变量中提取出既能反映自变量信息(方差)又相互独立的因素(成分)来. 从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，得到相应的若干成分. 如果某个特征根既能够刻画某个自变量方差的较大部分比例(如大于0.7),同时又可以刻画另一个自变量方差的较大部分比例，则表明这两个自变量间存在较强的多重共线性。 条件指标 0=100 严重,2019/6/15,第9章 SPSS的线性回归分析,29,线性回归分析中的异方差问题,(一)什么是差异方差 回归模型要求残差序列服从均值为0并具有相同方差的正态分布,即:残差分布幅度不应随自变量或因变量的变化而变化.否则认为出现了异方差现象 (二)差异方差诊断 可以通过绘制标准化残差序列和因变量预测值(或每个自变量)的散点图来识别是否存在异方差 (三)异方差处理 实施方差稳定性变换 残差与yi(预测值)的平方根呈正比：对yi开平方 残差与yi(预测值)呈正比:对yi取对数. 残差与yi(预测值)的平方呈正比,则1/yi,2019/6/15,第9章 SPSS的线性回归分析,30,多元线性回归分析操作,(一)基本操作步骤 (1)菜单选项: analyze-regression-linear (2)选择一个变量为因变量进入dependent框 (3)选择一个或多个变量为自变量进入independent框 (4)选择多元回归分析的自变量筛选方法: enter:所选变量全部进入回归方程(默认方法) remove:从回归方程中剔除变量 stepwise:逐步筛选；backward:向后筛选；forward:向前筛选 (5)对样本进行筛选(selection variable) 利用满足一定条件的样本数据进行回归分析 (6)指定作图时各数据点的标志变量(case labels),2019/6/15,第9章 SPSS的线性回归分析,31,多元线性回归分析操作,(二) statistics选项 (1)基本统计量输出 Part and partial correlation:与Y的简单相关、偏相关和部分相关 R square change:每个自变量进入方程后R2及F值的变化量 Collinearity dignostics:共线性诊断.,2019/6/15,第9章 SPSS的线性回归分析,32,多元线性回归分析操作,(三)options选项: stepping method criteria:逐步筛选法参数设置. use probability of F:以F值相伴概率作为变量进入和剔除方程的标准.一个变量的F值显著性水平小于entry(0.05)则进入方程;大于removal(0.1)则剔除出方程.因此:Entryremoval use F value:以F值作为变量进入(3.84)和剔除(2.71)方程的标准 (四)save选项: 将回归分析结果保存到数据编辑窗口中或某磁盘文件中,2019/6/15,第9章 SPSS的线性回归分析,33,曲线估计(curve estimate),(一)目的: 在一元回归分析或时间序列中,因变量与自变量(时间)之间的关系不呈线性关系,但通过适当处理,可以转化为线性模型.可进行曲线估计. (二)曲线估计的常用模型: y=b0+b1t (线性拟和linear) y=b0+b1t+b2t2 (二次曲线quadratic) y=b0+b1t+b2t2+b3t3 (三次曲线cubic) t为时间,也可为某一自变量.,2019/6/15,第9章 SPSS的线性回归分析,34,曲线估计(curve estimate),(三)基本操作步骤 (1)绘制散点图,观察并确定模型. (2)菜单选项: analyze-regression-curve estimation (3) 选择因变量到dependent框 (4) 选择自变量到independent框或选time以时间作自变量 (5)选择模型 (R2最高拟和效果最好),2019/6/15,第9章 SPSS的线性回归分析,35,曲线估计(curve estimate),(四)其他选项 (1)display ANOVA table:方差分析表 (2)plot models:绘制观察值和预测值的对比图. (3)save选项: predicted values:保存预测值. Residual:保存残差值. prediction interval:保存预测值的默认95%的可置信区间. Predict case:以time作自变量进行预测. Predict from estimation period through last case:计算保存所有预测值. Predict through :如果预测周期超过了数据文件的最后一个观测期,选择此项,并输入预测期数.,2019/6/15,第9章 SPSS的线性回归分析,36,线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关系 如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性意义 在整体解释能力显著的情况下，哪些自变量有显著意义 回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测,9.1 线性回归分析概述,2019/6/15,第9章 SPSS的线性回归分析,37,8.4.2 线性回归模型 一元线性回归模型的数学模型： 其中x为自变量；y为因变量； 为截距，即常量； 为回归系数，表明自变量对因变量的影响程度。,2019/6/15,第9章 SPSS的线性回归分析,38,用最小二乘法求解方程中的两个参数，得到：,2019/6/15,第9章 SPSS的线性回归分析,39,多元线性回归模型,多元线性回归方程： y=0+1x1+2x2+.+kxk 1、2、k为偏回归系数。 1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动。,2019/6/15,第9章 SPSS的线性回归分析,40,8.4.3 线性回归方程的统计检验 8.4.3.1回归方程的拟合优度 回归直线与各观测点的接近程度称为回归方程的拟合优度， 也就是样本观测值聚集在回归线周围的紧密程度 。 1、离差平方和的分解： 建立直线回归方程可知：y的观测值的总变动 可由 来反映，称为总变差。引起总变差的 原因有两个： 由于x的取值不同，使得与x有线性关系的y值不同； 随机因素的影响。,2019/6/15,第9章 SPSS的线性回归分析,41,2019/6/15,第9章 SPSS的线性回归分析,42,总离差平方和可分解为,即：总离差平方和（SST)=剩余离差平方和(SST) +回归离差平方和（SSR) 其中；SSR是由x和y的直线回归关系引起的，可以由回归直线做出解释；SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。,2019/6/15,第9章 SPSS的线性回归分析,43,2、可决系数（判定系数、决定系数）,回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表性好坏，称为可决系数。 对于一元线性回归方程：,2019/6/15,第9章 SPSS的线性回归分析,44,对于多元线性回归方程： 在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。,2019/6/15,第9章 SPSS的线性回归分析,45,8.4.3.2回归方程的显著性检验（方差分析F检验） 回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： 对于多元线性回归方程，检验统计量为：,2019/6/15,第9章 SPSS的线性回归分析,46,8.4.3.3回归系数的显著性检验（t检验） 回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为：,2019/6/15,第9章 SPSS的线性回归分析,47,对于多元线性回归方程，检验统计量为：,2019/6/15,第9章 SPSS的线性回归分析,48,8.4.3.4残差分析 残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为： 对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与X的取值无关；残差不存在自相关；残差方差相等。,2019/6/15,第9章 SPSS的线性回归分析,49,1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。 2、DW检验。 DW检验用来检验残差的自相关。检验统计量为： DW=2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5之间即可说明无自相关现象。,2019/6/15,第9章 SPSS的线性回归分析,50,8.4.3.5多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式： 1、容忍度： 其中， 是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。 2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。,2019/6/15,第9章 SPSS的线性回归分析,51,3、特征根和方差比。根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。 4、条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强；当条件指数大于100时说明存在严重的多重共线性。,2019/6/15,第9章 SPSS的线性回归分析,52,8.4.3 线性回归分析的基本操作 （1）选择菜单AnalyzeRegressionLinear，出现窗口：,2019/6/15,第9章 SPSS的线性回归分析,53,（2）选择被解释变量进入Dependent框。 （3）选择一个或多个解释变量进入Independent(s)框。 （4）在Method框中选择回归分析中解释变量的筛选策略。其中Enter表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中；Remove表示从回归方程中剔除所选变量；Stepwise表示逐步筛选策略；Backward表示向后筛选策略；Forward表示向前筛选策略。,2019/6/15,第9章 SPSS的线性回归分析,54,注：多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种基本策略。 向前筛选（ Forward ）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程一直重复，直到再也没有可进入方程的变量为止。 向后筛选（ Backward ）策略：变量不断剔除出回归方程的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立,2019/6/15,第9章 SPSS的线性回归分析,55,回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。,2019/6/15,第9章 SPSS的线性回归分析,56,（5）第三和第四步中确定的解释变量及变量筛选策略可放置在不同的块（Block）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击Next和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。 （6）选择一个变量作为条件变量放到Selection Variable框中，并单击Rule按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析。 （7）在Case Labels框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。,2019/6/15,第9章 SPSS的线性回归分析,57,8.4.4 线性回归分析的其他操作 1、Statistics按钮，出现的窗口可供用户选择更多的输出统计量。,2019/6/15,第9章 SPSS的线性回归分析,58,（1）Estimates：SPSS默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回归系数显著性检验的t统计量和概率p值，各解释变量的容忍度。 （2）Confidence Intervals：输出每个非标准化回归系数95的置信区间。 （3）Descriptive：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率p值。,2019/6/15,第9章 SPSS的线性回归分析,59,（4）Model fit：SPSS默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回归方程显著F检验的方程分析表。 （5）R squared change：输出每个解释变量进入方程后引起的判定系数的变化量和F值的变化量。 （6）Part and partial correlation：输出方程中各解释变量与被解释变量之间的简单相关、偏相关系数。,2019/6/15,第9章 SPSS的线性回归分析,60,（7）Covariance matrix：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。 （8）Collinearity Diagnostics：多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。 （9）在Residual框中：Durbin-waston表示输出DW检验值；Casewise Diagnostic表示输出标准化残差绝对值大于等于3（SPSS默认值）的样本数据的相关信息，包括预测值、残差、杠杆值等。,2019/6/15,第9章 SPSS的线性回归分析,61,2、Options选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。 3、Plot选项，出现的窗口用于对残差序列的分析。,2019/6/15,第9章 SPSS的线性回归分析,62,（1）窗口左边框中各变量名的含义是：DEPENDNT表示被解释变量，*ZPRED表示标准化预测值，*ZRESID表示标准化残差，*DRESID表示剔除残差，*ADJPRED表示调整的预测值，*SRESID表示学生化残差，*SDRESID表示剔除学生化残差。 （2）绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标和横坐标变量。 （3）在Standardized Residual Plots框中选择Histogram选项绘制标准化残差序列的直方图；选择Normal probability plot绘制标准化残差序列的正态分布累计概率图。选择Produce all partial plots选项表示依次绘制被解释变量和各个解释变量的散点图。,2019/6/15,第9章 SPSS的线性回归分析,63,4、Save选项，该窗口将回归分析的某些结果以SPSS变量的形式保存到数据编辑窗口中，并可同时生成XML格式的文件，便于分析结果的网络发布。 （1）Predicted Values框中：保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差。 （2）Distance框中：保存均值或个体预测值95（默认）置信区间的下限值和上限值。 （3）Residual框中：保存非标准化残差、标准化残差等。 （4）Influence Statistics框中：保存剔除第i个样本后统计量的变化量。 5、WSL选项，采用加权最小二乘法替代普通最小二乘法估计回归参数，并指定一个变量作为权重变量。,2019/6/15,第9章 SPSS的线性回归分析,64,以高校科研研究数据为例，建立回归方程研究 1、课题总数受论文数的影响 2、以课题总数为被解释变量，解释变量为投入人年数（X2）、受投入高级职称的人年数（X3）、投入科研事业费（X4）、专著数（X6）、论文数（X7）、获奖数（X8）。 （1）解释变量采用强制进入策略（Enter），并做多重共线性检测。 （2）解释变量采用向后筛选策略让SPSS自动完成解释变量的选择。 （3）解释变量采用逐步筛选策略让SPSS自动完成解释变量的选择。,8.4.5 应用举例,2019/6/15,第9章 SPSS的线性回归分析,65,1、为研究收入和支出的关系，收集1978-2002年我国的年人均可支配收入和年人均消费性支出数据，研究收入与支出之间是否具有较强的线性关系。 2、以年人均支出和教育数据为例，建立回归方程研究年人均消费支出、恩格尔系数、在外就餐、教育支出、住房人均使用面积受年人均可支配收入的影响。,练习,2019/6/15,第9章 SPSS的线性回归分析,66,9.7 曲线估计,9.7.1 曲线估计概述 变量间的相关关系中，并不总是表现出线性关系，非线性关系也是极为常见的。变量之间的非线性关系可以划分为本质线性关系和本质非线性关系。本质线性关系是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最终可通过线性回归分析建立线性模型。本质非线性关系是指变量关系不仅形式上呈非线性关系，而且也无法变换为线性关系。本节的曲线估计是解决本质线性关系问题的。,2019/6/15,第9章 SPSS的线性回归分析,67,常见的本质线性模型有： 1、二次曲线（Quadratic），方程为 ，变量变换后的方程为 2、复合曲线（Compound），方程为 ，变量变换后的方程为 3、增长曲线（Growth），方程为 ，变量变换后的方程为,2019/6/15,第9章 SPSS的线性回归分析,68,4、对数曲线（Logarithmic），方程为 ，变量变换后的线性方程为 5、三次曲线（Cubic），方程为 ，变量变换后的方程为 6、S曲线（S），方程为 ， 变量变换后的方程为 7、指数曲线（Exponential），方程为 ，变量变换后的线性方程为,2019/6/15,第9章 SPSS的线性回归分析,69,8、逆函数（Inverse），方程为 变量变换后的方程为 9、幂函数（Power），方程为 变量变换后的方程为 10、逻辑函数（Logistic），方程为 变量变换后的线性方程为,2019/6/15,第9章 SPSS的线性回归分析,70,SPSS曲线估计中，首先，在不能明确究竟哪种模型更接近样本数据时，可在多种可选择的模型中选择几种模型；然后SPSS自动完成模型的参数估计，并输出回归方程显著性检验的F值和概率p值、判定系数R2等统计量；最后，以判定系数为主要依据选择其中的最优模型，并进行预测分析等。另外，SPSS曲线估计还可以以时间为解释变量实现时间序列的简单回归分析和趋势外推分析。,2019/6/15,第9章 SPSS的线性回归分析,71,9.7.2 曲线估计的基本操作 可通过绘制并观察样本数据的散点图粗略确定被解释变量和解释变量之间的相关关系，为曲线拟合中的模型选择提供依据。SPSS曲线估计的基本操作步骤是： （1）选择菜单AnalyzeRegressionCurve Estimation，出现窗口如下页所示。 （2）把被解释变量选到Dependent框中。,2019/6/15,第9章 SPSS的线性回归分析,72,2019/6/15,第9章 SPSS的线性回归分析,73,（3）曲线估计中的解释变量可以是相关因素变量也可是时间变量。如果解释变量为相关因素变量，则选择Variable选项，并把一个解释变量指定到Independent框；如果选择Time参数则表示解释变量为时间变量。 （4）在Models中选择几种模型。 （5）选择Plot Models选项绘制回归线；选择Display ANOVA table输出各个模型的方差分析表和各回归系数显著性检