第九讲回归分析续.ppt

第九讲 回归分析（续）,一、预测和控制,二、一元曲线回归,三、多元回归分析,一、预测和控制,在回归检验中，如果回归方程的效果显,著，,著，,预测和控制。,测（或预报）相应的 值或其可能的取值范,围。,也就是回归方程与实际数据拟合效果显,紧接着的问题就如何利用回归方程进行,所谓预测就是对给定的 ，,预,而控制正好与预测相反，,它是根据 的预,期范围来如何控制 的范围。,（一）预测,设 是样本，,给定 ，,有,且 与 相互独立。,有,回归方程为 。,根据回归方程,的意义，自然用回归值（或拟合值）,作为 的预测值。,由于,所以 是 的无偏估计。,下求 的预测区间：,独立，由于,且 与 相互独立，,则有,设,根据 与 相互独立有,即,又由于 相互独立，,可知 与 独立；,再,由 与 独立，,可知 与 独立，,故,这样置信度为 的预测（置信）区间为,其中,由上式可知，残差平方和 越小，预测区间越,窄，即预测越精确；,另对给定的样本观测值和,置信度，,越靠近 ，,预测区间越精确。,由于 的任意性，,因此夹在两曲线,之间的部分就是 的置信度,的预测带。,特别地当 很大且 越接近 时，,若要 的值以概率 落在给定,（二）控制,的置信度,为 的预测区间可近似的表示为,区间 内，那么变量 应控制在什么范围,内，,即就是要求出区间 ，,使当,时，对应的 值以概率 落在区间,之内。,在此仅讨论 很大且 越接近 的情形。,令,求解方程组可得,当 时，,的控制区间为 ；,时， 的控制区间为 。,而当,显然要实现上述,对 的控制，,必须有,二、一元曲线回归,常用的线性化方法：,1.,双曲线,则可线性化为,2.,幂函数,则可线性化为,3.,指数曲线,则可线性化为,4.,倒指数曲线,则可线性化为,5.,对数曲线,则可线性化为,6.,曲线,则可线性化为,7.,多项式,则可线性化为,这种情形常用的是二次多项式。,注,(1),线性化的过程使得有关的显著性检验,无法进行，,但仍可根据原始数据计算,及,仍称其为拟合优度。,(2),可以根据,的值来评判拟合的好坏。,三、多元回归分析,考虑含 个因素的回归模型,其中 是可观测的随机变量，,是未参,数，称为回归系数，,是不可观测的随机误差，,称为回归因子或设计因子，简称因子。,实际上反映了因子 对观测值 的,（一）多元回归模型,贡献大小，因此也称 为因子 的效应。,设有 组观测值,则有,用矩阵可表示如下：,（*）,其中,称 为设计矩阵，且一般假设 。,显然有,（二）参数的最小二乘估计及性质,误差的平方和为,选择参数 使上式达到最小。,可得,令,有,此方程称为正规方程，,由于 可逆，所以,就是参数 的最小二乘估计。,性质1,使得 达到最小。,证明,由于,所以,性质2,是 的线性无偏估计。,性质4,是 的最好(协方差阵最小)线性无偏,证明,设 是 的任一线性无偏估计，,即,这样对任一 有,所以,同时亦有,最小二乘估计,的协方差阵是,估计。,性质3,分解式 成立，,总误差平方和，,回归平方和，,残差平方和。,即,这样有,即,对任一 维向量 ，,由于,性质5,称 为拟合值，,称,为残差向量。,即 与 不相关。,证明,性质6,的无偏估计为,证明,由于,性质7,若在模型(*)中再假设 ，,则 也是 的极大似然估计。,（三）回归方程和回归系数的显著性检验,现在考虑模型,即在模型(*)的基础上再假设误差向量服从多维,正态分布。,（*）,定理,对模型(*)而言，有,(1),(2),(3),(4),(1),回归方程的显著性检验,考虑假设检验问题,由定理知当 成立时，,有,因此显著性水平为 的拒绝域为,(2),回归系数的显著性检验,考虑假设检验问题,由定理知当 成立时，,有,其中 为矩阵 对角线上的元素，即向量,的第 个元素。,因此显著性水平为 的拒绝域为,同理，,也可给出被择假设分别为,时回归系数的检验的拒绝域。,顺便给出回归系数的区间估计。,的置信区间为 ，,置信度为,其中,注：,如果协方差矩阵 ，,其中,此时有,令,则有,(四),“最优”回归方程的选择,“全部比较” 法， “只出不进” 法，,“只进不出” 法，,逐步回归法,称为加权最小二乘估计。,就变为模型(*)，,由该模型得到的最小二乘估计,课外小论文：,利用逐步回归法建立国家财政收入回,归模型。影响财政收入的因素可能为工业,总产值(亿元)、农业总产值(亿元) 、建筑业,总产值(亿元) 、社会商品零售总额(亿元) 、,人口数(万人)、受灾面积(万公顷)等。,具体,数据可查中国统计年鉴。,或对自己感兴趣的研究课题，进行数据收,集，再利用逐步回归法建立相应的回归模型。,要求：,（1）摘要、关键词,（2）引言,（3）解决问题的方法和计算结果,（4）讨论,（5）参考文献,