平方度量意义下函数逼近问题的研究.doc
《平方度量意义下函数逼近问题的研究.doc》由会员分享,可在线阅读,更多相关《平方度量意义下函数逼近问题的研究.doc(33页珍藏版)》请在三一文库上搜索。
1、长春理工大学本科毕业论文摘 要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.然而,最小二乘法因其抽象、难懂常常不能被准确理解.本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了连续函数的最佳平方逼近,在此基础上,介绍了切比雪夫、勒让德、拉盖尔、埃尔米特四种正交多项式以及三角多项式的逼近问题。关键词:最小二乘法 线性拟合 曲线拟合 正交多项式AbstractLeast square was used to estimate par
2、ameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identification, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ,often can not be accurate
3、ly understanding. The least square methods principle and the various kinds of fitting methods such as the linear least square fitting, multiple linear fitting, polynomial fitting a nonlinear fitting are dealt with. And discussed square approximation of continuous function, on this basis, introduced
4、the Chebyshev, Legendre, Laguerre, Hermite orthogonal polynomials and the four triangular polynomial approximation.Key Words:least square method;linear fitting;square approximation29目 录摘 要IAbstractII目 录I第1章 引言1第2章 最小二乘法32.1 最小二乘法问题描述3第3章 离散点的最小二乘曲线拟合73.1 问题提法及拟合模型73.2 线性模型的正规方程93.3 基于正交基的线性模型113.4 非
5、线性模型举例13第4章 连续函数的最佳平方逼近174.1 问题提法及正规方程174.2 利用多项式作平方逼近194.3 利用正交函数组作平方逼近214.4 几种常见的正交多项式21第5章 结论25参考文献27致谢29第1章 引言最小二乘方法最早是由高斯提出的,他用这种方法解决了天文学方面的问题,特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定,原则上,只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差,由5次测量所确定的运行轨迹极不可靠,相反,要进行多次测量,用最小二乘法消除测量误差,得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产
6、生的高维空间问题降到了椭圆轨迹模型的五维参数空间。假如想了解某个地方的月降雨量,一个月的观测当然不够,任何一个月都可能是异常晴朗或异常多雨。相反,人们应该研究几个月或至少一年甚至十年,并将所有数据加以平均。平均的结果对任何一个具体的月份并不一定能完全符合,但凭直觉,这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果要准确得多。这个原理在观察和实验科学领域是通用的。它是通过多次测量消除测量误差及随机波动。木匠的格言“量两次,再下手”也正是这个常识的一个例子。在降雨的例子中,我们用一个数来代表或一定程度地近似整个测定数据的效果。更一般的,鉴于各种理论和实际的原因,常用低维来近似说明高维的
7、对象。在下面几种工作中都可以采用这个方法,象消除误差或忽略无关细节,从干扰数据中提取信号或找出趋势,将大量数据降低到可管理的数量或用简单的近似来代替复杂函数。我们并不期望这个近似值多么精确,事实上,在许多时候它也不用很精确。但尽管如此,我们还是希望它能保持对原始数据的相似之处。在线性代数领域,我们希望将一个高维空间的向量投影到低维子空间,完成这个工作的最普遍和最便于计算的方法之一就是最小二乘法。在正确选择模型的前提下,用绝对误差最小二乘法拟合观测点的因变量量级相差较大的资料,往往使各点的相对估计误差分布不均匀(表现为大观测值的相对误差较小,小的则很大),若采用相对误差最小二乘法来拟合,可在一定
8、程度上改善这种不良效果,并提高了拟合结果的可靠性。用于估计直线或曲线模型参数的相对误差最小二乘法是指使因变量估计值与实测值间的相对误差平方和为最小。最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。我们用数量来度量逼近多项式与已知函数的近似程度。若,则意味着序列在区间上一致收敛到.一致逼近度量、亦称Tchebyshev度量是很重要的一类度量标准,然而由于它的非线性特征,使得最佳一致逼近多项式的构造问题十分困难。对于许多问题来讲,人们需要求出的是在确定意义下的“整体”近似。本文讨论一类新的度量平方度量意义下函数的逼近问
9、题。第2章 最小二乘法2.1 最小二乘法问题描述最小二乘法起源于以测量和观测为基础的天文学。在1794年利用最小二乘法解决了多余观测问题。可以用下面的简单例子描述这类问题。假定通过观测或实验得到如下一组数据(即列表函数):12345678012345671.41.31.41.11.31.81.62.3我们的目的是用一简单的式子表出这些数据间的关系,从分析数据看出,这些点差不多分布在一条直线上,因此我们自然想到用线性式表示它们之间的关系。这就须定出参数和的值。待定参数的确定归结为矛盾方程组的求解问题。假定有某方法可以定出和,则按,给出一个便可以算出一个。我们记 称为估计值,显然它们不会是完全相同
10、的,它们之间的差(通常称为残差)无疑是衡量被确定的参数和(也就是近似多项式)好坏的重要标志。可以规定许多原则来确定参数,,例如(1)参数的确定,将使残差绝对值中最大的一个达到最小,即 为最小;(2)参数确定,将使残差绝对值之和达到最小,即为最小;(3)参数的确定,将使残差的平方和达到最小,即为最小(1)(2)两个原则是很直观的,也很理想,但很不好用;而原则(3)既直观又很好用。按原则(3)确定待定参数,从而得到近似多项式的方法,就是通常所说的最小二乘法。这一方法的理论根据是,概率理论已证明,只有这样的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小影响。回到所提出的问题上来,即用最小
11、二乘法确定参数,,按最小二乘法,应使取最小值,因此,应有由此,得到如下线性方程组:经过简单计算,这个方程组成为解之可得,,从而得近似多项式,现在转入讨论更为一般的情形,设已知列表函数,并且我们想用一个通常的次多项式 (2-1)去近似它.问题是应该如何选择使能较好地近似列表函数.按最小二乘法,应该选择,使得 (2-2)取最小。注意到是非负的,且是的2次多项式,它必有最小值。求对的偏导数,并令其等于零,得到进一步,可以将它们写成引进记号 和则上述方程组成为 (2-3)它的系数行列式是由的定义及行列式性质,可以断言 (2-4)此处符号表行列式,而是对所有可能的求和(每个可以取值并且当时 ).由(2-
12、4)式及行列式的性质可知,当 互异时,从而,,方程组(2-3)有唯一解,且它们使(2-2)取极小值。如此,我们应用最小二乘法找到了的近似多项式.在利用最小二乘法组成和式(2-2)时,所有点都起到了同样的作用,但是有时依据某种理由认为中某些项的作用大些,而另外一些作用小些(例如,一些是由精密较高的仪器或操作上比较熟练的人员获得的,自然应该予以较大的信任),这在数学上表现为用和 (2-5)替代和(2-2)取最小值。此处诸且,通常称之为权;而(2-5)为加权和。例2.1 设已函数f(x)的表列值为0.20.50.70.8511.2211.6492.0142.3402.718试按最小二乘法构造的二次近
13、似多项式。解 经过简单计算可得关于参数和 方程组(参阅下面的第一个表): 解之,得故 1111150.20.50.70.8513.2500.040.250.490.72312.5030.0080.1250.3430.61412.0900.0020.0630.2400.52211.8261.2211.6492.0142.3402.7189.9420.2440.8241.4101.9892.7187.1850.0490.4120.9971.6902.7185.857下表给出了在结点处的误差。0.20.50.70.8511.2211.223-0.0021.6491.6440.0052.0142.01
14、7-0.0032.3402.344-0.0042.7182.7150.003用多项式去近似一个给定的列表函数(即给出的一组观测值)时,需要确定的参数是;而可以看成是的线性函数。第3章 离散点的最小二乘曲线拟合3.1 问题提法及拟合模型为离散数据建立连续模型,或者说为离散点配一条曲线,有两种途径。一种途径是曲线(连续模型的图象)必须精确地通过由已知离散数据确定的离散点,也就是插值法。另一途径是要求曲线符合离散点分布的总体轮廓,而不要曲线精确地通过给定的各离散点,即所谓“曲线拟合”。在处理从实验中得到的大量数据时,通常采用曲线拟合方法。本章讨论最小二乘意义下的曲线拟合问题。设从实验中得到离散数据(
15、离散点) (3-1)设是用于拟合数据(3-1)的函数类,是拟合模型即的一般元素, (3-2)其中是个参数,又设与分别是带权2-范数与最小二乘拟合优度,即 (3-3)与 (3-4)其中常数是权,最小二乘曲线拟合就是实现最小二乘拟合优度下的极小化(达最小平方残差):找使得 (3-5)从问题的提法可见,进行最小二乘曲线拟合包含两个主要步骤:一是选取形如(3-2)的合适的拟合模型,即选取合适的函数类;二是求解问题(3-5). 关于拟合模型,必须能反映离散点(3-1)分布的基本特征。常选取是线性拟合模型,即所属的函数类 (3-6)其中 是线性无关的基函数。于是 (3-7)往往选取每个是次数的简单的多项式
16、,即是次数的多项式空间,特别常取其中 是整数,并直接记从而有时,根据离散点(9.1)分布的明显特征,也选取非线性地依赖于参数 ,是非线性拟合模型,例如等。这种情形,是由若干参数确定的某种函数族。一般地说,非线性模型的建立比线性模型的建立要困难一些,而且只有那些能变换为线性模型来处理的非线性模型适合采用最小二乘方式进行拟合。(i)有时,我们希望用如下类型的函数: (3-8)去近似一个由一组观测数据(列表)所描绘的函数,其中和是待定的两个参数。显然是和的线性函数。怎样线性化呢?为此,我们在(3-8)式两端取对数,得到.记,则(3-8)式变成 .这是一个一次多项式,它的系数和可以用最小二乘法求得。(
17、ii)我们经常希望用函数 (3-9)去近似一个已给定的列表函数,其中、是待定的参数。这时,我们可以在(3-9)的两端取对数:记,则(3-9)式变成这样,仍可用最小二乘法定出(从而也就定出了),得到近似函数.3.2 线性模型的正规方程我们着重讨论线性模型的最小二乘拟合。设关于离散数据(3-1)的拟合模型形如(3-7),则求解问题(3-5)归结为求元函数的极值, (3-10)显然,是非负的上无界的二次函数,没有最大值但可以达到最小值。I达最小值的必要条件是 这是关于 的线性代数方程组,可以改写成 (3-11)其中 (3-12)方程组(3-11)称为正规方程或法方程。一般,远小于,函数线性无关保证向
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 平方 度量 意义 函数 逼近 问题 研究
链接地址:https://www.31doc.com/p-2550172.html