第十章点估计.ppt
第十章 点估计,估计问题 估计方法 点估计的优良性,第十章 点估计,在实际问题中，经常遇到随机变量X（即总体X）的分布 函数的形式已知，但它的一个或者多个参数未知的情形， 此时写不出确切的概率密度函数.若通过简单随机抽样，得 到总体X的一个样本观测值，我们自然会想到利用这一组数 据来估计这一个或多个未知参数.诸如此类，利用样本去估 计总体未知参数的问题，称为参数估计问题. 参数估计问题有两类，分别是点估计和区间估计.而参 数估计是统计推断的一个重要组成部分，可以这样说统计 推断的基本问题可以分为两大类: 一是参数估计问题， 二 是假设检验问题。,第十章 点估计,这里所指的参数是指如下三类未知参数： 1.分布中所含的未知参数。如：两点分布B（1，p） 中的概率p ，正态分布 中的,2、分布中所含的未知参数 的函数。 如：服从正态分布 的变量不超过给定值的概率 是未知参数， 的函数；单位产品的缺陷数通常服从泊松分布 ，则单位产品合格（无缺陷）的概率 是未知参数 的函数。,3、分布的各种特征数也都是未知参数。如：均值 ，方差 ，分布的中位数等等。,第十章 点估计,参数估计,点估计 区间估计,估计未知参数的值,估计未知参数的取值范围，并使此范围包含未知参数的真值的概率为给定的值,第十章 点估计,如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及两个问题：,如何给出估计，即估计的方法问题； 如何对不同的估计进行评价，即估计的好坏判断标准。,第一节 点估计问题,设总体X的分布函数 （x，）是已知的 ，是未知的分布参数，参数的所有可能取值组成的集合称为参数空间，常用表示，参数估计问题就是根据样本对上述未知参数做出估计。当X为离散时，（x，）为分布律；当X为连续时，（x，）为密度函数,设 是来自总体 的一个样本，所谓统计模型，即样本 的联合分布。由于样本是独立同分布的故可一般地表述统计模型为：,第一节 点估计问题,例 某种同型号产品个，其合格率未知，对该批产品作质量检验，从中随机抽取件（）当第次抽到的产品为合格时，记，反之记 则 就是样本总体分布为二点分布 ，参数空间 ，容易得到统计模型,例 一批灯管寿命服从指数分布E(), 0 未知，从中随机抽取n支， 为其寿命，则统计模型为,其中 只取大于0的实数值,第一节 点估计问题,在统计模型(1)中，若知道，就完全知道了总体的分 布，因此在模型(1)下，统计推断的对象或者说各种统计 推断问题都是同这个未知参数有关。,注意： 虽然g(·)已知的函数，但未知，因而函数值g() 是未知的,假设模型(1)及有一个同有关的指标，=g() , 可以是向量值。我们的问题是：基于样本 ，估计g() 。,其中参数(,2),参数空间 ，估计对象是中的一个分量，令g()= ，是一个定义在上的已知函数，问题是：基于 ，由此估计未知函数值g() .,第一节 点估计问题,例3 ：对某地区中学生做身高调查，假定身高X服从正态分布N(,2),其,2中均未知，调查目的是为了了解该地区中学生的平均身高.今从中抽取n个人。测得其身高 ，由此估计平均身高,该问题的模型是:,第一节 点估计问题,例4(续例3) 要在该地区中学生中挑选生排球队员, 标准是其身高必须高于1.90m.问题是估计中选率.,由正态分布性质,可将表示成如下的的已知函 数形式:,其中 是标准正态分布函数,这个函数在未知参 数 处的值正是要估计的对象.,第一节 点估计问题,点估计的思想方法： 设总体的分布函数的形式已知，但含有一或多个未知参数： 。设 为总体的一个样本，构造个统计量,随机变量,第一节 点估计问题,当测得样本值 时，代入上述方程组，即 可得到个数：,数 值,程数 为未知参数 的估计值 对应统计量为未知参数 的估计量,统计估计沿用以下规则：若 的一个估计，则 的估计自动地被估计为 ，称这一规则为估计的自助程序。,的估计为 ,的估计为S ,则的估计是,第一节 点估计问题,说明: 1.给出 ,等同于给出的一种估计规则(估计程 序), 有了观 察数据,如何算出估计值. 2.估计量不必唯一,同一参数可以构造不同的统计量用以估计. 因此有一个估计量好环的比较评价估计量好环的准则.,例如在例4中,第二节 估计方法,两种常用的构造估计量的方法：,一.矩估计法,定义：用样本矩来代替总体矩,从而得到总体分布中参数的一种估计.这种估计方法称为矩估计法.它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩.也称之为替换原则. 特点：不需要假定总体分布有明确的分布类型。,矩估计法 极大似然估计法,第二节 估计方法,设总体X具有已知类型的概率函数f(x;),=(1,k) 是k个未知参数.(X1,X2,Xn)是来自总体X的一个样本.假 若X的k阶矩k=E(Xk)存在,则对于ik, E(Xi)都存在,并且 是(1,k)的函数i(1,k).,得到含有未知参数(1,k)的k个方程.解这k个联立方程 组就可以得到(1,k)的一组解:,第二节 估计方法,用上面的解来估计参数i就是矩法估计.,第二节 估计方法,例: 设总体X服从泊松分布，参数未知， 是来自总体的一个样本，求参数的矩估计量.,解：总体X的期望为,从而得到方程,所以的矩估计量为,110，184，145，122，165，143，78，129，62， 130，168,第二节 估计方法,例5 设有一批同型号灯管,其寿命(单位：h)服从参数为的指数分布，今随机抽取其中的11只，测得其寿命数据如下：,用矩估计法估计值。,解：设X为灯管的寿命，则,的矩估计,已知n=11，,的观察值为,因而的估计值为：,第二节 估计方法,例6 设总体X有均值和方差 ，今有6个随即样本 的观察数据为：-1.20,0.82,0.12,0.45,-0.85,-0.30 求和 的矩估计量.,解:参数 是二维的. 因为,第二节 估计方法,例7 设 是来自(1,2) 上均匀分布样本, 12 未知. 求1,2的矩估计.,解得1,2 的矩估计为：,解:因为,第二节 估计方法,例8 设 是来自B(n,p) 上的样本. 求p的矩估计量和p/(1-p)的矩估计量.,例: 设某炸药厂一天中发生着火现象的次数X服从,解：,练习,为了叙述极大似然原理的直观想法，先看一个例子。,第二节 估计方法,极大似然估计法是求估计用的最多的方法，它最早 是由高斯在1821年提出，但一般将之归功于费舍尔 (R.A.Fisher)，因为费舍尔在1922年再次提出了这种 想法，并证明它的一些性质，从而使得极大似然法得 到了广泛的应用。,二.极大似然估计法,特点：适用总体的分布类型已知的统计模型,第二节 估计方法,例：假若一个盒子里有许多白球和红球,而且已知它们的数目之比是3:1,但不知是白球多还是红球多.设随机地在盒子中取一球为白球的概率是p.如果有放回地从盒子里取3个球,那么白球数目X服从二项分布,如果样本中白球数为0,则应估计p=1/4,而不估计p=3/4.因为具有X=0的样本来自p=1/4的总体的可能性比来自p=3/4的总体的可能性要大.一般当X=0,1时,应估计p=1/4;而当X=2,3时,应估计p=3/4.,第二节 估计方法,似然函数:,第二节 估计方法,第二节 估计方法,令,第二节 估计方法,求极大似然估计的一般步骤归纳如下：,第二节 估计方法,例8 设 是来自 的样本，求 极大似然估计,故似然函数为：,解：X的密度函数为：,所以对数似然函数为：,是极大似然估计量,第二节 估计方法,似然方程组为:,解方程组得:,注意：虽然求导函数是求极大似然估计量常用的方法，但并不是所有场合求导都是有效的，后面的例子说明例这个问题。,第二节 估计方法,例：设总体X服从几何分布PX=x=p(1-p)x-1,x=1,2,其中p为未知参数，0p1，设X1,X2,Xn为X的一个样,本，求参数p的极大似然估计.,解：似然函数,对数似然函数,对数似然方程,解得,第二节 估计方法,例 设总体 ，a,b未知， 是一个 样本值，试求a,b 的最大似然估计量。,解：总体X密度函数为：,似然函数为：,要使L()最大，只要b-a最小，由于,第二节 估计方法,似然函数取得最大值为：,故a,b的极大似然估计值为：,第二节 估计方法,故a,b的极大似然估计量为：,极大似然估计的性质 设的函数 具有单值反函数 又设 是X的概率分布中参数的极大似然估计，则 是 的极大似然估计。,第二节 估计方法,例9:设 是来自 上均匀分布的样本,0未知,求得极大似然估计,解:总体X的密度函数为：,似然函数为：,因此只能求函数L()得最大值点.,练习,第二节 估计方法,解：,总体X服从参数为的指数分布，则有,所以似然函数为:,取对数,令,解得的极大似然估计值为,极大似然估计量为,第三节 点估计的优良性,对于同一个未知参数,不同的方法得到的估计量可能不 同,于是提出问题,应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?,设有总体分布f(x,), ,基于来自总体的样本 估计 , 是 的一个估计量,如对每一 ,都有,定义,我们不可能要求每一次由样本得到的估计值与真值 都相等，但可以要求这些估计值的期望与真值相等.,定义的合理性,第三节 点估计的优良性,则称,是 的无偏估计.,第三节 点估计的优良性,例10 是总体均值的无偏估计；样本方差 不是总体方差 的无偏估计。,证明：,而,所以是有偏估计.,考虑：若使用修正样本方差 是不是无偏估计？,第三节 点估计的优良性,例11 均匀分布R(0,)的参数的极大似然估计 但不是的无偏估计.,解:,第三节 点估计的优良性,故X(n)的密度函数,例4 设总体 X 的密度函数为,证,故,是 的无偏估计量.,为常数,为 X 的一个样本,练习,令,即,故n Z 是 的无偏估计量.,练习,第三节 点估计的优良,都是总体参数个g() 的无偏估计量, 且,则称 比 更有效.,参数的无偏估计可以很多，如何在无偏估计中进行选择？直观的想法是希望该估计围绕参数真值的波动越小越好，波动大小可以用方差来衡量，因此人们常用无偏估计 的方差的大小来度量无偏估计优劣的标准，这就是有效性。,定义,第三节 点估计的优良,故得,例 设总体 X 的密度函数为,哪个估计更有效？,为常数,所以,比,更有效.,解 ，,例6 设总体 X，且 E( X )= , D( X )= 2,为总体 X 的一个样本,证明,是 的无偏估计量,(2) 证明,比,更有效,证 (1),(1) 设常数,(2),而,例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一样本.,都是 的无偏估计量,第三节 点估计的优良,我们知道，点估计是一个统计量，因此它是一个随机 变量，在样本量一定的条件下，我们不可能要求它完全等 同于参数的真实值。但是随着样本容量的不断增大时， 与g()越来越接近，以至于最后完全重合.,定义 设 是总体参数g() 的估计量.,若对于任意的 , 当n 时,依概率收敛于g() , 即,相合性估计量仅在样本容量n 足够大时,才显示其优越性.,第三节 点估计的优良,相合估计量的意义在于：只要样本容量足够大，就可以 使相合估计量与参数真实值之间的差异大于的概率足够 地小，也就是估计量可以用任意接近于的概率把参数真 实值估计到任意的精度. 相合性是点估计的大样本性质，指的是：这种性质是针 对样本容量 而言，对于一个固定的样本容量n，相 合性是无意义的. 与此相对，无偏性和有效性的概念是对固定的样本而 言，不需要样本容量趋于无穷，这种性质也称为“小样本 性质”.,第三节 点估计的优良,例12 设总体有正态分布 则修正样本方差 是 的相合估计。,证明：,因为,由切比雪夫不等式得,结论得证.,证明相合性只需证明,证明 是 的无偏、相合估计量.,练习,作业：,1, 2, 4, 5, 8, 10,
