二部分统计推断.ppt
《二部分统计推断.ppt》由会员分享,可在线阅读,更多相关《二部分统计推断.ppt(29页珍藏版)》请在三一文库上搜索。
1、1,第二部分:统计推断,Chp6:统计推断概述 Chp7:非参数推断 Chp8:Bootstrap Chp9:参数推断 Chp10:假设检验 Chp11:贝叶斯推断 Chp12:统计决策理论,2,Chp6:统计推断,统计推断/学习 利用数据来推断产生数据的分布的过程 统计推断的基本问题: 我们观测到数据 ,要推断(估计或学习)F 或 F 的某些性质(如均值和方差)。,数据产生过程,观测到的数据,概率,统计推断,3,推断的基本问题,推断的基本问题 点估计 置信区间 假设检验,4,统计推断概述,统计模型 参数模型 非参数模型 模型估计 点估计 区间估计 假设检验 估计的评价 无偏性 一致性 有效性
2、 ,第三部分的统计学习部分更多地关心模型选择,5,参数模型,参数模型 可用有限个参数参数化,如 也可记为 一般形式 当 为向量,而我们只对其中一部分参数感兴趣,则其余参数称为冗余参量(nuisance parameters ),6,非参数模型,非参数模型 粗略地说,非参数模型不能用有限个参数参数化 如 如,7,例:参数推断,6.1例(一维参数估计)设 是独立的Bernoulli(p)观测,问题在于如何估计参数p。 6.2例(二维参数估计)假设 且PDF , 如 则有两个参数 。 目标是从数据中获得参数。如果仅对感兴趣,那么是感兴趣参数,而 是冗余参量。,8,例:非参数推断,6.3例(CDF的非
3、参数估计)设 是来自CDF F 的独立观测。问题是在假设 的条件下估计F。,9,例:非参数推断,6.4例(非参数密度估计)设 是CDF F 的独立观测,令 是其PDF。 假设我们要估计f 。在只假设 的条件下,不可能估计出 f。我们需要假设f的平滑性。 例如,可假设 ,其中 是满足下述条件的所有概率密度函数的集合 类 称为Sobolev 空间;是 “波动不大” 的函数的集合。,10,例:非参数推断,6.5例(函数的非参数估计):令 ,我们要估计 , 仅假设存在。 均值可被认为是F的函数,可写成 通常,任意F 的函数可认为统计函数/统计泛函。 方差: 中值:,11,例:监督学习,假设有成对的观测
4、数据 , 如 为第i个人的血压, 为其寿命 X:特征/独立变量/预测子/回归子 Y:输出/依赖变量/响应变量 :回归函数 参数回归模型: ,其中 为有限维 如线性回归: 为直线集合, 非参数回归模型: ,其中 为无限维 如核回归:,12,例:监督学习(续),预测:给定新的X的值,估计Y的值 分类:当Y为离散值时的预测 回归/曲线拟合/曲线估计:估计函数 回归模型:,13,统计推断方法,频率推断 贝叶斯推断,14,注意,在参数模型中,若 为参数模型,我们记 下标表示概率或期望是与 有关,而不是对求平均,15,点估计,点估计是指对某个感兴趣的量的真值 做一个最佳估计,这个估计称为 或 ,因为它取决
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 部分 统计 推断
链接地址:https://www.31doc.com/p-3107073.html