主成分分析讲义.ppt
《主成分分析讲义.ppt》由会员分享,可在线阅读,更多相关《主成分分析讲义.ppt(51页珍藏版)》请在三一文库上搜索。
1、主成分分析,1 基本思想,主成分概念首先由 Karl Parson在1901年引进, 当时只对非随机变量来讨论的。1933年Hotelling 将这个概念推广到随机变量。,用途:在回归分析、聚类分析、判别分析中降维; 简化对样本进行排序的问题。,一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据,得到了17个反映国民收入与支出的变量要素,例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,总收入F1、总收入变化率F2和经济发展或衰退的趋势F3,相关分析,在力求数据信息丢失最少的原则下,对高
2、维的变量空间降维,即研究指标体系的少数几个线性组合,并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。要讨论的问题是: 原指标(自变量)组合的原则? 选取多少个组合? 组合的结果怎么解释?,2 数学模型与几何解释,假设我们所讨论的实际问题中,有p个指标,我们把这p个指标看作p个随机变量,记为X1,X2,Xp,主成分分析就是要把这p个指标的问题,转变为讨论p个指标的线性组合的问题,而这些新的指标F1,F2,Fk(kp),按照保留主要信息量的原则充分反映原指标的信息,并且相互独立。,这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主
3、成分分析通常的做法是,寻求原指标的线性组合Fi。,满足如下的条件:,主成分之间相互独立,即无重叠的信息。即,主成分的方差依次递减,重要性依次递减,即,每个主成分的系数平方和为1。即,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,如果我们将 轴和 轴先平移,再同时按逆时针方向旋转角度,得到新坐标轴 和 。,根据旋转变换的公式:,Fl,F2除了可以对包含在Xl,X2中的信息起着浓缩作用之外,还具有不相关的性质,这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方
4、差大部分都归结在Fl轴上,而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构,抓住了主要矛盾。,3 主成分的推导及性质,一、两个线性代数的结论,1、若A是p阶实对称阵,则一定可以找到正交阵U,使,其中 是A的特征根。,2、若上述矩阵的特征根所对应的单位特征向量为,则实对称阵 属于不同特征根所对应的特征向量是正交的,即有,令,二、主成分的推导,(一) 第一主成分,设X的协方差阵为,由于x为非负定的对称阵,则有利用线性代数的知识可得,必存在正交阵U,使得,其中1, 2, p为x的特征根,不妨假设1 2 p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。,下面我
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 成分 分析 讲义
链接地址:https://www.31doc.com/p-2712158.html