独立成分分析IndependentComponentAnalysis(ICA).ppt
《独立成分分析IndependentComponentAnalysis(ICA).ppt》由会员分享,可在线阅读,更多相关《独立成分分析IndependentComponentAnalysis(ICA).ppt(31页珍藏版)》请在三一文库上搜索。
1、独立成分分析 Independent Component Analysis (ICA),齐娟 2007-5-29,主要内容,ICA定义 ICA模型 ICA原理 ICA算法 ICA应用 PCA&ICA,ICA定义,定义一:利用很少的先验知识将混合信息分离成独立分量的一种重要方法。 定义二:找到事物的一种合理表示,使得各分量最大化地独立。 20世纪八十年代才被提出。,cocktail-party problem,例子:cocktail-party problem,Sources,Observations,s1,s2,x1,x2,Mixing matrix A,x = As,n sources, m
2、=n observations,cocktail-party problem,Two Independent Sources,Mixture at two Mics,ICA 模型(经典),xj = aj1s1 + aj2s2 + + ajnsn, 对于每一个 j x = As 条件:s和A均是未知的,只有x已知 目标: 通过x估计出A和s 每一个si成分统计独立 限制: 每一个成分都不是Gaussian分布(实际上未知) 混合矩阵A为方阵且可逆(这个限制可以放松) 结论:估计出A之后,我们就可以得到s(s= A-1x),Ambiguities of ICA,s和A均是未知的,s乘一个标量k,总
3、可以用A乘以 1/k所抵消,即不能唯一确定s和A。 作如下约束: S中各个分量的次序不确定,Illustration of ICA,统计意义下说明,S各分量相互独立,x各分量不相互独立,判断方法:能否从一个分量估计出另一分量的值。边的方向即A0列向量。,Illustration of ICA,通过x的统计性质,作一些假设的条件下,可以估计出A和s,统计概念,独立:两个随机变量y1和y2是相互独立的,如果y1的值不能为y2提供任何信息,反之亦成立。 用概率密度函数描述: 性质:给定两函数h1和h2有: 不相关:两随机变量是不相关的,如果 独立的肯定不相关,不相关的未必独立,即独立是比不相关更强的
4、约束。,不可以是Gaussian分布,在假设条件中,各分量不允许是Gaussian分布 X1和x2都是标准Gaussian分布,联合概率密度函数: 没有边缘信息,即不包含A的 列向量的信息。,ICA估计的原理:non-Gaussianity,根据中心极限定理,独立随机变量的和在一定条件下趋近于高斯分布。即独立随机变量的和比原独立随机变量更接近高斯分布。 可以认为越具有高斯性,其独立性越差 反之, non-Gaussianity越强,独立性越强,ICA估计的原理:non-Gaussianity,ICA 模型:x = As s=A-1x 令y=wTx.z=ATw, 则 y=wTx=wT As=zT
5、s 这样的话y 是s的线性组合,y应该比s更具有高斯性,除非wT接近A-1。此时,y=wTx=A-1x=s。 也就是说y=s时,y具有最大非高斯性。 问题转化为求解w,它最大化wTx的non-Gaussianity性。 ICA 数值优化问题。,non-Gaussianity的度量,为了在ICA估计中使用non-Gaussianity,我们必须有一个对它的定性度量。 常用的有三种: Kurtosis Negentropy Approximations of negentropy,Kurtosis,定义:y为随机变量,则 对于高斯分布, Kurtosis为零,大部分非高斯分布 Kurtosis不为
6、零。 性质: 优点:计算和理论简单 缺点:对outliers敏感,不具有鲁棒性,Negentropy,基于信息论中熵的概念 定理:在所有随机变量,高斯分布的变量有最大熵。 定义Negentropy J为: yGauss是和y有相同协方差矩阵的高斯随机变量。 y为高斯分布时, Negentropy为零,其它分布时不为零。 计算起来太复杂,需要引入其近似值。,Negentropy的近似,经典近似: 和Kurtosis有同样的缺点:不鲁棒。 另一种近似: V是均值为零,方差为1的高斯随机变量,G是非二次函数 常取为: 计算简单快速,而且具有鲁棒性。后面介绍的算法即采用此种近似。,预处理Centeri
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 独立 成分 分析 IndependentComponentAnalysis ICA
链接地址:https://www.31doc.com/p-3407575.html