斜投影核鉴别器的增量学习:证明及示例.doc
《斜投影核鉴别器的增量学习:证明及示例.doc》由会员分享,可在线阅读,更多相关《斜投影核鉴别器的增量学习:证明及示例.doc(14页珍藏版)》请在三一文库上搜索。
1、精品论文斜投影核鉴别器的增量学习:证明及示例刘本永贵州大学智能信息处理研究所,贵阳朵朵朰朰朲朵 摘要:分类器设计可归结为函数逼近问题。 先前,我们在再生核杈杩杬杢来杲杴空间中,利用斜投影将 某模式类别从其它类别中鉴别开来,建立了斜投影核鉴别器设计理论,并给出了对应的增量学 习算法,以解决分类器在线训练问题和参数稀疏化问题。 在这里,我们给出这些理论和算法的 有关定理的详细证明,并以基于双通道采样的信号动态恢复为例,说明如何应用理论和算法解 决相关工程问题。关键词:核非线性分类器;核鉴别器;斜投影;增量学习;信号恢复中图分类号: 请查阅中国图书馆分类法Incremental learning o
2、f oblique projection-based kernel discriminator: Proof and exampleLIU Ben-Yong杉杮杳杴杩杴杵杴来 杯杦 杉杮杴来杬杬杩杧来杮杴 杉杮杦杯杲杭条杴杩杯杮 材杲杯杣来杳杳杩杮杧本 杇杵杩杺杨杯杵 杕杮杩杶来杲杳杩杴杹本 杇杵杩杹条杮杧 朵朵朰朰朲朵 Abstract: 杔杨来 杰杲杯杢杬来杭 杯杦 杣杬条杳杳杩朌来杲 杤来杳杩杧杮 杭条杹 杢来 杳来杴 杩杮 杴杨来 杦杲条杭来杷杯杲杫 杯杦 杦杵杮杣杴杩杯杮 条杰杰杲杯杸杩杭条杴杩杯杮朮 材杲来杶杩杯杵杳杬杹本 杷来 杰杲杯杰杯杳来杤 杴杯 杳杯杬杶来 杴杨来 杰杲杯杢
3、杬来杭 杩杮 条 杒来杰杲杯杤杵杣杩杮杧 杋来杲杮来杬 杈杩杬杢来杲杴 杓杰条杣来 木杒杋杈杓朩 杣杯杮杴杩杮杵杯杵杳杬杹 杤来朌杮来杤 杯杮 杴杨来 杰条杴杴来杲杮 杦来条杴杵杲来 杳杰条杣来本 条杤杯杰杴来杤 杯杢杬杩東杵来 杰杲杯杪来杣杴杩杯杮 杴杯 杤杩杳杣杲杩杭杩杮条杴来 条 杰条杴杴来杲杮 杣杬条杳杳本 杣条杬杬来杤 杴杨来 杴条杲杧来杴 杣杬条杳杳本 杦杲杯杭 杯杴杨来杲 杣杬条杳杳来杳本 杢杹 杯杢杬杩東杵来杬杹 杰杲杯杪来杣杴杩杮杧 条 杰条杴杴来杲杮 杦来条杴杵杲来 杶来杣杴杯杲 杯杮杴杯 杴杨来 杳杵杢杳杰条杣来 杳杰条杮杮来杤 杢杹 杴杨来 杴杲条杩杮杩杮杧杰条杴杴来杲
4、杮 杦来条杴杵杲来杳 杯杦 杴杨来 杴条杲杧来杴 杣杬条杳杳本 条杬杯杮杧 杴杨来 杳杵杢杳杰条杣来 杳杰条杮杮来杤 杢杹 杴杨杯杳来 杯杦 杯杴杨来杲 杣杬条杳杳来杳本 条杮杤 杰杲杯杶杩杤来杤 条杮 杩杮杣杲来杭来杮杴条杬 杬来条杲杮杩杮杧 条杬杧杯杲杩杴杨杭 杦杯杲 杯杮杬杩杮来 杴杲条杩杮杩杮杧 条杮杤 杳杰条杲杳杩朌杣条杴杩杯杮 杯杦 杴杨来 杤杩杳杣杲杩杭杩杮条杴杯杲朮 杉杮 杴杨杩杳 杭条杮杵杳杣杲杩杰杴本 杷来 杰杲杯杶杩杤来 杴杨来 杰杲杯杯杦杳 杯杦 杴杨来 杲来杬条杴来杤 杴杨来杯杲来杭杳 条杮杤 条杮 条杰杰杬杩杣条杴杩杯杮 来杸条杭杰杬来 杩杮 杩杮杣杲来杭来杮杴条杬
5、 杲来杳杴杯杲条杴杩杯杮 杯杦 杳杩杧杮条杬杳 杵杳杩杮杧 杴杷杯札杣杨条杮杮来杬 杳条杭杰杬来杳朮Key words: 杋来杲杮来杬札杢条杳来杤 杮杯杮杬杩杮来条杲 杣杬条杳杳杩朌来杲朻 杫来杲杮来杬 杤杩杳杣杲杩杭杩杮条杴杯杲朻 杯杢杬杩東杵来 杰杲杯杪来杣杴杩杯杮朻 杩杮杣杲来杭来杮杴条杬 杬来条杲杮杩杮杧朻 杳杩杧杮条杬 杲来杳杴杯杲条杴杩杯杮0 引言分类器设计的实质是利用模式训练样本估计特征空间中模式类别边界。 模式类别边界通常用线性或非线性函数表示,如欧几里德距离分类器、 线性贝叶斯分类器、 径向基函数神基 金 项 目: 教 育 部 博 士 点 基 金(20095201110002
6、), 国 家 自 然 科 学 基 金(60862003), 科 技 部 国 际 科 技 合 作 项 目(2009DFR10530)作者简介: 刘本永(1966-),男,博士,教授,博士生导师。 主要研究方向:多媒体信息处理、 机器学习与模式识别、 图像处理与机器视觉。 http:/, e-mail: 札 朱 札经网络杒杂杆札李李(杲条杤杩条杬 杢条杳杩杳 杦杵杮杣杴杩杯杮 杮来杵杲条杬 杮来杴杷杯杲杫)分类器、 线性及非线性支持向量分类器杓杖权(杳杵杰杰杯杲杴 杶来杣杴杯杲 杣杬条杳杳杩朌来杲)1, 2、 材条杲杺来杮分类器3 等等。在实际应用中,模式特征往往是线性不可分的,所以近二十多年非线
7、性分类器设计备受关 注,先后产生的神经网络(包括杒杂杆札李李)分类器、 材条杲杺来杮分类器、 非线性杓杖权等在有关实际 应用中解决了很多技术难题。先前,我们将分类器设计问题归结为再生核希尔伯特空间(杒杋杈杓本 杲来杰杲杯杤杵杣杩杮杧 杫来杲杮来杬 杈杩杬杢来杲杴 杳杰条杣来 )中函数逼近问题4。 在基于正投影准则的模式特征表示5、 鉴别6, 7 以及同时 表示与鉴别8, 9 等核非线性分类器设计理论和算法的基础上,利用斜投影将某模式类别(称 为目标类)从其它类别中鉴别开来,得到斜投影核鉴别器(杋杄杏材本 杫来杲杮来杬 杤杩杳杣杲杩杭杩杮条杴杯杲 杶杩条 杯杢杬杩東杵来 杰杲杯杪来杣杴杩杯杮),
8、并利用对称矩阵广义逆的递归性,设计对应的增量学习算法,以解决在 线训练和参数稀疏化问题10。本文就上述斜投影核鉴别理论及增量学习算法中的有关定理给出详细证明,并以基于双通 道采样的信号恢复为例,说明如何应用理论和算法解决相关应用问题。1 斜投影核鉴别器1.1 基于函数逼近和逆问题求解的分类器设计框架我们将模式分类判决函数f0 木x朩视为定义在N 维模式特征向量空间RN 上的再生核希尔伯特j=1空间H 中的一个元素。 一般情况下,f0 未知,但其对M 个模式训练特征向量xj M 的M 个输j=1出值(类别编码)yj M是已知的;也就是说,Ty 朽 杛y1 , , yM 杝T朽 杛f0 木x1 朩
9、, , f0 木xM 朩杝, 木朱朩其中杔表示矩阵或向量的转置,y是M 维实向量空间RM 中的元素。 分类器设计的任务是由训练j=1向量及输出构成的点对xj , yj M号处理中,就是信号恢复问题。定义如下的采样算子,对f0 给出一个恰当的近似结果f ,即函数逼近问题;在信MA 朽 X ei k木x, xi 朩,木朲朩i=1i=1其中k木x, xi 朩是f0 所属再生核希尔伯特空间H 的再生核,ei M 是RM义的李来杵杭条杮札杓杣杨条杴杴来杮积11的标准基,是按如下定木ei k木x, xi 朩朩f 木x朩 朽 ei , 木朳朩而表示H (或任意有限维向量空间)中定义的内积。 于是式木朱朩可简
10、化为y 朽 Af0 . 木朴朩因而分类器设计问题可以借助于逆问题求解方法,通过寻找A的逆算子X 解决,使得f 朽 Xy 木朵朩 札 朲 札图 朱机 分类器设计中的逆问题成为f0 的最优逼近12。 分类器设计作为逆问题求解的思想如图朱所示。1.2 斜投影核鉴别器KDOP按上述框架,考虑到在大多数实际应用中,模式特征空间中不同类别模式特征所属子空间往往不是正交的情况,引入斜投影实现模式鉴别。为 简 单 起 见, 考 虑 两 类 别 问 题, 分 别 用木朱朩和木朲朩表 示, 对 应 的 训 练 特 征 向 量 集 分 别为x(1) m(2) n(1)(2)i i=1 和xj j=1,其中xi ,
11、xj RN。 设1mS1 朽 杳杰条杮k木x, x(1) 朩, , k木x, x(1) 朩,木朶朩1 nS2 朽 杳杰条杮k木x, x(2) 朩, , k木x, x(2) 朩.木朷朩m也 就 是 说, S1 和S2 分 别 为 样 点 集x(1) n和x(2) 决 定 的 空 间H 的 两 个 子 空 间。 并 设S 朽ii=1jj=1S1 S2 H ,f0 为S中的任意函数,则其沿S1 向S2 的投影为Tf 朽 PS2 ,S1 f0 , 木朸朩定义算子mnA1 朽 X ei k木x, x(1) 朩, A2 朽 X ej k木x, x(2) 朩,木朹朩i=1ijj=1mnmn其中ei i=1
12、和ej j=1 分别为m维和n维实向量空间R和R 的标准基。 则由式木朴朩可得1my1 朽 A1 f0 朽hf0 木x(1) 朩, , f0 木x(1) 朩i, y2朽 A2 f0 朽hf0 木xT(2)n1朩, , f0 木x(2) 朩i. 木朱朰朩进一步,令Tci 朽 A1 k木x, x(2) 朩 朽 hk木x(2) , x(1) 朩, , k木x(2) , x(1) 朩i, C 朽 杛c1 , c2 , , cn 杝 , 木朱朱朩ii1 i mK1 朽 hk木x(1) , x(1) 朩i , K2 朽 hk木x(2) , x(2) 朩i . 木朱朲朩ik j l札 朳 札图 朲机 斜投影
13、核鉴别器的机理则可以得到如下引理13 :引理1 任意函数f0 沿S1 向S2 的斜投影结果为f 木x朩 朽 PS2 ,S1 f0 木x朩 朽其中nX1 1Ti=1i木bi ai 朩k木x, x(2) 朩,木朱朳朩Tb 朽 杛b1 , , bn 杝朽 Gy2 , a 朽 杛a1 , , an 杝朽 GC T K + y , 木朱朴朩1,G 朽 K +1, K1,朽 K2 C T K + C. 木朱朵朩我们称式(朱朳)对应的函数为(第木朲朩类别)斜投影核鉴别器杋杄杏材(杋来杲杮来杬 杄杩杳杣杲杩杭杩杮条杴杯杲 杶杩条 杏杢杬杩東杵来 材杲杯杪来杣杴杩杯杮),其机理如图朲所示,它的作用是将S2 从S
14、1 中鉴别开来。2 斜投影核鉴别器增量学习理论证明在线训练是提升分类器自适应能力的主要手段,在机器学习、 神经网络中在线训练被称为 增量学习7, 12, 14, 15,在信号处理中就是自适应滤波。 通过增量学习,可以根据样本点或模式 特征向量带来的新息情况对分类器参数实现必要的稀疏化,得到稀疏表示结果。为便于表示增量学习过程,这里用上下标对可变训练集元素和处理结果加以区分。 例如,y(m)(1)1 表示第木朱朩类别的m个训练样本特征向量参与训练时分类器的输出向量,xm+1 表示第木朱朩类别的第木m 末 朱朩个模式特征向量,a(m+1,n) 则表示第木朱朩类别的第木m 末 朱朩个模式特征向量以及
15、个第木朲朩类别的第n个模式特征向量参与训练后得到的分类器参数向量,等等。设由第木朱朩类m个模式特征向量和第木朲朩类n个模式特征向量训练得到的第木朲朩类别的杋杄杏材为nf (m,n) 木x朩 朽 X b(m,n) a(m,n) k木x, x(2)其中hb(m,n)ii i=1iT(n)i 朩,木朱朶朩n1, , b(m,n)朽 G(m,n) y2, 木朱朷朩札 朴 札Tha(m,n)i1 , , a(m,n)朽 G(m,n) C T+(m)而y(n)n(n)(m,n) K1,m y1 , 木朱朸朩T2 朽 A2 f0 木x朩 朽 杛y2,1 , , y2,n 杝, 木朱朹朩y(m)(m)Tn+1
16、1 朽 A1 f0 木x朩 朽 杛y1,1 , , y1,m 杝. 木朲朰朩以下以此为基础讨论杋杄杏材的增量学习和稀疏化问题,并对第木朱朩、 木朲朩类别分别加以描述,m+1即分别对训练集x(1) 和x(2) 的影响加以分析。ii=1jj=12.1 对第(1)类别样本的增量学习定理及证明对 第木朱朩类 别 的 样 本 而 言, 第木朲朩类 别 斜 投 影 核 鉴 别 器 在 增 量 学 习 中 只 需 考 虑 训 练 点对x(1)m+1i , y1,i i=1 的影响。2.1.1对第(1)类别样本的增量学习定理首先将f (m+1,n) 木x朩表示为用x(1)、 y1,m+1 等对f (m,n)
17、木x朩加以修正的形式。 令m+1m+1, x1,m+1 朽 k木x(1)(1)m+1m朩 朰,木朲朱朩h(1)(1)(1) iT1,m+1 朽k木xm+1 , x1 朩, , k木xm+1 , x(1) 朩, 木朲朲朩 1,m+1 朽 K +n1,m 1,m+1 , 木朲朳朩d(n)h(2)(1)(1) iTm+1 朽k木x1 , xm+1 朩, , k木x(2) , xm+1 朩, 木朲朴朩另外,令d(n)1,m+1 朽m+1 C Tm,n 1,m+11/21,m+1, 木朲朵朩 m+1 朽 G(m,n) 1,m+1 , 1,m+1 朽1,m+1, 木朲朶朩1,m+1其中杛朱 T m+1 杝
18、 朽 朰。 最后,令T朱 1,m+1 m+11,m+11,b 朽 Tb(m,n) , 木朲朷朩1,m+11,a 朽 Ta(m,n) 末1,m+1朱 末 y1,m+1 T T1,m+1 m+1 , 木朲朸朩则可得到如下定理:1/21,m+1定理1 对第木朱朩类别样本,第木朲朩类别的杋杄杏材具有如下增量学习形式:(朱)当1,m+1 朽 朰时(朲)当1,m+1 朰时f (m+1,n) 木x朩 朽 f (m,n) 木x朩,木朲朹朩f (m+1,n) 木x朩 朽 f (m,n) 木x朩 末 朁1 木x朩,木朳朰朩 札 朵 札其中ni朁1 木x朩 朽 1 X m+1 木i朩k木x, x(2) 朩, 1 朽
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 投影 鉴别器 增量 学习 证明 示例
链接地址:https://www.31doc.com/p-3625275.html