非线性降维算法及其应用的研究计算机科学与技术专业毕业论文.doc

《非线性降维算法及其应用的研究计算机科学与技术专业毕业论文.doc》由会员分享，可在线阅读，更多相关《非线性降维算法及其应用的研究计算机科学与技术专业毕业论文.doc（29页珍藏版）》请在三一文库上搜索。

1、2021届学生毕业设计(论文)材料四 序号0506401-28学 生 毕 业 设 计论 文课题名称非线性降维算法及其应用的研究姓 名学 号院、系、部计算机科学系专 业计算机科学与技术指导教师2021 年 5 月 30 日湖南城市学院本科毕业设计论文诚信声明本人郑重声明：所呈交的本科毕业设计论文，是本人在指导老师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议，除文中已经注明引用的内容外，本设计论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要奉献的个人和集体均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承当。 本科毕业设计论文作者签名： 二

2、 年 月 日目 录摘 要 II关键词II AbstractIII Key wordsIII 前言11.概述21.1 降维算法的分类21.2 线性降维方法21.2.1 PCA线性算法31.2.2 LDA线性算法31.2.3 MDA线性算法31.3 非线性降维方法42.数学原理52.1 LLE算法52.1.1 LLE算法原理52.2 ISOMAP算法62.2.1 MDS算法原理72.2.2 ISOMAP算法原理82.3 SVM算法92.4 K阶邻近算法103.LLE和ISOMAP算法的效率与比照113.1 LLE算法的降维效果与效率113.1.1 瑞士卷(Swiss Roll)数据集113.1.2

3、 双峰(twin peaks)数据集123.2 ISOMAP算法的降维效果与效率143.2.1 瑞士卷(Swiss Roll)数据集143.2.3 ISOMAP降维人脸数据143.3 LLE和ISOMAP算法的比拟164.非线性降维算法的应用174.1 基于二类分类的脸部识别174.2 基于多类分类的脸部识别184.2.1 LLE和PCA算法的人脸识别比拟184.2.2 不同条件下LLE算法的人脸识别比拟194.2.3 LLE算法在不同人脸数据库下的人脸识别比拟20结 语22参考文献23致 谢24非线性降维算法及其应用的研究摘 要：非线性降维算法作为当前流行的机器学习算法，是研究人员的研究热点

4、局部线性嵌套和等距流形映射是两个根本非线性降维算法，本文探讨了这两种算法的优点和缺乏，比照测试这两个算法在不同参数下的执行效率。分析和总结这两个算法的适用特点和范围。选择局部线性嵌套算法和主成分分析算法，通过将这两个算法应用于人脸识别中，总结人脸识别的识别率。比拟两者的优劣与差异，加深对于非线性降维算法的认识和了解，期望为其他科学应用提供参考。关键词：流形学习；非线性降维算法；局部线性嵌套；等距流形映射；人脸识别Research of Nonlinear Dimensionality Reduction and Its ApplicationsJING Wei(2021 Year Stude

5、nt of The Major of Computer Science and Technology,Department of Computer Science,Hunan City University,Yiyang,Hunan 413000,China)Abstract: The algorithm of nonlinear dimensionality reduction is popular in the manifold learning,Its one of focus in the research during the researchers.Locally linear e

6、mbedding and Isometric mapping are the basic algorithms of nonlinear dimensionality reduction.This paper discusses both the strengths and weaknesses of algorithms and comparing the two algorithms under different parameters in the implementation of efficiency.The paper also analyses and summarizes th

7、e application of these two characteristics of algorithms.the algorithms of locally linear embedding and principal components analysis are chosed to apply to face recognition,the results of the recognition rate of face recognition are summed up.the understanding to algorithm of nonlinear dimensionali

8、ty reduction is enhanced. and the study is expected to provide reference for other research and applications.Key words: manifold learning;nonlinear dimensionality reduction;locally linearembedding;isometric mapping;face recognition前言在现代社会中，随着科技的日益进步，科研人员面对的数据越来越复杂庞大。在信息处理领域里，他们面对着大量的多维数据,例如在数据压缩、模式识

9、别、全球气候模型和人类基因分布等方面。如果不采用优良的算法有效的处理这些数据，科研人员将会花费大量时间处理数据，有些时间甚至是不可接受的，如几年到几十年，就算得到结果，也已经失去时效。在日常生活中，我们人类的大脑同样需要处理大量的高维输入信息，人类身体有大约3万个听觉神经纤维输入和100万个视觉神经输入，每时每刻都在接受着外界的信息。如眼睛看到一个人，通过检查大脑记忆，就可以判断是谁，并且非常迅速。这些视觉图像就是高位数据。大脑是如何处理这些庞大的高维数据，任然是未解之谜。人类是怎样从这些纷杂的输入中提取出有用的信息(例如怎样认出一张脸) ,然后又怎样根据这些信息进行判断(是我认识的人吗?)

10、到目前为止这些课题仍在研究1。在科学研究中,发现隐藏在高维数据观测值中的有价值的低维结构性信息是一个必须解决的问题,这个过程通常称为维数约简。维数约简是进行有效计算的重要前提和路径。因此维数降维问题在众多领域受到了科研人员的广泛关注，并且随着高维海量数据(如：Web 数据、图像和视频等数据)的不断增加，高维数据的降维问题正日益成为新的研究热点2。1. 概述随着信息时代的到来，数据集增长更快、数据维度更高、非结构化性更突出。技术的落后，造成了信息资源的巨大浪费。我们被信息淹没，却又缺乏知识。如何在保持数据信息足够完整的意义下从海量数据集中提取出有效而又合理的约简数据，满足存储需求和人的感知需要

11、是亟需解决的问题3。在高维数据中进行各种处理需要样本的数量会成指数增加，样本间距离的价值也越来越小，这样就面临维数灾难问题。所幸的是，对于实际中很多问题来说，大局部高维观测数据变量可以用少量几个影响因素来表示，这说明其中包含着大量冗余信息，各成分之间通常也有着较强的相关性，这种现象几何学上表现为数据分布在低维流形上，或者是在低维流形附近。因此，要有效揭示高维观测数据潜在的结构，需要学习和发现嵌入在高维空间中的低维特性。即进行维数约简。也就需要设计高效便捷的降维算法对高维数据进行约简，获得低维的有效数据。从而降维算法的设计就显得举足轻重。1.1 降维算法的分类在研究维数约简的方法过程中，主要的方

12、法是选取高维数据中尽可能多的，有用的特征，根据一定方法获取最突出的特征，即进行特征的约简。特征约简分为两种，一是线性的，另一种是非线性的。下面分别介绍这两种方法。1.2 线性降维方法线性降维方法是通过线性的特征组合来降维的，本质上是把数据投影到低维的线性子空间。线性方法相对而言计算比拟简单。三种经典且广泛使用的线性变换的方法是主分量分析(Principal Components Analysis, PCA)、线性判别分析(Linear Discriminant Analysis,LDA)和多重判别分析(Multiple Discriminant Analysis,MDA)等线性算法。这三种算法

13、能够得到最优子空间，已经被证明是非常有效的方法。然而这些方法假设数据结构是线性的，是建立在全局线性结构根底之上3。1.2.1 PCA线性算法PCA的关键思想来源于K-L变换，其主要目标是通过线性变换寻找一组最优的单位正交向量基，并用它们的线性组合来重构原样本，以使重建构后的样本和原样本的误差最小。即PCA的目的就是寻找能够表示采样数据的最好的投影子空间。求解过程是对样本的散布矩阵进行特征值分解，所求子空间为过样本均值，以最大特征值所对应的特征向量为方向的子空间2。如下图。 图1.1 PCA的求解 图1.2 PCA对于椭圆的学习如下图，PCA对于椭球状分布的样本集有很好的效果，学习所得的主方向就

14、是椭球的主轴方向。尽管PCA在许多模式识别应用中取得了较好的效果，然而PCA是一种非监督的算法，能找到很好地代表所有样本的方向，但这个方向对于分类未必是最有利的。1.2.2 LDA线性算法相对于非监督的PCA方法而言，LDA是一种有监督的降维方法，它是以样本的可区分性为主要目标，通过寻找一组线性变换以到达类内散度最小且类间散度最大的目的，如下图。在模式识别应用中，基于LDA 的算法通常要优于基于PCA的算法。但是LDA的缺乏之处在于存在“奇异值问题，既是：当数据样本来自高维空间时，样本的维数要远大于样本数，从而导致LDA 中散度矩阵的奇异性2。1.2.3 MDA线性算法MDA把LDA推广到多类

15、的情况.对于c-类问题, MDA把样本投影到 c-1 维 图1.3 LDA的思想寻找最能把两类样本分开的投影直线子空间.目标和解法与LDA相似，只是类内散布矩阵的定义更为复杂，求解的广义特征值问题也更为复杂4，如下图。图1.4 MDA算法1.3 非线性降维方法由于线性降维方法的设计并不针对非线性数据，并且现实世界的数据的有用特征并不是特征的线性组合，因此对于非线性数据的处理，线性方法就不再适用。取而代之是非线性方法，非线性方法的研究主要是基于：许多高维采样数据都是由少数几个隐含变量所决定的，如人脸采样由光线亮度，人离相机的距离, 人的头部姿势，人的脸部肌肉等因素决定；从认知心理学的角度，心理学

16、家认为人的认知过程是基于认知流形和拓扑连续性的4。故非线性方法是可行的。近年来，非线性降维算法的研究与应用取得了丰硕的成果，著名的非线性降维算法有；局部线形嵌套(Locally Linear Embedding,LLE)、等距流形映射(Isomeitric Mapping, ISOMAP)、拉普拉斯特征映射(Laplacian eigenmaps)、局部保持投影(Local Preserving Projection,LPP)等。这些方法均能保持原始数据的拓扑结构不变，并能较好解决数据处理中的“维数灾难问题。2. 数学原理在毕业设计过程中，了解和学习过的算法包括LLE和ISOMAP非线性降维算

17、法，分类算法有支持向量机(Support Vector Machine,SVM)算法和K阶最近邻(K-Nearest Neighbors,KNN)算法。接下来分别介绍这些算法思想及其数学原理。2.1 LLE算法LLE算法的主要思想是把输入的数据点以某种方式映射到一个唯一的低维全局坐标系统中，并使得这种映射能够保存相邻数据点之间的某些关系。LLE算法期望每个数据点和它的相邻数据点都能位于某个流形的局部线性块上或其附近。事实上，通过将每个数据点都用它的相邻点的线性组合来估计，就可以捕获到该局部线性块的内在几何特性。这些组合系数对于平移、旋转和缩放三种操作具有不变性。这样，LLE算法就找到了一个低维

18、数据点的集合，使得该集合中的每个数据点能够由其相邻的数据点使用上述原始高维空间中得到的组合系数进行线性重构3。2.1.1 LLE算法原理假设给定数据集合，包括个实值向量，向量的维数为，且这些数据采样于某个潜在的光滑流形。采样数据点要求足够多，并且每个采样数据点及其邻点都落在该潜在流形的一个局部线性块上或该块附近。用每个数据点的邻点集重构该点会得到一组线性系数，然后用这组线性系数就可以刻画流形的局部线性几何性质。最简单的方法是采用欧氏距离来确定每个数据点的个邻点。总的重构误差由如下的代价函数确定 (2.1)式中，权值矩阵为一个维的对称矩阵，权值表示第个数据点对第个数据点的重构所具有的奉献。要求出

19、权值，需要最小化具有如下两个约束条件的代价函数：1. 每个数据点只能由它的个邻点重构，即假设第个数据点不是第个数据点的邻点，那么；2. 权值矩阵各列的元素之和为1，即。具有这两个约束的最优权值可以通过解一个最小二乘问题得到。由上面的约束条件1，重构代价函数可以写为： (2.2)然后，LLE算法构建邻域保存映射把高维观测向量映射成某流形上的低维向量。这一映射过程首先选择维坐标，然后保持不变，通过优化使下面的嵌入代价函数目标值到达最小7 (2.3)算法步骤如下6：1. 使用近邻方法为每一个数据点分配近邻；2. 计算根据近邻线性重构的权值，使得；3. 通过求稀疏对称阵的最小特征值，低维嵌入是 M 的

20、最小的第到第个特征向量。2.2 ISOMAP算法Isomap算法是一种基于全局几何结构的非线性降维方法，其重要思想是应用经典的MDS算法，把数据点从原始高维空间映射到低维空间的坐标系上。Isomap算法的关键在于输入给MDS的数据点的距离不再是欧氏距离，而是流形上的测地线距离。所谓测地线距离，通俗的讲，就是流形上的两点沿流形曲面的最短距离。流形的形状只能从作为样本的输入数据中寻找线索，但并不能准确的得到。这里的短距离是指两个邻点之间的距离。最后，算法将测地线距离作为MDS算法的输入去寻找一个具有类似成对距离的低维数据点的集合。由于测地线距离能够表达流形的真正的低维几何性质，所以等距流形映射算法

21、能够发现隐藏在复杂观测样本之中的非线性自由度。因此，下面我们先简单介绍一下MDS算法2。2.2.1 MDS算法原理MDS算法在降维过程中保存的是数据点之间的欧氏距离。假设有一个数据点的集合，我们可以计算各个数据点两两之间的平方距离；而MDS算法解决的是上述问题的逆问题，它将从这一系列的平方距离出发寻找符合条件的一个数据点的集合；而且新的数据点的坐标将有很小的维数。注意到输出映射将具有任意的位置和方向，因此下面的表达中，输出映射的重心在原点，换言之，为了不失一般性，假设样本点被中心化，即。所以，给定一个具有零均值的维的数据矩阵，它由个维列向量组成，可以从两列之差的内积计算出一系列的平方距离(比方

22、点和点的距离)为 (2.4)设维矩阵为所有数据点之间内积所组成的内积矩阵，那么有 (2.5) (2.6)对于MDS，输入数据可能以矩阵或维平方距离矩阵的形式给出。由开始的假设，有： (2.7)既然已经由得到了，下面一步就是寻找的特征值和对应的特征向量。记的特征值分解为 (2.8)其中为正交阵以及特征值按降序排列，那么 (2.9)为降维的结果，其中为最大的个特征值所对应的特征向量所构成的矩阵。总结MDS算法的步骤：1. 给定数据点两两之间的距离矩阵或者从输入数据中计算出；2. 由双中心化后的距离矩阵得到内积矩阵；3. 计算出内积矩阵的特征值和对应的特征向量；4. 选取内积矩阵的个主分量，将其分解

23、成，从而得到低维坐标。由于MDS的嵌入结果是保持了高维样本点之间的欧氏距离，但是欧氏距离并不能真正反映出非线性样本点之间的距离关系，所以对于非线性流形上的数据，MDS并不能恢复出其中的低维结构。2.2.2 ISOMAP算法原理Isomap算法的关键步骤在于如何计算样本点之间的测地距离。在Isomap中，测地距离的近似计算方法如下：样本点和它的邻域点之间的测地距离用它们之间的欧氏距离来代替；样本点和它邻域外的点用流形上它们之间的最短路径来代替。Isomap的步骤如下3：1. 选取邻域，构造邻域图G。计算每个样本点同其余样本点之间的欧氏距离。当是的最近的个点中的一个时，认为它们是相邻的，即图G有边

24、这种邻域称为邻域)；或者当的欧氏距离小于固定值时，认为图G有边(这种邻域称为邻域)。设边的权为；2. 计算最短路径。当图G有边时，设最短路径；否那么设。对， (2.10)这样可以得到最短路径距离矩阵，它由图G的所有样本点之间的最短路径的平方组成；3. 计算维嵌入。将MDS应用到距离矩阵。记 (2.11)的最大个特征值以及对应的特征向量所构成的矩阵为，那么是维嵌入结果。2.3 SVM算法支持向量机SVM是Vapnik等人提出的一类基于统计学习理论(Statistical Learning Theory,SLT)的新型机器学习方法，已成功应用在很多领域，如人脸检测、手写体识别和文本自动分类等。支

25、持向量机的研究最初是针对两类线性可分问题，设线性可分样本集， ，根据类别不同分为正样本子集和负样本子集，这两个子集对于超平面可分的条件是，存在一个单位向量和常数，使下式(2.12)和()成立，其中是向量内积运算。 (2.12) ()对于任何单位向量，确定两个值 () ()找到一个，使下式()最大化。 ()由约束式(2.12)()和最大化函数式()得到向量与常数。 ()确定一个超平面(二维情况下为一条直线)，将两类样本分开，并具有最大间隔，见公式()，这样的超平面为最大间隔超平面，目前常用的核函数主要有线性核函数(Linear)、多项式核函数(Polynomial)、径向基核函数(Radial

26、Basis Function, RBF)、多层感知器(Multi-Layer Perceptron, MLP)。在Matlab中的支持向量机工具箱中提供了支持向量机训练和支持向量机分类方法的函数，其中svmtrain函数实现对样品进行训练并将训练结果保存到指定结构；svmclassify函数通过输入指定训练结果和待测样品实现待测样品的分类。根据这两个函数，可以很方便的使用SVM分类器进行分类3。2.4 K阶邻近算法K阶邻近算法的根本原理描述如下：假设每一个类包含多个样本数据，而且每个样本都有一个唯一的类标记表示这些样本是属于哪一个分类， KNN就是计算每个样本数据到待分类数据的距离，取和待分类

27、数据最近的k各样本数据，那么这个k个样本数据中哪个类别的样本数据占多数，那么待分类数据就属于该类别。该算法在分类时主要的缺乏是：当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。另一个缺乏之处是计算量较大，因为对每一个待分类的样本都要计算它到全体样本的距离，才能求得它的K个最近邻点。3. LLE和ISOMAP算法的效率与比照由于MATLAB软件具有处理矩阵的优势，并且有程序的编写效率高等优势，故实验中采用使用MATLAB7.1软件进行程序计算。3.1 LLE算法的降维效果与效率算法效率主要是该算法处理数据集所花

28、费的时间，合理的时间需进行屡次测量取平均。3.1.1 瑞士卷(Swiss Roll)数据集实验使用的数据集是采样于瑞士卷(Swiss Roll)图形是三维数据集。1. 数据点个数为800，即X=800；降维后的目标维数均为2维，即d=2；在使用近邻构造邻域图时，K=8,12。 (a) 原始数据集 (b) K=8 (c) 原始数据集 (d) K=12 图3.1 瑞士卷数据集降维效果图(邻居不同)表3.1 瑞士卷数据集降维时间表(邻居不同)降维时间(s)平均时间12345678910从图3.1和表3.1中可以看出，选取的邻居点数不同，降维后的低维空间数据点关系会有所不同，并且邻居点数越多，计算的时

29、间越长。2. 数据点个数为800、1600和3200，即X=800，1600，3200；降维后的目标维数均为2维，即d=2；在使用近邻构造邻域图时，K=8。 (a) X=800 (b) X=1600 (c) X=3200图3.2 瑞士卷数据集降维效果图(数据集大小不同)表3.2 瑞士卷数据集降维时间表(数据集大小不同)降维时间(s)平均时间1234567891012表中，处理1600个数据点的时间是处理800数据点的时间的倍，处理3200个数据点的时间是处理800数据点的时间的倍。3.1.2 双峰(twin peaks)数据集实验使用的数据集是采样于双峰(twin peaks)图形，也为三维数

30、据集。1. 数据点个数为800，即X=800；降维后的目标维数均为2维，即d=2；在使用近邻构造邻域图时，K=8,12。(a) 原始数据集(800) (b) K=8 (c) 原始数据集(800) (d) K=12图3.3 双峰数据集降维效果图(邻居不同)表3.3 双峰数据集降维时间(邻居不同)降维时间(s)平均时间123456789102. 数据点个数为800、1600和3200，即X=800，1600，3200；降维后的目标维数均为2维，即d=2；在使用K近邻构造邻域图时，K=8。 (a) X=800 (b) X=1600 (c) X=3200图3.4 双峰数据集降维效果图(数据集大小不同)

31、表3.4 双峰数据集降维时间(数据集大小不同)降维时间(s)平均时间12345678910比照表和表3.1，表和表3.2可以看出，在条件相同的前提下，LLE处理不同的数据集的效率相近。3.2 ISOMAP算法的降维效果与效率3.2.1 瑞士卷(Swiss Roll)数据集经过LLE算法的效率比拟，我们发现不需要进行屡次运行，每次的时间差不多，相处不超过1秒。所以对于ISOMAP的效率实验，将会采取每种条件只运行一次的方法。 (a) 原始数据集(800) (b) K=8 (c) 原始数据集(1600) (d) K=8图 瑞士卷数据集降维效果图在图3.5中，对于(a)图的数据集的计算时间是55.8

32、19秒，(c)图的数据集的计算时间是455.437秒。可以看出ISOMAP的算法运算时间比拟长，效率并不高。3.2.3 ISOMAP降维人脸数据实验采用的人脸的分辨率是，即人脸的维数是4096，每个人脸在二维空间中都有固定位置。现将其降到2维，将得到的2维数据作为坐标，比拟降维前后人脸的位置。重复实验三次，得到的比拟图形。图3.6，图3.7和图3.8中，绿色圆点表示人脸在二维空间的位置，有红色圆圈的绿色圆点表示被选择显示对应的头像。 (a)原始人脸位置 (b)降维后的人脸位置图 人脸数据集降维效果比拟水平方向 (a)原始人脸位置 (b)降维后的人脸位置图 人脸数据集降维效果比拟垂直方向 (a)

33、原始人脸位置 (b)降维后的人脸位置图 人脸数据集降维效果比拟45度方向通过比拟示意图3.6，图3.7和图3.8，可以发现：1. 图3.6中，(a)图每幅人脸与它左右人脸的位置和(b)图的人脸位置相同，说明降维后的数据点之间的距离位置关系误差不大。与降维之前的关系相近。2. 图3.7中，降维后的头像重叠比拟严重，局部数据点较为离散，与原始图有较大出入。说明数据点的位置关系影响ISOMAP算法的降维效果。3.3 LLE和ISOMAP算法的比拟使用瑞士卷作为测试数据，样本数为800，近邻数为12个。 (a)原始数据集 (b)LLE降维后的数据集 (c)ISOMAP降维后的数据集 图 LLE与ISO

34、MAP的降维比拟如图3.9所示，使用LLE和ISOMAP算法将以上数据集从三维降到二维，获得处理的时间分别为0.8952秒和55.819秒。样本数增加至1600，获得处理的时间分别为3.1033秒和455.437秒。由处理时间可知LLE算法的处理时间优于ISOMAP算法的处理时间。4. 非线性降维算法的应用非线性降维算法可以应用于各种科学计算中，为解决大量高维数据的处理问题提供了方案。本文将局部线性嵌套算法应用到人脸识别工程中，为解决人脸识别提供一种方法。人脸识别的过程包含人脸的训练和人脸的分类，使用支持向量机分类器或k阶邻近分类器实现。实验中，同时采用线性算法PCA和非线性算法LLE降维人脸

35、数据，对计算出的识别率进行比拟，探讨LLE算法的降维特点。4.1 基于二类分类的脸部识别实验的头像数据采用PIE数据库，头像的分辨率是，选取2个人的头像，每个人有170个不同姿势和亮度的头像。用SVM算法对降维后的数据进行分类得到图4.1。图4.1 基于SVM二类分类的人脸识别如图4.1可知，PCA算法的降维效果明显好于LLE算法，这是由于PCA算法已经比拟成熟，而LLE算法还比拟新，设计的还不够完善，降维效果比拟差。4.2 基于多类分类的脸部识别两类分类的识别率比拟高，但实际操作中都是基于多类的。所以本实验就是采用多类分类的脸部识别。由于SVM仅支持二类分类，多类分类实验采用K阶邻近算法。下

36、面介绍一下该算法原理。4.2.1 LLE和PCA算法的人脸识别比拟实验的头像数据采用PIE数据库如图4.2，头像的分辨率是，共15个人头像，每个人有170个不同姿势和亮度的人脸。使用100个人脸训练和100个人脸分类。实验首先加载头像数据，对15个人的头像数据分别使用LLE算法进行降维，LLE的邻居数设为8个，提取测试数据和训练数据，使用KNN函数进行分类得到识别率。循环进行操作，获得维数从1维到100维的识别率。使用PCA算法重复上述过程。两个算法的识别率比拟如图4.3。图4.2 PIE人脸数据库例如从图4.3的识别结果来看，使用PCA算法降维人脸数据后的识别率随着特征维数的增高而增高，最后

37、趋于平稳。这是由于非监督的PCA算法能够减少重建误差，随着特征维数的增加，重建误差会逐渐减少。由于PCA算法没有考虑类别信息，识别率会到达一定极限。使用LLE算法降维人脸数据后的识别率也是随着特征维数的增高而增高，到达一定峰值后会随着特征维数的增高而减少。这是由于冗余信息随着特征维数的增高而增多，冗余信息影响了特征的准确性，识别率会随着特征维数增高有下降趋势。比拟图4.3和图4.4知，分类器分别是3阶邻近算法和6阶邻近算法，两种算法的对应的识别率相似。因此，分类器的修改不能明显提高头像的识别率。图4.3 基于KNN的多类分类的识别率图(K=3)图4.4 基于KNN的多类分类的识别率图(K=6)

38、 不同条件下LLE算法的人脸识别比拟采用实验一的人脸数据库，改变LLE算法的邻居数，分别设为8、15和30个，重复人脸识别试验。得到的识别率如图4.5。图4.5 基于KNN的人脸识别率图如图4.5所示，LLE(K=8)和LLE(K=15)的降维效果要优于LLE(k=30)，这说明LLE算法采用的邻居数必须适当，邻居数过多将会极大的影响LLE算法的降维效果。4.2.3 LLE算法在不同人脸数据库下的人脸识别比拟本实验采用PIE人脸数据库和YALE人脸数据库B，如图4.6所示，PIE人脸头像的分辨率是，共15个人，每个人170个头像。YALE人脸头像的分辨率为，共10个人，每个人200个头像。都使

39、用100个人脸训练和100个人脸分类。实验中，LLE的邻居数设为8个，采用KNN分类器。实验过程与实验一类似，不再赘述。得到图4.7。图4.6 YALE人脸数据库B人脸例如图4.7 基于YALE和PIE人脸数据库的人脸识别率图如上图4.7所示，LLE算法处理两种人脸数据库得到的识别率差异很大，原因包括：外因是YALE数据库的采样不均，降维过程中产生很大误差。内因是LLE算法本身存在一定缺陷，如LLE 方法要求所学习的流形只能是不闭合的且在局部是线性的, 还要求样本在流形上是稠密采样的。另外, LLE算法的参数选择不确定, 对样本中的噪声很敏感。结 语近年来流形学习成为计算机科学领域的研究热点，

40、非线性降维算法可以发现非线性高维数据的本质维数, 有利于进行维数约简和数据分析。因而正在成为许多研究人员关注的焦点。本文主要工作：(1) 讨论了两种非线性降维算法的原理和实现过程，介绍了它们对于根本的流形图形瑞士卷的降维效果和降维特点，比拟它们之间的降维效率；(2) 将LLE非线性算法和PCA线性降维算法应用到人脸识别中，比拟了两者的降维效果，分析了两者之间的差异。基于本文所做的工作，可以进一步研究的工作有：(1) 由于LLE算法和ISOMAP算法的降维效果一般，可以改良LLE算法和ISOMAP算法，提高它们的降维效果。(2) 在了解了根本的非线性降维算法之后，可以进一步学习其他非线性降维算法

41、如Laplacian算法等。通过这次的毕业设计，我了解了目前非线性降维算法的根本原理和根本算法，掌握了用如何应用这些算法的相关知识和技术原理，锻炼了自己的实践应用能力。更重要的是，我培养出了刻苦钻研的学习精神、严肃认真的学习态度和严谨细致的研究精神，这对我以后的学习和工作有很大的益处。参考文献1 王泽杰两类非线性降维流形学习算法的比拟分析J上海工程技术大学学报，2021，22(1)，54-592 王自强，钱旭，孔敏流形学习算法综述J计算机工程与应用，2021，44(35)，9-123 刘庆半监督的手写体识别D中国科学技术大学. 20214 杨剑流形学习问题R北京：中国科学院自动化研究所.20

42、055 Claudio Varini,Andreas Degenhard,Tim W.Nattkemper.ISOLLE:LLE with geodesic distanceJ .Neurocomputing. 1768-1771. 2006.6 Sam T. Roweis,Lawrence K. Saul. Nonlinear Dimensionality Reduction by Locally Linear EmbeddingJ. SCIENCE. 2323-2326. 2000.7 Deli Zhao. Rapid and Brief communication Formulating

43、 LLE using alignment techniqueJ. SCIENCEDIRECT. 2233-2235. 2006.8 Joshua B.Tenenbaum,Vin de silva,John C.Langford.A Global Geometric Framework for Nonlinear Dimentionality ReductionJ. SCIENCE. 2319-2322. 2000.9 阳明盛，熊西文，林建华MATLAB根底及数学软件M大连：大连理工大学出版社，200310 贺兴华，周媛媛，王继阳等MATLAB7.X图像处理M北京：人民邮电出版社，200611

44、马瑞，王家廞，宋亦旭基于局部线性嵌入(LLE)非线性降维的多流形学习J清华大学学报(自然科学版)，2021，48(4)，583-58612 李明华图象检索中的ISOMAP算法与LLE算法及其比拟J工矿自动化，2007，12(6)，30-31致 谢大学四年的时光转瞬流逝，可是四年的点点滴滴依然历历在目，从初进大学的青涩和懵懂，到毕业前的自信与朝气。湖南城市学院给予我的不仅仅是知识，更重要的教会了我做人。这将是我一生享用不尽的财富。在这里我要感谢培养我的大学，特别是计算机系的全体领导和老师们，感谢他们在4年的大学生活和学习中对我的教育、指导和关心，才能让我顺利的完成4年的大学学习。特别要感谢我的导师杨格