模式识别课程报告(矿大).doc
《模式识别课程报告(矿大).doc》由会员分享,可在线阅读,更多相关《模式识别课程报告(矿大).doc(14页珍藏版)》请在三一文库上搜索。
1、 中国矿业大学 级本科生课程报告课程名称 模式识别 报告时间 2014-6-14 学生姓名 学 号 专 业 任课教师 任课教师评语任课教师评语(对课程基础理论的掌握;对课程知识应用能力的评价;对课程报告相关实验、作品、软件等成果的评价;课程学习态度和上课纪律;课程成果和报告工作量;总体评价和成绩;存在问题等):对课程基础理论的掌握;对课程知识应用能力的评价;对课程报告相关实验、作品、软件等成果的评价;课程学习态度和上课纪律;课程成果和报告工作量;总体评价和成绩;存在问题等成 绩: 任课教师签字: 年 月 日摘要支持向量机是一种有监督学习方法,可被广泛应用于统计分类以及线性回归。Vapnik等人
2、在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起,然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去,这种分类器被称为支持向量机。本次课题的选择来源于一次模式识别的实验,在该课题中对实验进行了扩展,从线性可分的数据样本集扩展到了线性不分的数据样本集。在本次报告中,将着重介绍使用支持向量机对线性不可分样本的分类方法。开发环境使用的是matlab。为了更直观、更清晰地支持向量机的原理和强大功能,报告中将介绍一个验证性实验,从实例中表现实验结果。通过实验,最后得出结论:支持向量机在解决线性不可分样本集的分类问题上具有超强的本领。AbstractSuppo
3、rt vector machine is a kind of supervised learning method, which can be widely used in statistical classification and linear regression. Vapnik et al study theory is another design criterion of optimal linear classifier is proposed in years of research and statistics. The principle from the linear s
4、eparable about, and then extended to linear inseparable case. Even extended to the use of nonlinear function, this classifier called support vector machine.Select a source of this subject in an experimental pattern recognition, in this topic has been extended to experiment, from linearly separable d
5、ata set is extended to the linear regardless of the data set. In this report, will focus on support vector machine classification method using the linear inseparable samples.Development environment using matlab. In order to more intuitive, more clearly the principle of support vector machine and pow
6、erful functions, the report will introduce a verification experiment, performance results from the instance.Through the experiment, finally draws the conclusion: support vector machine has strong ability in classification problem solving linear inseparable sample set.关键词:SVM;MATLAB;线性不可分;高维。 目 录1.引言
7、12.原理分析13.理论说明34.实现步骤流程45.实验设计和结果分析46.结论6第 9 页模式识别课程报告1. 引言分类问题大体有三种类型,以我们第一次模式识别实验中的两种分类为例来说,很容易用一条直线把训练样本集正确地分开,即两类点分别在直线的两侧,没有错分点,这类问题称为线性可分问题;用一条直线也能大全上把训练样本集正确分开,仅有较少的错分点,这类问题称为近似线性可分问题;当用一条直线,无论怎么放都会产生很大误差时,这类问题称为线性不可分问题。在感知准则函数实验中,虽然实验数据是想让我们实现近似线性划分,而我们所完成的也仅仅是最简单的线性划分。对于线性不可分样本集的分类问题,感知准则函数
8、就有些吃力了,而支持向量机在处理这方面问题时有着得天独厚的优势。此外,支持向量机在解决小样本、高维模式识别问题方面,也表现出超强的本领。2. 原理分析对于线性可分问题,SVM的方法与感知准则函数的方法相同,都是着重去找最优分类面。如下图所示:图1 线性可分情况下的最优分类线 为将两类完全正确分开的分类线,和分别为过两类样本中离分类线最近的点且平行于分类线的直线,也称为支撑线,和之间的距离即为两类的分类间隔。最优分类线不但能将两类样本无错误地分开,而且要能使两类的分类间隔最大。前者是保证经验风险最小,在线性可分的情况下,没有错分样本,经验风险为0,后者实际上是为了使推广性的界中的置信区间最小,从
9、而使期望风险最小,这是结构风险最小化原则的具体实现。对于线性不可分问题,经验风险不为0,因此需要从SRM原则的一般性概念来构造学习机,也就是首先找能使得经验风险和置信范围的和最小的某个子集,然后在这个子集中最小化经验风险。用松弛变量来表示经验风险: ,i= 1,2,l (2.1)这样,经验风险就可表示为: (2.2)给定样本数据之后,在容许结构的某个子集下最小化经验风险。最小化泛函: (2.3)约束条件: 等价约束条件: (2.4)求解这个优化问题的技术与上面线性可分的情况相似,原问题的对偶形式为: (2.5)约束条件变为: ,i=1,2,l 这样原问题的解为: (2.6)其中C是一个变化的量
10、,由用户在机器进行学习前指定。对应于线性可分情况下的硬间隔,一般把在线性不可分情况下得到的超平面称为软间隔超平面。支持向量机的高维映射:在低维输入空间向高维特征空间映射过程中,由于空间维数迅速增长,这就使得在大多数情况下难以直接在特征空间计算最优分类面或是计算过于复杂。支持向量机通过定义核函数,巧妙地把这一问题转化到初始空间进行计算。也就是说,虽然将数据映射到了高维空间,但计算还是在低维空间,或者说计算的复杂程度还维持在低维空间没有变。在核函数的定义下,二次规划问题如下: ,i= 1,2,l相应的判别函数式: (2.7)这就是SVM方法。这种非线性变换是通过定义适当的核函数来实现的,升维后只是
11、改变了内积运算,并没有使算法复杂性随着维数的增加而增加。3. 理论说明支持向量机(Support vector machines,SVM),又称支持矢量机,是一种基于统计学习理论的模式识别方法,主要应用于人工智能、模式识别领域。它是继经典的参数统计估计算法、人工神经网络之后的第三种基于数据的机器学习方法。SVM的基本思想是:把训练数据集非线性地映射到一个高维特征空间去,通过映射,将原本线性不可分的数据集变成在高维特征空间中线性可分的数据集,随后再利用线性可分的方法进行分类,分完后再返回初始空间。SVM基于结构风险最小化理论(SRM),即使经验风险与置信范围的和最小化。这需要通过控制两个因素来完
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 课程 报告
链接地址:https://www.31doc.com/p-5186894.html