课程名最优化算法理论与应用.ppt
《课程名最优化算法理论与应用.ppt》由会员分享,可在线阅读,更多相关《课程名最优化算法理论与应用.ppt(15页珍藏版)》请在三一文库上搜索。
1、课程名:最优化算法理论与应用,单位:清华大学自动化系,电子信箱:,教师:王书宁,电话:62783371,讲课时间:2008年10月15日起每周三下午2点开始,讲课地点:自动化所自动化大厦十三层第二会议室,电子信箱: ,助教:黄晓霖,优化方法基本分类,本门课程有关事宜,优化问题基本分类,优化问题基本分类,例、和优化联系非常密切的一类问题 (回归、辨识、估计、训练、学习、拟合、逼近),已知某个标量 和某个向量 之间若干一 一对应的样本数据,要确定一个函数 ,使在包含所有样本数据的某个 集合 里能够用 描述 和 之间的对应关系,即 使误差 对任意的 都尽量小,基本方法:选择含有待定参数的函数 ,通过
2、极小 化某种样本误差确定待定参数得到所需函数,常用 范数的样本误差,于是,最终要解决的是下述优化问题,这是连续变量无约束优化问题,对于采用 范数形成的优化问题,为克服目标函数不可导的困难,可以等价转换成下面的 连续变量约束优化问题,特别是,当 是 的线性函数时,即,上面的优化问题是线性规划问题,一般选择足够多的基函数 使优化问题,的样本误差任意小,这样得到的模型在样本集以外通常 会产生很大的预报误差,这就是所谓过度拟合或过度训 练问题。解决该问题的根本途经是同时极小化基函数的 个数,理论上要解决连续和离散变量混合的优化问题,其中 是设定的正的权值,前面的例子包含了优化问题最基本的类型,线性 与
3、 非线性,无约束 与 有约束,连续变量 与 离散变量,后者相对于前者在难度上均有质的改变,具有不确定性和动态特性的问题,转换成上述问题,优化方法基本分类,例,基本方法:从 之间的任一点出发,朝着能够改进目 标函数的方向搜索前进,直至目标函数不能改进,肯定能够收敛到一个局部最优解,不能保证全局最优,跳出局部陷阱的唯一途经是在搜索过程中允许前进到目 标函数值变差的点,如在 之间容许目标函数下降才 有可能找到全局最优解,由此产生新问题,无法保证算法收敛,为了使算法收敛,只能引入不确定性,让算法在任何一 点以一定的概率前进到邻近的某点,移动概率和相应点 的目标函数值正相关,所以,由此产生的算法是结果不确定的算法,前面的例子包含了优化方法最基本的类型,确定型搜索 与 不确定型搜索,前者是经典的优化教材介绍的主要内容,后者 包括模拟退火、禁忌搜索、遗传算法、免疫算 法、蚂蚁算法等方法,一般统称为智能算法,本课程主要讨论基于确定性搜索的优化方法,本门课程有关事宜,教材:运筹学(第二版),刁在筠等编,高教出版社 自第2章到第6章按教材顺序讲课,内容有增减,考核: 考试(开卷)成绩占60,平时成绩占40, 后者为平时作业成绩平均值加课堂练习与提问,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 课程 优化 算法 理论 应用
链接地址:https://www.31doc.com/p-2603308.html