优化的数学基础.ppt
《优化的数学基础.ppt》由会员分享,可在线阅读,更多相关《优化的数学基础.ppt(54页珍藏版)》请在三一文库上搜索。
1、第二章 优化设计 数学基础,本章内容,优化问题分单变量和多变量,有约束和无约束,线性和非线性问题。 无约束优化就是数学上的无条件极值,约束优化就是数学上的条件极值。 我们常见的是非线性规划问题。 本章是回顾相关的数学基础,讨论约束最优化的条件等问题,第一节 多元导数的方向导数与梯度,方向导数 一个二元函数在 处的偏导数,图2-1 二维空间中的方向,一个二元函数在 处的沿方向d的导数,同理,三元函数的方向导数,多元函数的方向导数,图2-2 三维空间中的方向,二元函数的梯度,二元函数的梯度,称函数在 处的梯度。,方向导数的几种形式:,图2-3 梯度方向与等值线的关系,当在 平面内画出 的等值 线,
2、可以看出,在等值线的切线方向d是函数变化率为零的方向,即有,所以,作业:求二元函数 在 处函数变化率最大的方向和数值。,多元函数的梯度,d方向上的方向导数,为梯度 的模。,为梯度方向单位向量,它与函数等值面 相垂直。,图2-5 梯度方向与等值面的关系,多元函数的泰勒展开,一元函数 在 点处的泰勒展开式为,其中,二元函数 在 点处的泰勒展开式为,其中,其二阶偏导数矩阵:,又称hession矩阵,作业 求二元函数 在 点处的二阶泰勒展开式。,将二元函数的泰勒展开式推广到多元函时,则 在 点处泰勒展开式的矩阵形式为,其中,为函数 在 点处的梯度,若将函数的泰勒展开式只取到线性项,即取,则 是过 点和
3、函数 所代表的超曲面相切的切平面。,第二节 无约束优化的极值条件,对于二元函数 ,若在 点处取得极值,其必要条件是,为了判断从上述必要条件求得的 是否是,极值点,需要建立极值的充分条件。根据二元函数 在 点处的泰勒展开式,考虑上述极值必要条件,有,设,则,即要求: 或表示为,该条件反映了函数在 处的各阶主子式大于0,多元函数的极值充分条件,正定,函数的极小点和最小点,第三节 凸集、凸函数与凸规划,图2-7 下凸的一元函数,凸集,一个点集(或区域),如果连结其中任意两点 和 的线段全部包含在该集合内,就成该点集为凸集,否则称非凸集。凸集的概念可以用数学的语言简练地表示为:如果对一切 , 及一切满
4、足 的实数 ,点 ,则称集合 为凸集。凸集既可以是有界的,也可以是无界的。n维空间中的 维子空间也是凸集(例如三维空间中的平面)。,图2-8 凸集与非凸集,凸集具有以下性质: (1)若A是一个凸集, 是一个实数, 是凸集A中的动点,即 ,则集合 还是凸集,(2)若A和B是凸集, 、 分别是凸集A、B中的动点,即 , ,则集合 还是凸集。,(3)任何一组凸集的交集还是凸集。,这三个性质如图所示,凸集的性质,凸函数,函数 如果在连接其凸集定义域内任意两点 、 的线段上,函数值总小于或等于用 及 作线性内插所得的值,那么称 为凸函数。用数学语言表达为,凸函数的定义,下面给出凸函数的一些简单性质: 设
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优化 数学 基础
链接地址:https://www.31doc.com/p-2654866.html