第7章运动视觉分析X.ppt
1,第7章 运动视觉分析,7.1 运动分类和表达 7.2 运动估计和检测 7.3 运动目标分割 7.4 运动目标跟踪,2,7.1 运动分类和表达,1. 运动分类 图象：前景（目标）和背景 图象序列：前景运动和背景运动 前景运动：局部运动 目标在场景中的自身运动 背景运动：全局运动或摄象机运动 摄象机的运动所造成的帧图象内所 有点的整体移动,3,7.1 运动分类和表达,1. 运动分类 运动：沿时间轴的变化 短时运动分析 仅使用若干帧（常为两三帧），获得瞬时 运动场以得到对运动较为精确的估计 长时运动分析 使用几十到上百帧 获得长期运动的累积结果,4,7.1 运动分类和表达,2. 运动矢量场表达 运动既有大小也有方向 运动矢量用（有起点）无箭头的线段（线 段长度与矢量大小 即运动速度成正比） 来表示，并叠加在 原始图象上 逐块进行,5,7.1 运动分类和表达,3. 运动直方图表达 目标运动常比摄象机运动更不规范 运动矢量方向直方图 将从0度到360度的运动方向划分成若干个间隔， 把运动矢量场上每 一点的数据归到与 它的运动方向最为 接近的间隔,6,7.1 运动分类和表达,3. 运动直方图表达 运动区域类型直方图 根据参数模型描述各个运动区域 对运动模型进行分类 统计各个运动区域 满足不同运动模型 的象素数量,7,7.1 运动分类和表达,4. 运动轨迹表达 表达了目标在运动过程中的位置信息 由一系列关键点和一组在这些关键点间进 行插值的函数构成,8,7.1 运动分类和表达,4. 运动轨迹表达 插值函数 p：时间轴一点，vp：运动速度，ap：运动加速度 零次函数： 一次函数： 两次函数：,9,7.2 运动估计和检测,对整个场景中的运动信息或运动矢量的检测 7.2.1 利用图象差的运动检测 7.2.2 利用时-空梯度估计光流场 7.2.3 基于模型的运动检测 7.2.4 频率域运动检测,10,7.2.1 利用图象差的运动检测,1. 差图象的计算 算术运算： 一般用于灰度图象 (1) 加法：记为p + q (2) 减法：记为p q (3) 乘法：记为p q（也可写为pq和p q） (4) 除法：记为p q,11,7.2.1 利用图象差的运动检测,1. 差图象的计算 逻辑运算： 一般用于二值图象 (1) 与（AND）： 记为p AND q （也可写为p·q） (2) 或（OR）： 记为p OR q（也可写为p + q） (3) 补（COMPLEMENT）： 记为NOT q（也可写为 ),12,7.2.1 利用图象差的运动检测,1. 差图象的计算 通过逐象素比较可直接求取前后两帧图象之 间的差别 差图象不为零处表明该处的象素发生了移动 算术运算 逻辑运算,13,7.2.1 利用图象差的运动检测,1. 差图象的计算 设在时刻 ti 和 tj 采集到两幅图象 f (x, y, ti)和 f (x, y , tj)，则据此可得到差图象： 差图象为1时的不同情况： 如：f (x, y, ti )是一个运动目标的象素而 f (x, y , tj )是一个背景象素、是同一个 运动目标但不同位置的象素 ?,灰度阈值,14,7.2.1 利用图象差的运动检测,1. 差图象的计算 灰度差异显著性的判别： 似然比 各 m 和 s 分别是在时刻 ti 和 tj 采集到两幅图象的对应观测窗口中的均值和方差，Ts 是显著性阈值,15,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 累积差图象ADI（accumulative difference image）,16,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 ADI有三个功能： (1) ADI中相邻象素值间的梯度关系可用来估计 目标移动的速度矢量，这里梯度的方向就是 速度的方向，梯度的大小与速度成正比 (2) ADI中象素的个数（值）可帮助确定运动目 标的尺寸和移动的距离 (3) ADI中包含了目标运动的全部历史资料，有 助于检测慢运动和尺寸较小目标的运动,17,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 三种ADI图象： (1) 绝对 (2) 正 (3) 负,18,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 由ADI图象获得的信息： (1) 正ADI图像中的非零区域面积等于运动目标的面积 (2) 正ADI图像中对应运动目标的位置也就是运动目标在 参考图中的位置 (3) 当正ADI图像中的运动目标移动到与参考图中的运动 目标不重合时，正ADI图像停止计数 (4) 绝对ADI图像包含了正ADI图像和负ADI图像中的所有 目标区域 (5) 运动目标的运动方向和速度可分别根据绝对ADI图像 和负ADI图像来确定,19,7.2.2 利用时-空梯度估计光流场,1. 光流方程 时刻t ：一个图象点在(x, y)处 时刻t + dt：该图象点移动到(x + dx, y + dy) 用泰勒级数展开，令dt 0，,20,7.2.2 利用时-空梯度估计光流场,1. 光流方程 灰度时间变化率是灰度空间变化率与该点空间运动速度的乘积,21,7.2.2 利用时-空梯度估计光流场,2. 最小二乘法光流估计 在连续两幅图象f (x, y, t)和f (x, y, t +1)上取具有相同u和v的同一个目标上的N个不同位置的象素,22,7.2.3 基于模型的运动检测,1. 运动模型 通用模型 6参数仿射模型 8参数双线性模型,23,7.2.3 基于模型的运动检测,2. 基于双线性模型的全局运动检测 求出一组（大于4个）运动矢量观测值 获得8个方程解8个参数,24,7.2.4 频率域运动检测,借助傅里叶变换把检测转到频率域 (1) 对平移的检测 根据傅里叶变换 借助平移性质,25,7.2.4 频率域运动检测,(1) 对平移的检测 相位角之差 考虑到傅里叶变换的分离性 dqx(u)和dqy(v)分别为 f (x, y, tk)和 f (x, y, tk+1)在 X 轴上和 Y 轴上投影的傅里叶变换的相位角之差,26,7.2.4 频率域运动检测,(2) 对旋转的检测 借助傅里叶变换功率谱进行 图象中的直线模式在傅里叶功率谱中对应过频谱原点的直线模式 在Pk(u, v)和Pk+1 (u, v)中分别搜索对应的过原点的直线模式，再计算夹角,27,7.2.4 频率域运动检测,(3) 对尺度变化的检测 图象空间的尺度变化对应傅里叶变换域中频率高低的变化 1) 搜索方向相同的直线模式Lk和Lk+1 2) 将Lk投影到Pk+1 (u, v)上，得到Lk 如果S 1，表明目标图象尺寸增加了S倍,28,7.3 运动目标分割,视频图象是3-D图象：f (x, y, t) 时间分割：分解为时间片段（常为镜头） 空间分割：把独立运动的目标逐帧检测出来 7.3.1 运动目标分割和运动信 息提取 7.3.2 Horn-Schunck算法 7.3.3 映射参数估计,29,7.3.1 运动目标分割和运动信息提取,三种策略 (1) 先分割之后再计算运动信息 先获得区域边界，再估计区域运动模型 (2) 先计算运动信息再分割 先计算全图运动矢量场，再分割运动矢量场 (3) 同时计算运动信息和进行分割 比较复杂，需要相当大的计算量,30,7.3.2 Horn-Schunck算法,1. 求解光流方程 ？：一个方程，两个未知量(u, v) 光流误差eof：运动矢量场中不符合光流 方程的部分 要使eof在整个帧内的平方和达到最小,31,1. 求解光流方程 速度场梯度误差 要使整个运动矢量场尽可能趋于平滑 Horn-Schunck法同时考虑两种约束,7.3.2 Horn-Schunck算法,32,2. 对算法的讨论 孔径问题：模板尺寸有限而产生的问题 只能确定法线分 量（与边缘垂直）， 而无法确定与边缘 平行的分量 ？算法的计算量常很大，一般基于该算法的运动信息提取通常只能做到离线的非实时处理,7.3.2 Horn-Schunck算法,33,2. 对算法的讨论 当运动的矢量有较大幅度时，逼近结果的误差也同样会较大 (1) 用位移帧差项 代替光流误差项eof (2) 用平均梯度代替偏导 f /x，f /y,7.3.2 Horn-Schunck算法,34,3. 带全局运动补偿的算法 获得局部物体引起的运动矢量 具体步骤 (1) 设图象中所有点的初始局部运动矢量为零 (2) 根据全局运动模型计算每一点的全局运动 矢量 (3) 计算每个象素点的实际运动矢量,7.3.2 Horn-Schunck算法,35,3. 带全局运动补偿的算法 (4) 计算该点运动矢量的修正值 (5) 如果 的幅度大于某一阈域值T，令 并转到步骤(3)；否则结束计算,7.3.2 Horn-Schunck算法,36,7.3.3 映射参数估计,基于参数和模型的基本原理 每个独立的运动都可准确地用一组映射参数来描述 设有K组参数矢量（对应K个独立的运动目标），每一组在各个象素处定义一个光流矢量 由映射参数定义的光流矢量称为基于模型的或合成的光流矢量 分割是对在每个位置最接近的估计光流矢量赋一个合成光流矢量标号,37,7.3.3 映射参数估计,直接哈夫变换 6参数仿射流模型 如果知道在3个或更多个点的光流，就可以将a1, a2, a3, a4, a5, a6解出来 用每个光流矢量v(x) = v1(x) v2(x) T对一组量化的参数投票以最小化 1(x) = v1(x) a1 a2x1 a3x2 2(x) = v2(x) a4 a5x1 a6x2,38,7.3.3 映射参数估计,利用改进的哈夫变换 第一步，将相接近的光流矢量集合组成与单个参数集相一致的元素 例：将参数空间分成两个不重合的集合a1, a2, a3 a4, a5, a6以进行两次哈夫变换 例：利用多分辨率哈夫变换 第二步，将第一步得到的最一致的元素在最小均方意义下合并以组成相关片段,39,7.4 运动目标跟踪,跟踪需要对目标位置进行估计：估计就是根据测量得出的与状态 有关的数据：,解算出 的计算值,前面的量测在t0,t1 时间范围内，若估计值的时间为t t=t1,称为估计; tt1,称为预测; tt1,称为平滑,40,7.4 运动目标跟踪,卡尔曼滤波 但目标的位置,速度,加速度的测量值往往在任何时候都有噪声.卡尔曼滤波利用目标的动态信息,设法去掉噪声的影响,得到一个关于目标位置的好的估计。Kalman滤波只能处理高斯分布的概率问题 ，不能处理物体的相似性问题。 粒子滤波 源于Montecarlo的思想，即以某事件出现的频率来指代该事件的概率。因此在滤波过程中，需要用到概率如P(x)的地方，一概对变量x采样，以大量采样的分布近似来表示P(x)。因此，采用此一思想，在滤波过程中粒子滤波可以处理任意形式的概率。,41,7.4.1 卡尔曼滤波,42,7.4.1 卡尔曼滤波,43,7.4.1 卡尔曼滤波,房间测量温度平均值为25度，有标准偏差，为图中蓝线,44,7.4.1 卡尔曼滤波,EKF滤波器：使用一阶泰勒展开逼近非线性项，使用高斯分布近似状态分布； UKF滤波器：使用少数几个sigma点样本，逼近到非线性泰勒展开的二次项,45,7.4.2 粒子滤波,1）初始化阶段-提取跟踪目标特征 该阶段要人工指定跟踪目标，程序计算跟踪目标的特征，比如可以采用目标的颜色特征。具体到Rob Hess的代码，开始时需要人工用鼠标拖动出一个跟踪区域，然后程序自动计算该区域色调(Hue)空间的直方图，即为目标的特征。直方图可以用一个向量来表示，所以目标特征就是一个N*1的向量V。,46,7.4.2 粒子滤波,1）搜索阶段-放狗 我们已经掌握了目标的特征，下面放出很多条狗，去搜索目标对象，这里的狗就是粒子particle。 a)均匀的放：即在整个图像平面均匀的撒粒子； b)在上一帧得到的目标附近按照高斯分布来放，靠近目标的地方多放，远离目标的地方少放。 每条狗怎么搜索目标呢？就是按照初始化阶段得到的目标特征(色调直方图，向量V)。每条狗计算它所处的位置处图像的颜色特征，得到一个色调直方图，向量Vi，计算该直方图与目标直方图的相似性。相似性有多种度量，最简单的一种是计算sum(abs(Vi-V).每条狗算出相似度后再做一次归一化，使得所有的狗得到的相似度加起来等于1.,47,7.4.2 粒子滤波,3）决策阶段 我们放出去的一条条聪明的狗向我们发回报告，“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.那么目标究竟最可能在哪里呢？我们做次加权平均吧。设N号狗的图像像素坐标是(Xn,Yn),它报告的相似度是Wn,于是目标最可能的像素坐标 X = sum(Xn*Wn),Y = sum(Yn*Wn).,48,7.4.2 粒子滤波,4）重采样阶段 既然我们是在做目标跟踪，一般说来，目标是跑来跑去乱动的。在新的一帧图像里，目标可能在哪里呢？还是让我们放狗搜索吧。但现在应该怎样放狗呢？让我们重温下狗狗们的报告吧。“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.综合所有狗的报告，一号狗处的相似度最高，三号狗处的相似度最低，于是我们要重新分布警力，正所谓好钢用在刀刃上，我们在相似度最高的狗那里放更多条狗，在相似度最低的狗那里少放狗，甚至把原来那条狗也撤回来。这就是Sampling Importance Resampling，根据重要性重采样(更具重要性重新放狗)。,49,7.4.2 粒子滤波,4）重采样阶段 既然我们是在做目标跟踪，一般说来，目标是跑来跑去乱动的。在新的一帧图像里，目标可能在哪里呢？还是让我们放狗搜索吧。但现在应该怎样放狗呢？让我们重温下狗狗们的报告吧。“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.综合所有狗的报告，一号狗处的相似度最高，三号狗处的相似度最低，于是我们要重新分布警力，正所谓好钢用在刀刃上，我们在相似度最高的狗那里放更多条狗，在相似度最低的狗那里少放狗，甚至把原来那条狗也撤回来。这就是Sampling Importance Resampling，根据重要性重采样(更具重要性重新放狗)。,50,7.4.2 粒子滤波,MCMC改进策略：马尔科夫链蒙特卡洛方法，通过构造马尔科夫链，产生来自目标分布的样本。MCMC能将粒子移到不同的地方； UPF粒子滤波器：由UKF产生PF的重要性分布； Rao-Blackwellised粒子滤波器：对某些状态模型，采用解析的方法求解，降低了采用空间的维数,
