第7章运动视觉分析X.ppt
《第7章运动视觉分析X.ppt》由会员分享,可在线阅读,更多相关《第7章运动视觉分析X.ppt(50页珍藏版)》请在三一文库上搜索。
1、1,第7章 运动视觉分析,7.1 运动分类和表达 7.2 运动估计和检测 7.3 运动目标分割 7.4 运动目标跟踪,2,7.1 运动分类和表达,1. 运动分类 图象:前景(目标)和背景 图象序列:前景运动和背景运动 前景运动:局部运动 目标在场景中的自身运动 背景运动:全局运动或摄象机运动 摄象机的运动所造成的帧图象内所 有点的整体移动,3,7.1 运动分类和表达,1. 运动分类 运动:沿时间轴的变化 短时运动分析 仅使用若干帧(常为两三帧),获得瞬时 运动场以得到对运动较为精确的估计 长时运动分析 使用几十到上百帧 获得长期运动的累积结果,4,7.1 运动分类和表达,2. 运动矢量场表达
2、运动既有大小也有方向 运动矢量用(有起点)无箭头的线段(线 段长度与矢量大小 即运动速度成正比) 来表示,并叠加在 原始图象上 逐块进行,5,7.1 运动分类和表达,3. 运动直方图表达 目标运动常比摄象机运动更不规范 运动矢量方向直方图 将从0度到360度的运动方向划分成若干个间隔, 把运动矢量场上每 一点的数据归到与 它的运动方向最为 接近的间隔,6,7.1 运动分类和表达,3. 运动直方图表达 运动区域类型直方图 根据参数模型描述各个运动区域 对运动模型进行分类 统计各个运动区域 满足不同运动模型 的象素数量,7,7.1 运动分类和表达,4. 运动轨迹表达 表达了目标在运动过程中的位置信
3、息 由一系列关键点和一组在这些关键点间进 行插值的函数构成,8,7.1 运动分类和表达,4. 运动轨迹表达 插值函数 p:时间轴一点,vp:运动速度,ap:运动加速度 零次函数: 一次函数: 两次函数:,9,7.2 运动估计和检测,对整个场景中的运动信息或运动矢量的检测 7.2.1 利用图象差的运动检测 7.2.2 利用时-空梯度估计光流场 7.2.3 基于模型的运动检测 7.2.4 频率域运动检测,10,7.2.1 利用图象差的运动检测,1. 差图象的计算 算术运算: 一般用于灰度图象 (1) 加法:记为p + q (2) 减法:记为p q (3) 乘法:记为p q(也可写为pq和p q)
4、(4) 除法:记为p q,11,7.2.1 利用图象差的运动检测,1. 差图象的计算 逻辑运算: 一般用于二值图象 (1) 与(AND): 记为p AND q (也可写为pq) (2) 或(OR): 记为p OR q(也可写为p + q) (3) 补(COMPLEMENT): 记为NOT q(也可写为 ),12,7.2.1 利用图象差的运动检测,1. 差图象的计算 通过逐象素比较可直接求取前后两帧图象之 间的差别 差图象不为零处表明该处的象素发生了移动 算术运算 逻辑运算,13,7.2.1 利用图象差的运动检测,1. 差图象的计算 设在时刻 ti 和 tj 采集到两幅图象 f (x, y, t
5、i)和 f (x, y , tj),则据此可得到差图象: 差图象为1时的不同情况: 如:f (x, y, ti )是一个运动目标的象素而 f (x, y , tj )是一个背景象素、是同一个 运动目标但不同位置的象素 ?,灰度阈值,14,7.2.1 利用图象差的运动检测,1. 差图象的计算 灰度差异显著性的判别: 似然比 各 m 和 s 分别是在时刻 ti 和 tj 采集到两幅图象的对应观测窗口中的均值和方差,Ts 是显著性阈值,15,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 累积差图象ADI(accumulative difference image),16,7.2.1 利用
6、图象差的运动检测,2. 累积差图象的计算 ADI有三个功能: (1) ADI中相邻象素值间的梯度关系可用来估计 目标移动的速度矢量,这里梯度的方向就是 速度的方向,梯度的大小与速度成正比 (2) ADI中象素的个数(值)可帮助确定运动目 标的尺寸和移动的距离 (3) ADI中包含了目标运动的全部历史资料,有 助于检测慢运动和尺寸较小目标的运动,17,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 三种ADI图象: (1) 绝对 (2) 正 (3) 负,18,7.2.1 利用图象差的运动检测,2. 累积差图象的计算 由ADI图象获得的信息: (1) 正ADI图像中的非零区域面积等于运动
7、目标的面积 (2) 正ADI图像中对应运动目标的位置也就是运动目标在 参考图中的位置 (3) 当正ADI图像中的运动目标移动到与参考图中的运动 目标不重合时,正ADI图像停止计数 (4) 绝对ADI图像包含了正ADI图像和负ADI图像中的所有 目标区域 (5) 运动目标的运动方向和速度可分别根据绝对ADI图像 和负ADI图像来确定,19,7.2.2 利用时-空梯度估计光流场,1. 光流方程 时刻t :一个图象点在(x, y)处 时刻t + dt:该图象点移动到(x + dx, y + dy) 用泰勒级数展开,令dt 0,,20,7.2.2 利用时-空梯度估计光流场,1. 光流方程 灰度时间变化
8、率是灰度空间变化率与该点空间运动速度的乘积,21,7.2.2 利用时-空梯度估计光流场,2. 最小二乘法光流估计 在连续两幅图象f (x, y, t)和f (x, y, t +1)上取具有相同u和v的同一个目标上的N个不同位置的象素,22,7.2.3 基于模型的运动检测,1. 运动模型 通用模型 6参数仿射模型 8参数双线性模型,23,7.2.3 基于模型的运动检测,2. 基于双线性模型的全局运动检测 求出一组(大于4个)运动矢量观测值 获得8个方程解8个参数,24,7.2.4 频率域运动检测,借助傅里叶变换把检测转到频率域 (1) 对平移的检测 根据傅里叶变换 借助平移性质,25,7.2.4
9、 频率域运动检测,(1) 对平移的检测 相位角之差 考虑到傅里叶变换的分离性 dqx(u)和dqy(v)分别为 f (x, y, tk)和 f (x, y, tk+1)在 X 轴上和 Y 轴上投影的傅里叶变换的相位角之差,26,7.2.4 频率域运动检测,(2) 对旋转的检测 借助傅里叶变换功率谱进行 图象中的直线模式在傅里叶功率谱中对应过频谱原点的直线模式 在Pk(u, v)和Pk+1 (u, v)中分别搜索对应的过原点的直线模式,再计算夹角,27,7.2.4 频率域运动检测,(3) 对尺度变化的检测 图象空间的尺度变化对应傅里叶变换域中频率高低的变化 1) 搜索方向相同的直线模式Lk和Lk
10、+1 2) 将Lk投影到Pk+1 (u, v)上,得到Lk 如果S 1,表明目标图象尺寸增加了S倍,28,7.3 运动目标分割,视频图象是3-D图象:f (x, y, t) 时间分割:分解为时间片段(常为镜头) 空间分割:把独立运动的目标逐帧检测出来 7.3.1 运动目标分割和运动信 息提取 7.3.2 Horn-Schunck算法 7.3.3 映射参数估计,29,7.3.1 运动目标分割和运动信息提取,三种策略 (1) 先分割之后再计算运动信息 先获得区域边界,再估计区域运动模型 (2) 先计算运动信息再分割 先计算全图运动矢量场,再分割运动矢量场 (3) 同时计算运动信息和进行分割 比较复
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 运动 视觉 分析
链接地址:https://www.31doc.com/p-2257800.html