景物恢复单图象.ppt

章毓晋 (TH-EE-IE),第8章 景物恢复：单图象,单目单幅 （2.4.3小节） 8.1 从阴影恢复形状 8.2 纹理与表面朝向 8.3 由焦距确定深度 8.4 根据三点透视估计位姿,章毓晋 (TH-EE-IE),阴影：亮度的空间变化 表面亮度的空间变化 表面形状 8.1.1 阴影与形状 8.1.2 利用单目图象求解照度方程,8.1 从阴影恢复形状,章毓晋 (TH-EE-IE),层次的变化分布取决于4个因素： 物体（正对观察者）可见表面的几何形状 光源的入射强度和方向 观察者相对物体的方位和距离 物体表面的反射特性 面元的法向矢量N 光源入射强度和方向矢量I 视线矢量V 表面反射特性r,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),沿N的反射强度 如果光源来自观察者背后且为平行光线，则cosi = cose。再假设物体具有朗伯散射表面，即表面反射强度不因观察位置变化而变化，则观察到的光线强度可写成,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),把梯度坐标同样布置在XY平面上 N = p q 1T V = 0 0 1T,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),一般情况（i e） 图象照度约束方程,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),面元朝向变化而导致的图象灰度变化 一个3-D表面可表示为： z = f (x, y) 其上的面元法线可表示为： N = p q 1T。 可见3-D空间中的表面从 其取向来看只是2-D梯度 空间的一个点G( p, q),8.1.1 阴影与形状,章毓晋 (TH-EE-IE),梯度空间法：理解由平面相交而形成的结构 两个平面S1和S2相交 凸结构/凹结构 交线l的投影l' 与G1和G2间的连线垂直,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),将两个平面和它们法线对应的梯度点都投影到重合的梯度坐标与空间坐标中 S和G同号，凸结构 S和G异号，凹结构,8.1.1 阴影与形状,章毓晋 (TH-EE-IE),在图象上对一个单独点亮度的测量只能提供一个约束，而表面的朝向有两个自由度 1. 线性情况,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),选一个特定的方向q0，这个方向上的斜率是 从一个特定的图象点开始 先取一个小步长ds， 此时z的变化是dz = mds,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),先求在表面上一点(x0, y0, z0)处的解，将前面的微分方程对z积分得到： 当反射图是梯度元素 线性组合的函数时， 特征曲线是平行直线,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),2. 旋转对称情况 表面最速上升方向与x轴的夹角是qs，tanqs = p/q 在最速上升方向上的斜率是 取步长为,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),2. 旋转对称情况 为确定亮度梯度可将图象照度方程对x和y求导 在图象平面取步长(dx, dy)而带来的dp和dq的变化,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),3. 平滑约束的一般情况 认为（在物体轮廓内）物体表面是光滑的 转变成最小化如下总误差问题,8.1.2 利用单目图象求解照度方程,章毓晋 (TH-EE-IE),对纹理的描述主要根据结构法的思想：复杂的纹理是由一些简单的纹理基元（也称纹理元texel）以一定的有规律的形式重复排列组合而成 8.2.1 单目成象和畸变 8.2.2 由纹理变化恢复朝向 8.2.3 线段纹理消失点的确定,8.2 纹理与表面朝向,章毓晋 (TH-EE-IE),直线的畸变（3-D空间透射投影到2-D象平面上） 一条直线是由其两端点及中间点组成的，所以一条直线的投影可根据点的投影来确定 空间两点（直线两端点）W1 = X1 Y1 Z1T，W2 = X2 Y2 Z2T，它们中间的点可表示为（0 p 1）,8.2.1 单目成象和畸变,章毓晋 (TH-EE-IE),投影后,8.2.1 单目成象和畸变,章毓晋 (TH-EE-IE),用p表示的投影结果就是用q表示的象点坐标 p 与q是单值关系，3-D空间中p表示的点在2-D象 平面中对应一个且只有一个q 表示的点 3-D空间的一条直线投影到2-D象平面上后，只 要不是垂直投影其结果仍是一条直线（但长 度可有变化）,8.2.1 单目成象和畸变,章毓晋 (TH-EE-IE),平行线的畸变 一组平行线的(a, b, c)都相同，只是 (X0, Y0, Z0)不同 直线向两端无限延伸时，k = (3.2.7) (3.2.8),8.2.1 单目成象和畸变,章毓晋 (TH-EE-IE),8.2.2 由纹理变化恢复朝向,三种典型方法 (a) 纹理元尺寸的变化 透视投影中：近大远小 尺寸变化率的极大值可以把纹理元所在平面的取向确定下来，这就是纹理梯度的方向 纹理梯度的方向取决于纹理元绕摄象机轴线旋转的角度，而纹理梯度的数值给出纹理元相对视线倾斜的倾斜度,章毓晋 (TH-EE-IE),三种典型方法 (b) 纹理元形状的变化 纹理元形状在投影成象 后有可能发生变化 已知原始形状可推算出表面的朝向 由圆组成的纹理在倾斜的面上会变成椭圆，这时椭圆主轴的取向确定了相对于摄象机轴线旋转的角度，而长短轴长度的比值反映了相对视线倾斜的倾斜度,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),三种典型方法 (b) 纹理元形状的变化 圆形纹理基元所在平面的方程为 圆形可看作平面与球面的交线 将球面投影到平面：椭圆,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),三种典型方法 (c) 纹理元之间空间关系的变化 纹理由规律的纹理元栅格组成， 计算其消失点来恢复表面朝向信息 利用从同一表面纹理元栅格得到的两个消失点 就可以确定出表面的取向，此时连接这两个 点直线的方向指示纹理元相对于摄象机轴线 旋转的角度，而这条连线与x = 0的交点指示 了纹理元相对视线的倾斜角,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),消失点是相交线段集合中各线段的交点。对一个透射图，平面上的消失点是无穷远处纹理元以一定方向投影到图象平面形成的，或者说是平行线在无穷远处的汇聚点,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),各向同性假设 在纹理平面发现一个纹理基元的概率与该纹理基元的朝向无关 讨论摄象机的成象平面与纹理平面的相互朝向 纹理平面的法线与视线 方向（即z轴方向）的 夹角称为倾斜角s， 投影法线与摄象机坐标 系统y轴间的夹角称为俯仰角t,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),各向同性假设 视角变换（viewing transformation） (1) 根据俯仰角旋转坐标系统 (2) 根据倾斜角的余弦沿一个坐标轴压缩 反视角变换（inverse viewing transformation） (1) 把图象上的纹理变成各向同性的纹理 (2) 从该反视角变换中解出倾斜角和俯仰角,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),均匀性假设 无论在图象中的任何位置选取一个窗口的纹理， 那么它都与在其他位置所选取窗口的纹理一致 一个象素值的概率分布只取决于该象素邻域的性质而与象素自身的空间坐标无关 将用等间隔网格覆盖的纹理平面进行透射投影 一些网格会被映射成较大的四边形而另一些网格会被映射成较小的四边形。这也就是说，在图象平面上的纹理就不再均匀了,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),形状畸变的情况主要与两个因素有关： 观察者与物体之间的距离，它影响纹理元畸变后的大小； 物体表面的法线与视线之间的夹角（也称表面倾角），它影响纹理元畸变后的形状,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),纹理立体技术 将纹理方法和立体视觉方法结合,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),纹理立体技术 根据从两幅图象得到的特征线和特征角可确定表面法向量N = Nx Ny NzT：,8.2.2 由纹理变化恢复朝向,章毓晋 (TH-EE-IE),图象空间中的直线可表示为 变换x, y l, q将图象空间XY中的一条直线映射为参数空间LQ 中的一个点，而图象空间XY中具有相同消失点(xv, yv)的直线集合被投影到参数空间LQ 中的一个圆上 将 和q = arctany/x代入,8.2.3 线段纹理消失点的确定,章毓晋 (TH-EE-IE),直角坐标系中 这个圆是所有以(xv, yv)为消失点的线段集合投影到LQ 空间中的轨迹,8.2.3 线段纹理消失点的确定,章毓晋 (TH-EE-IE),两个缺点： 圆检测比直线困难，计算量也大； 当xv 或yv 时，有l 改用变换x, y k/l, q 在无穷远的消失点就可投影到原点，而且具有相同消失点(xv, yv)的线段所对应的点在 ST空间的轨迹成了一条直线,8.2.3 线段纹理消失点的确定,章毓晋 (TH-EE-IE),空间ST里的直线在空间RW里为一个点哈夫变换 消失点的坐标为,8.2.3 线段纹理消失点的确定,章毓晋 (TH-EE-IE),模糊圆盘的直径与摄像机分辨率和景深都有关系 如果成像单元的间距为D，单位是mm，则摄像机的分辨力为0.5/D，单位是line/mm,8.3 由焦距确定深度,章毓晋 (TH-EE-IE),薄透镜成像公式 景物最近点 景物最远点 景深（两个距离之差 ）,8.3 由焦距确定深度,章毓晋 (TH-EE-IE),已知：点两两间距离，3-D景物模型和摄像机焦距 计算：3-D景物的几何形状和位姿（利用图像点的坐标）,8.4 根据三点透视估计位姿,章毓晋 (TH-EE-IE),三点透视问题（perspective 3 points，P3P） Wi的坐标 点间的距离 求解：关于ki的三个二次方程 化成：三个（偏微分）线性方程 迭代算法（P.197P.198）,8.4 根据三点透视估计位姿,章毓晋 (TH-EE-IE),通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：(010)62781430 传真号码：(010)62770317 电子邮件：zhangyjee.tsinghua.edu.cn 个人主页：www.ee.tsinghua.edu.cn/zhangyujin/ 实验室网：image.ee.tsinghua.edu.cn,联 系 信 息,