毕业设计（论文）-移动机器人的视觉的图像处理分析方法研究.docx

移动机器人的视觉的图像处理分析方法研究The Research of Mobile Robot's Visual Image Processing and Analysis Method摘要移动机器人研究中关于机器视觉的研究正处于上升期，图像处理的丰富内容既给出了挑战，又给研究人员提供了广阔的研究平台。本文从移动机器人的视觉系统开始，首先介绍了移动机器人视觉系统的概况和技术原理。然后依次阐述了移动机器人单目系统、双目系统和全景系统的基本原理，并且利用实例来具体说明基于这三种视觉系统的图像处理方法。其中，基于单目视觉的移动机器人SLAM方法，是将CCD摄像头和里程计组合，来实现SLAM。为提高定位的精确性和避免误定位的发生，在基于里程计定位的基础上，将不同视角的视觉图像种提取的特征进行匹配，并且根据极线几何计算摄像头旋转的角度，得到摄像头与里程计的角度冗余信息，采用扩展卡尔曼滤波(EKF)对信息进行融合，从而提高SLAM的鲁棒性。而对于基于双目视觉的移动机器人，针对立体视觉算法复杂、计算耗时等特点，提出了一种实时立体视觉系统的嵌入式实现方案，采用高性能多媒体DSP芯片TMS320DM642为核心构建双通道视频采集系统。利用高性能DSP芯片，满足了实时性要求，摆脱了以往用PC机实现的环境约束，计算速度慢和大功耗等缺点。针对高精度要求的室外机器人定位问题，可以设计一种基于全景视觉近红外光源照明、全景视觉观测和人工编码路标相结合的室外机器人定位系统。该系统通过近红外光成像降低光照和阴影的影响，利用全景视觉获取大范围环境信息，依靠图像处理算法识别路标，最后用三角定位算法完成机器人定位。 Abstract The mobile robot researches on machine vision  are on the rise, and the rich content of image processing not only gives the researchers the challenges,  but also provides them a broad platform. The text begins with robot vision system. Firstly, it presents an overview and technical principles of the mobile robot vision system. Then it described the basic principles of the monocular mobile robot system, the binocular mobile robot system and the three-eye mobile robot system. And it specifies these image processing methods based on the three visual systems. Among them, the  SLAM method, which bases  monocular vision mobile robot, is the combination of CCD camera and odometer. To improve the position accuracy and avoid the occurrence of position errors, match the kinds of features based on the different perspectives of the visual image in the base of odometer location. We can calculate   the camera rotation angle according to epipolar geometry, get the redundant information of camera angle with the odometer, and integrate information by using extended Kalman filter (EKF). Thereby, that can enhance the robustness of SLAM.For  mobile robot  based on  binocular vision,  stereo vision algorithms are complex, time-consuming, etc. we can present a real-time  stereo vision plan by  embedding system. It takes high-performance multimedia  TMS320DM642 DSP chip  as the dual-channel video acquisition system. The real-time requirements are met by high-performance DSP chip. This method gets rid of the past environmental constraints with the PC, the slow calculation and the large power consumption, and other shortcomings. For requirements for high-precision outdoor robot localization problem, you can design an outdoor robot positioning system based on near-infrared light source lighting, panoramic visual observation and manual code. The system reduce the impact of light and shadow by near-infrared light  image, get a wide range of environmental information by panoramic visual system, identify road signs by image processing algorithms and complete the final robot position by triangulation algorithms.引言视觉是人类获取信息最丰富的手段，通常人类75%以上的信息来自眼睛，而对于驾驶员来说，超过90%的信息来自于视觉。同样，视觉系统是移动机器人系统的重要组成部分之一，视觉传感器也是机器人获得周围信息的感知器件。近十年来，随着研究人员投入大量的研究工作，计算机视觉、机器视觉等理论不断发展与完善，移动机器人的视觉系统已经涉及到了图像采集、压缩编码及传输、图像增强、边缘检测、阈值分割、目标识别、三维重建等几乎机器视觉的各个方面。目前机器人视觉系统主要用于以下三方面。（1）用视觉进行产品的检验，代替人的目检。包括：形状检验，即检查和测量零件的几何尺寸、形状和位置；缺陷检验，即检查零件是否损坏划伤；齐全检验，即检查部件上的零件是否齐全。（2）对待装配的零部件逐个进行识别，确定其空间位置和方向，引导机器人的手准确地抓取所需的零件，并放到指定位置，完成分类、搬运和装配任务。（3）为移动机器人进行导航，利用视觉系统为移动机器人提供它所在环境的外部信息，使机器人能自主地规划它的行进路线，回避障碍物，安全到达目的地并完成制定工作任务。随着技术的发展，研究人员也提出了视觉伺服的概念。尽管如此，机器人的视觉对于机器人来说还没有达到视觉相对于人类如此重要的地步，主要原因是视觉信息处理的理论与方法还不够完善。摄像头能在极短的时间内扫描得到数百万乃至上千万的像素的环境图像，甚至超过了现在人类眼睛的信息采集能力，但在处理方法及处理速度上目前却远不能和人类相比。不过，可以相信随着微电子技术的进步和计算机视觉的发展，机器人的视觉功能越来越强大，同时机器视觉在移动机器人信息感知中所占的比重也会越来越大。一、 移动机器人视觉系统赋予移动机器人以人类视觉功能，能像人一样通过视频处理而具有从外部环境获取信息的能力，这对于提高机器人的环境适应能力、自主能力，最终达到无需人的参与，仿真人的行为，部分的代替人的工作，对发展移动机器人是极其重要的。视觉系统包括硬件与软件两部分。前者奠定了系统的基础；而后者通常更是不可或缺，因为它包含了图像处理的算法及人机交互的接口程序。从广义上说，移动机器人的视觉即是通过传感器获得可视化的环境信息的过程，这不仅包括可见光的全部波段，还包括了红外光的某些波段和特定频率的激光、超声波，如图1所示。超声波传感器使用维护简单、价格便宜，在过去的几十年里得到了大量使用，但也存在不甚精确的缺点。激光传感器精确度高，虽然价格偏高但目前越来越多地得到人们的青睐。相对于前两个者，工作于可见光频段的摄像机获取的环境信息则显得十分丰富，这为其后的图像处理提供了广阔的空间。图1 电磁波谱及声学谱视觉传感器有主动传感器和被动传感器两类。包括人类在内的大多数动物具有使用双目的被动传感器；也有类似蝙蝠的动物，具有从自身发出的超声波测定距离的主动传感器。通常主动传感器的装置复杂，在摄像条件和对象物体材质等方面有一定限制，但能可靠地测得二维信息。被动传感器的处理虽然复杂，但结构简单，能在一般环境中进行检测。超声传感器与激光属于主动传感器；绝大部分情况下摄像机、红外传感器均属于被动传感器，只有在待定情况下，如深水移动机器人视觉传感器自身带有光源才属于主动传感器。传感器的选用要根据目的、物体、环境、速度等因素来决定，有时也可考虑使用多种传感器并行协调工作。而且应用于移动机器人的视觉算法有别于其他方面的应用，其具体要求主要体现在：(1)实时性要求即算法处理的速度要快，它不但直接决定了移动机器人能够行驶的最大速度，而且也切要关系到整个导航系统的安全性与稳定性。举例来说，机器人的避障算法都需要提前知道障碍物的方位以便及时动作，这种信息获得的时间越早，则系统就会有更多的时间对此做出正确的响应。由于视觉信息处理巨大的计算量对算法程序的压力很大，对室外移动机器人尤其如此。 (2)鲁棒性要求 由于移动机器人的行驶环境是复杂多样的，要求所采用的立体视觉算法能够在各种光照条件、各种环境下都尽可能保证其有效性。室内环境的机器人导航环境相对较好,但对于室外移动机器人或者是陆地自主车ALV，不确定性因素增加了很多，比如光照变化、边缘组织等，也不存在道路平坦的假设。为此，视觉导航算法在各种环境下都要求保证其有效性。(3)立体视觉算法也应该满足精确性要求但这种精确性与虚拟现实或者三维建模所要求的精确性是有所差别的，因为立体视觉算法对道路地形进行重建的最终目的是为了检测障碍物，而不是为了精确描绘出场景。对于移动机器人来说，有时候忽略细节可以提高整个系统的稳定性。一般来说，移动机器人的视觉系统总是要有以下一些组成部分：a.一个或多个光信号发生器，可以是天然信号发射器（如物体环境光线的反射光），或是人造光信号发射灯（如闪光灯、激光光源）。b.用以接受结构体反射光信号的一个或多个传感器（如摄像机，这种摄像机产生的图像可以说是原始图像，但这种传感器不一定是光学传感器，也可以是超声波传感器。c.图像采集卡，将接受的图像转换为计算机可以识别的二进制编码以便随后进行处理。d.对图像进行增强去噪并对其中的缺陷进行清除和矫正等。e.将变换后的图像进行图像存储描述，给出必要的信息。f.特征抽取，根据各种定律、算法和其他准则导出相关信息。g.目标识别，用来把抽取的图像特征与在训练阶段记录下来的图像特征进行比较。识别可能是总体识别、局部识别或者零位识别。不管结果如何，机器人都必须按照识别过程的结果决定采取相应的动作。在这一阶段，任何误差都可能造成性能上的不确定性。从移动机器人的视觉技术来看，可以分为单目视觉系统、双目视觉系统、全景视觉系统三类。二、 移动机器人单目视觉系统1.1摄像机参考坐标系对于单目摄像机来看，一般采用最简单的针孔模型。在摄像机的针孔成像模型 （Pinhole Imaging Model）中，有四种参考坐标系。(1)图像坐标系（Pixel coordinate system ） 摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素（像素，pixel）的值即是图像点的亮度（灰度）。如图2所示，在图像上定义直角坐标系u-v，每一像素的坐标（u,v）分别是该像素在数组中的列数和行数。故（u,v）是以像素为单位的图像坐标坐标系。图2 像坐标系和成像平面坐标系(2)成像平面坐标系（Retinal coordinate system） 由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该该像素在图像中的物理现象，因而需要再建立以物理单位（如mm）表示的成像平面坐标系x-y，如图2所示，用（x,y）表示以物理单位度量的成像平面坐标系的坐标。在x-y坐标系中，原地啊O1定义在摄像机光轴和图像平面的交点处，称为图像的主点（Principal Point），该点一般位于图像中心处，但由于摄像机制作的原因，可能会有些偏离。O1在图像坐标系下的坐标为（u0,v0），每个像素在x轴和y轴方向上的物理尺寸为dx、dy，两个坐标系的关系如下：式中 s，因摄像机成像平面坐标轴相互不能正交引出的倾斜因子（Skew Factor）。(3)摄像机坐标系（Camera coordinate system） 摄相机成像几何关系如图3所示，其中：O点称为摄像机光心；XC轴和YC轴与成像平面坐标系的x轴和y轴平行；ZC轴为摄像机的光轴，与图像平面垂直。光轴与图像平面的交点为图像主点O1，由点O与XC、YC、ZC轴组成的直角坐标系称为摄像机坐标系。OO1为摄像机焦距。图3 摄像机坐标系和世界坐标系(4)世界坐标系（World coordinate system）在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系，也称为真实坐标系或客观坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移矢量t来描述。由此，空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标系分别为(Xw,Yw,Zw,1)T与(XC,YC,ZC,1)T，且存在如下关系： 式中 R3×3正交单位矩阵； t三维平移列向量，0=（0,0,0）T。1.2摄像机线性模型 透视投影最常用的成像模型，可以用针孔透视（Pinhole Perspective）或中心透视（Central Perspective）投影模型近似表示。真空模型的特点是所有来自场景的光线均通过一个投影中心，它对应于透镜的中心。经过投影中心且垂直于图像平面的直线称为投影轴或光轴，如图3所示。投射投影产生的是一幅颠倒的图像，有时会设想一个和实际成像面到针孔等距的正立的虚拟平面。其中，x-y-z是固定在摄像机上的直角坐标系，遵循右手法则，其原点位于投影中心；z轴与投影重合并指向场景，XC轴、YC轴与图像平面的坐标轴x和y平行；XC-YC平面与图像平面的距离OO1为摄像机的焦距f。摄像机坐标系与成像平面坐标系之间的关系如下：式中 （x，y）P点在成像平面坐标系下的坐标； （XC,YC,ZC,)T空间点P在摄像机坐标下的坐标。用齐次坐标系矩阵来表示：将x，y和XC,YC,ZC带入上式，得到图像坐标系和世界坐标系之间的关系：式中 u=fdx，v=fdy，s=sf； X表示在矩阵矢量X的最后一个元素后添加1； Rt完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数矩阵，它由旋转矩阵和平移矢量组成； K只与摄像机内部机构有关，称为摄像机内参数矩阵，相应的u，v，u0，v0，s叫做摄像机的内参数。其中，（u0，y0）为主点坐标，u，v分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数； P为3×4矩阵，称为投影矩阵，即从世界坐标系到图像坐标系的转换矩阵。旋转矩阵的三个参数以及平移矢量t的三个参数被叫做摄像机的外参数。 可见，如果已知摄像机的内外参数，就已知投影矩阵P,对任何空间点，如果已知其三维坐标（Xw,Yw,Zw），就可以求出其图像坐标系的位置（u，v）。但是，如果知道空间某点的图像点的坐标（u，v）即使已知投影矩阵，其空间坐标也不是唯一确定的，它对应的是空间的一条直线。1.3移动机器人基于单目视觉的应用基于单目视觉的移动机器人SIFT算法研究移动机器人大多采用机载传感器，如激光测距仪、声纳及摄像头等。近年来，随着图像处理技术的进步（如SIFT算法），以及CCD摄像头具有代价低、重量小、能耗小等优点，基于视觉的SLAM越来越受到国内外学者的重视。目前，基于单目视觉的移动机器人SLAM方法，是将CCD摄像头和里程计组合，来实现SLAM。为提高定位的精确性和避免误定位的发生，在基于里程计定位的基础上，将不同视角的视觉图像种提取的特征进行匹配，根据极线几何计算摄像头旋转的角度，得到摄像头与里程计的角度冗余信息，采用扩展卡尔曼滤波(EKF)对信息进行融合，从而提高SLAM的鲁棒性。1.3.1 移动机器人模型在二维环境中，移动机器人的位姿使用x，y，表示，其中x，y表示移动机器人相对世界坐标位置，表示机器人的朝向。在位姿跟踪问题中，移动机器人的初始位置是已知的。地图的创建过程是指移动机器人在自身位姿已知情况下的环境地图创建过程。在SLAM中，机器人利用自身携带的传感器识别未知环境中的特征标志，然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的世界坐标。这在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。在室内特定环境下，基于环境特征SLAM方法的基本思想是将移动机器人的位姿和环境特征坐标表达在1个状态向量中，在机器人的行走过程中通过对环境特征的观测做最准确的估计。假设移动机器人在世界坐标系（用x，y表示）中为1个点，机器人的起始位置为世界坐标系原点，前进的方向（机器人的朝向）为机器人坐标系中的横坐标，即x轴，逆时针旋转90度为纵坐标y轴，如图4所示。图4 移动机器人移动过程因此，世界坐标系中的方程为：其中，xk和yk表示k时刻机器人在世界坐标系中的位置；k表示k时刻机器人的朝向；lk是k时刻移动机器人的位移；表示k时刻机器人的偏航角。 由于目标是静态物体，所以在世界坐标系中的位置可以表示为和（i=1，-，n）是第i个目标在世界坐标系中的位置。机器人获得的目标位置（,）是指第i个目标在机器人坐标系中的位置，因此还需将其转换成世界坐标，可表示为：1.3.2 扩展卡尔曼滤波(EKF) 卡尔曼滤波器假设系统是线性系统，但实际的机器人运动模型与观测模型是非线性的。因此，通常采用扩展卡尔曼滤波器，基于EKF的建图与定位可以归纳为1个循环迭代的估计校正过程，EKF算法在处理不确定信息方面有独到之处，因此EKF成为应用最广泛的SLAM 方法。根据以上的公式和假设，可以设计卡尔曼滤波器公式为：其中， 和 为互不相关且均值为零的正态白噪声序列，方差分别为和 。而k时刻的状态向量和量测向量可表示为如下形式：量测值是从状态预测向量中计算得到的目标位置，它是指目标点在机器人坐标系中的具体位置，可以表示为：所以，系统状态方程和量测方程为：其中，1.3.3 更新方程 采用EKF实现系统状态的估计与更新，当机器人在运动过程中发现新的特征 时，需要根据新特征的观测矢量z(k+1)和机器人的当前状态计算新特征标志的初始状态，并更新状态矢量和协方差矩阵P。其中，在 SLAM 中，系统的状态包括机器人和环境特征在机器人坐标系中的位置的估计，而协方差矩阵P表示估计的误差。扩展卡尔曼滤波方法对信息的处理一般分为预测和更新，并且此方法对信息的估计是无偏估计。 卡尔曼滤波预测方程为：更新方程为：其中，Q是状态噪声协方差，R是测量噪声协方差，P是误差协方差，K是增益矩阵。 预测方程用来预测当前状态，误差协方差矩阵为下一时刻获得先验估计。新方程将先验估计和测量值结合，得到一个较精确的后验估计。1.3.4 SIFT算法Lowe D G在2004年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不便性的图像局部特征描述算子SIFT算子，即尺度不变特征变换。SIFT 算法首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后使用关键点领域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性. 梯度和方向的计算方程为： 上式为（x，y）处梯度的模值和方向公式，其中 L 所用的尺度为每个关键点各自所在的尺度。在实际计算时，可在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。直方图的峰值代表了该关键点处邻域梯度的主方向， 即作为该关键点的方向。三、 移动机器人双目视觉系统3.1双目系统简介 双目视觉测距法是仿照人类利用双目感知距离的一种测距方法。人的双眼从稍有不同的两个角度去观察客观三维世界的景物，由于几何光学的投影，离观察者不同距离的物点在左、右两眼现网膜上的像不是在相同的位置上，这种在两眼视网膜上的位置差就称之为双眼视差,它反映了客观景物的深度 （或距离），如图5所示。首先运用完全相同的两个或多个摄像机对同一景物从不同位置成像获得立体像对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方法恢复距离。立体视觉测距的难点是如何选择合理的匹配特征和匹配准则，以保证匹配的准确性。图5 双目立体视觉示意图设两个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，且其x轴重合；摄像机之间在x轴方向上的间距为基线距离2a，焦距均为f。在这个模型中，场景中同一个特征点在两个摄像机图像平面上的成像位置是不同的。我们将场景中同一点在两个不同图像中的投影点称为共轭对，其中的一个投影点是另一个投影（correspondence）。求共轭对，就是求解对应性问题。两幅图像重叠时的共轭对点的位置之差（共轭对点之间的距蓠）称为视差（disparity），通过两个摄像机中心并且通过场景特征点的平面称为外极（epipolar）平面，外极平面与图像平面的交线为外极线。假设坐标系原点与左透镜中心重合，场景点P（X,Y,Z）在左、右图像平面中的投影点分别为PL、PR，比较OLPL和OMP相似，ORRPR和ORNP相似可得 因此，各种场景点的深度恢复可以通过计算视差来实现。注意:由于数字图像的离散特性，视差值是一个整数。在实际中，可以使用一些特殊算法使视差计算精度达到子像素级。因此，对于一组给定的摄像机参数，提高场景点深度计算精度的有效途径是增长基线距离2a，即增大场景点对应的视差。然而这种大角度立体方法也带来了一些问题，主要的问题有：(1)随着基线距离的增加，两个摄像机的共同的可视范围减小；(2)场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大；(3)由于透视投影引起的变形导致两个摄像机获取的两幅图像不完全相同，这就给确定共轭对带来了困难。 在图5中，图像中的每个特征点都位于第二幅图像中的同一行。实际上，两条外极线不一定完全在一条直线上，即垂直视差不为零。但为了简单起见，双目立体算法中的许多算法都假设垂直视差为零。在实际应用中经常遇到的情况是两个摄像机的光轴不平行，调整它们平行重合的技术即是摄像机的标定。3.2移动机器人双目视觉系统应用基于双目视觉的移动机器人视觉导航研究针对立体视觉算法复杂、计算耗时等特点，提出了一种实时立体视觉系统的嵌入式实现方案，采用高性能多媒体DSP芯片TMS320DM642 为核心构建双通道视频采集系统。利用高性能DSP 芯片，满足了实时性要求，摆脱了以往用 PC 机实现的环境约束，计算速度慢和大功耗等缺点。3.2.1移动机器人障碍物检测原理采用立体视觉的方法检测障碍物，对需要判定的每一对左右图像像素点进行立体视觉的计算，得到其高度和深度信息 高度值高于地面一定阈值的点被认为是障碍点，深度值小于一定阈值则需要改变行进方向 其中移动机器人，如图6所示 双目CCD摄像机与DM642开发板的视频口相连接，构成移动机器人的立体视觉系统 移动机器人的结构示意图，如图7所示 其中， h=230mm因此，通过计算三维坐标y值与h值差值的绝对值，就可以判定空间某点是否为可行点 因此，取差值大于5mm则为不可行点。图6 移动机器人图7 结构示意图3.2.2障碍物目标区域的提取(1)为了降低原图像I中的噪声，将图像I经过高斯平滑滤波后得到图像M；(2)利用最大类间方差分割算法，对图像M求取最佳阈值Th，进行图像初步二值化，灰度值大于Th为背景，灰度值小于Th为障碍物目标，得到二值图像N；(3)步骤2所获得的二值图像N必然有着许多不规则的细节，如室内环境地板的矩形拼块缝隙，边缘毛刺和内部孤立的“小岛”等。为此，采用一个较小的结构元素对图像进行腐蚀运算，得到二值图像 ；(4)经过腐蚀之后图像的分割区域变小了，同时会使内部的小孔面积扩大，这就有可能丢掉障碍物轮廓边缘和角点特征信息，导致后期图像处理的信息丢失 为此，引入了结构元素比较大的膨胀运算，消除了障碍物区域中的小孔，恢复由于腐蚀运算而丢失的轮廓边缘，保证了分割区域的有效性 为此，选择一个较大的结构元素对图像 进行膨胀运算，得到二值图像 ；经过上述四个步骤之后，最终得到障碍物目标的大致区域，即二值图像中的有效区域。3.2.3移动机器人的立体匹配策略考虑到移动机器人视觉障碍物检测系统对算法的实时性要求以及硬件处理能力的限制，障碍物检测系统采用一种基于图像分割和Harris角点特征的区域匹配策略 其实现过程如下：步骤1：对采集到的原图像进行高斯平滑预处理；步骤2：应用图像分割方法，提取左右图像障碍物目标大致区域；步骤3：在提取出的障碍物目标区域中，采用Harris角点探测器提取左右图像的角点特征；步骤4：应用互相关函数ZNCC（Zero mean Normalized Cross-Correlation）算法对左右图像角点特征进行相似性测度，得到初始匹配集。并对初始匹配集进行极线约束和左右一致性校验，得到最终匹配结果。在立体匹配的搜索过程中，通常以互相关函数作为两个搜索邻域间的相似性测度，常见的互相关函数有 SSD、SAD、NCC、ZNCC等。其中SAD和SSD属于非相似性测度， NCC难以克服噪声的影响。零均值归一化相关ZNCC算法不仅能对立体图像的亮度差异进行补偿，而且能有效地克服噪声对匹配的影响。3.2.4空间点的三维重建为了从二维图像中获得被测物体特征点的三维坐标，两个摄像机至少从不同位置获取包含物体特征点的两幅图像。摄像机的线性成像模型为针孔模型，采用的双目CCD摄像机其针孔成像模型，如图8 所示，世界坐标系与左摄像机坐标系Olxlylzl重合，点P为空间某一点，Pl和Pr分别为点P在左右摄像机的成像点。fl和fr分别为左右摄像机的有效焦距。图8 空间坐标点的三维重建由摄像机针孔成像原理可知，空间点P在左右成像平面下,其摄像机坐标系与成像点的物理坐标满足如下关系式：式中： frx、fry右摄像机沿x和y方向的归一化焦距。而左摄像机坐标系Olxlylzl和右摄像机坐标系Orxryrzr之间的相互位置关系可以通过空间转置矩阵Mlr表示为：则空间点的三维坐标在左摄像机坐标系下可以表示为：要应用上式首先要通过对摄像机进行标定来获取Ml，Mr矩阵中的左右摄像机内部参数和Mlr矩阵中的左右摄像机外部参数，这个算法是采用张正友的标定方法离线标定了系统摄像机的内外参数。四、移动机器人全景视觉系统 4.1全景视觉系统简述为了获取更大视野的场景，人们开始研究全景视觉，即全向成像视觉技术。目前已经提出了很多全向成像方法。在众多的方法中，用单个曲面反射镜面制作的全向视觉系统能够实时获取水平方向360度和垂直方向一定角度的全向图像，比用其他方法制作的全向视觉系统获取图像更快、更方便，并且成像精度更高。全景视觉系统在机器人视觉导航、视频会议、监视与监控和场景恢复中有很好的应用价值。全景图像不仅获取的信息量大，而且还能解决在立体匹配中常出现的对应点超出图像边界而消失的问题。根据成像原理，获取全景图像的方法大致分为如下三种：旋转成像或多摄像机成像、鱼眼镜头成像、反射镜全向成像。旋转成像是用普通摄像机绕通过其光心的垂直轴旋转，在旋转中获取不同角度的多幅图像，将这些图像拼接或者重新采样，获得全像图像。由于摄像机光学中心的物理位置不能确定，旋转轴的位置可能不经过摄像机光心，导致成像不满足单一视点约束。同时，这种成像设备需要精确的旋转运动控制部件，旋转摄像机和合成全向图像需要较长时间，不能用于动态全景成像。用这种方法生成的图像也不能满足单一视点要求。这种成像方式具有成本高，系统复杂等缺点。鱼眼镜头具有很短的焦距（f<3mm），这使摄像机能够观察到接近半球面内的物体，视场角接近180度，可以获取大视场图像。但这种成像存在交大的图像畸变，且其畸变模型不满足透视投影条件，无法从所获取的的图像中映射出无畸变的透视投影图像；同时视场角太大，其光学系统越复杂，造价越昂贵。而全反射镜全向成像摄像机较好的解决前面成像系统存在的问题，近几年得到广泛的研究，成像方法如图9所示。具有视场角大（水平方向360度，垂直方向有一定角度）、速度快、结构简单、无运动部件、安装简单等特点，同时图像分辨率也可以达到较满意的水平。使用某些特殊设计的反射镜面还可以保持单一视点约束，可以从所获取的图像中映射出无畸变的透视投影图像。图9 反射折射系统剖视图 目前研制的反射镜全景成像视觉系统，以反射镜面类型可分为锥形体反射镜全景视觉系统、球面反射镜全景视觉系统、抛物面反射镜全景视觉系统、双曲面反射镜全景视觉系统单视点全景视觉系统和双视点全景成像系统等，如图10所示。Sun Tien-Lung使用锥形体反射镜组成全向成像系统，也有学者使用球形体反射镜组成全向成像系统，但这两种系统的共同缺点是在成像平面上会出现晕光效应，而且图像变形较大。出现晕光效应的原因主要是由于从各个方面入射到摄像机透镜系统的光线没有汇聚到一点。如果成像系统满足单一视点约束，则可以解决这一问题。有学者提出使用双曲线镜面和透视投影镜头可以组成满足透视投影模型的全向视觉系统。也有学者设计了采用抛物面反射镜和正交投影镜头构成了全向视觉系统。使用反射镜全向成像方式满足透视投影成像模型条件，容易进行系统标定、图像分析和处理，实现了对图像或图像序列的定量操作。图10中d、e、f图分别给出了相应的成像情形。图10 全景成像原理在实际情况中，往往需要根据不同的要求进行不同曲面形状的反射镜面作出合乎实际的设计。全景成像的特点是能将全景图转换成标准的投影图，方便进行图像的分析和处理，因而显出了很大的优势。在单视点的条件下，图像中的每一个像素都对应着经过视点的一条入射光线。若已知折反射系统的光路，就可以反推出每个像素对应的入射光线的方向。因此，可以将全景图像的像素点投影到离视点任意距离的某个平面上形成平面投影图像。由此可见，单视点的重要性在于它允许将全景图变换成平面投影图，看起来与普通摄像机得到的图像并无差别，而观察视角更大，从而可以使用一般的处理投影图的方法进行图像分析和处理。4.2移动机器人基于全景视觉的应用基于全景近红外视觉的室外移动机器人定位系统针对高精度要求的室外机器人定位问题，可以设计一种近红外光源照明、全景视觉观测和人工编码路标相结合的室外机器人定位系统。该系统通过近红外光成像降低光照和阴影的影响，利用全景视觉获取大范围环境信息，依靠图像处理算法识别路标，最后用三角定位算法完成机器人定位。夜晚、白天不同光照情况下的实验证明该系统具有良好的鲁棒性和较高的精度。4.2.1全景近红外视觉系统在这个应用全景视觉的系统中，采用在道路两侧布置编码路标，全景视觉识别的方式来实现定位导航。在依靠机器视觉来定位时，光线的变化是影响识别精度的最大因素。而在室外全天候情况下，照度从0到 Lux105 变化，这使得仅仅采用太阳光照明来识别路标几乎成为不可能。为了让机器人在全天候各种天气下都能稳定的定位，可以采用近红外主动照明的方式，进行近红外光识别。近红外光可以有效降低环境光线变化的干扰，与日间强烈的可见光区分开，并且具有良好的夜间穿透能力，有利于夜间观测定位。 本系统由全景近红外视觉和编码路标系统两部分组成，如图11所示。编码路标分布在机器人路径的两侧，视觉系统中的近红外照明器发出近红外光线均匀覆盖在机器人周围，经路标反射后返回视觉系统的全景摄像机，完成成像。图11 系统实景图如图12所示，编码路标系统包括路标模板和编码地图，其中编码地图中记录了编码路标在世界坐标系中的坐标。系统在采集到近红外全景图像后，通过图像处理结合路标模板得到路标在图像中的编码和坐标，进而结合编码地图进行三角定位，确定出机器人当前的位姿，实现定位。图12 系统流程图 全景近红外视觉系统由近红外照明器及全景摄像机组成。近红外照明器发出的近红外光线均匀地覆盖在机器人周围的圆形范围，形成近红外主动照明。全景摄像机由摄像头、滤光片和安装于镜头正上方的双曲面镜组成，能获得大范围的可视角度。摄像头捕捉经过双曲镜面反射的外界光线，滤光片将摄像头获取的光谱范围控制在810 nm到880 nm的近红外光谱范围内，以降低其他光线对摄像机的干扰。 4.2.4编码路标 由于定位采用三角定位算法，所以至少需要有三个不同的路标被识别到。本文采用四种编码路标，如图13所示。路标利用黑白区域的顺序和宽度比区分，图形复杂度低，抗干扰能力强，成本低。路标的黑色区域吸收近红外光，白色区域覆盖有反光材料，使其能更好的反射近红外光。图13 编码路标模板4.2.2算法原理 (1)近红外成像 视觉成像的效果在很大程度上影响着图像识别的好坏。太阳光中也