2013051269-余秀丽-基于多源融合技术的目标识别、定位与三维重建综述要点.pdf
《2013051269-余秀丽-基于多源融合技术的目标识别、定位与三维重建综述要点.pdf》由会员分享,可在线阅读,更多相关《2013051269-余秀丽-基于多源融合技术的目标识别、定位与三维重建综述要点.pdf(12页珍藏版)》请在三一文库上搜索。
1、博士基地班硕士 硕博连读研究生兽医硕士专业学位 学术型硕士 工程硕士专业学位 农业推广硕士专业学位全日制专业学位硕士 同等学力在职申请学位中职教师攻读硕士学位 高校教师攻读硕士学位风景园林硕士专业学位 西北农林科技大学 研 究 生 课 程 考 试 试 卷 封 面 (课程名称:农业工程研究进展) 学位课 选修课 研 究 生 年 级、姓 名2013 级 余秀丽 研究生学号2013051269 所 在 学 院(系、部)机械与电子工程学院 专业学科农业电气化与自动化 任课教师姓 名王绍金 考试日期2014.6.5 考试成绩 评 卷 教 师 签 字 处 1 基于多源融合技术的目标识别、定位与三维重建 X
2、iuli Yu 机电学院农业电气化与自动化 2013 级 2013051269 余秀丽 摘要:实现农业机械化与自动化重点在于农业机械在农业生产领域的普遍应用,其中农业自动化机械 对作用对象的识别、定位与重建是关键技术。针对农作物目标识别的不同方式,文章进行了多方位的阐 述:针对果木的果实采摘介绍了基于图像、机器视觉的识别定位方法,并对虚拟植物的可视化进行了从 三维重建到后期的真实感渲染的综述介绍。 关键词:果实目标识别;Kinect for Windows Sensor;深度图像;三维重建;OpenGL 引言 为了节省劳动力,目前国内外研究人员已经广泛地开展了果蔬采摘机器人的研究。在采摘机器人
3、视 觉系统中, 果实的识别和定位是其中的关键环节,能否快速准确地识别出果实直接影响机器人的实时性 和可靠性 屠珺 , 2010 #191。在国外,采摘机器人技术已经相对成熟,并且在大型现代化农场开始应用。 在国外, 1968 年第一次提出水果的自动检测,Schertz and Brown 提出,可以根据果实的光信息识别硕 士目标, 当时主要是利用输液和果实不同的反射光照信息或红外光信息A., 1968 #228。A.R. Jim?enez, R. Ceres and J.L. Pons阐述了目前采摘机器人目标定位的主要方法:基于CCD传感器获得的图像中的目 标与背景颜色差异提取目标、基于果实性
4、状特征提取目标、基于深度图像获得目标三维信息A.R. Jim?enez, 2000 #229。Arefi, A.Motlagh, A. M.等人利用机器视觉获取室内西红柿图像,结合成熟西红柿 本身的颜色特征,先在RGB颜色空间去除背景,然后在RGB、HIS、YIQ 空间提取形态特征,从而定位 成熟西红柿,实施机械手臂的采摘Arefi, 2011 #230。Song, Y.,Glasbey, C. A. ,Horgan, G. W. 提出了 一种复杂背景下利用多幅图像识别和统计植物冠部果实数量的算法,该算法x 先在一幅图像中引用了 bag-of-words moldel进行寻找目标, 然后对多幅
5、图像重复聚类统计果实目标数量,结果在没有任何适应 性调整的情况下,正确率达到了74.2%Song, 2014 #235。在国内,目前,在对采摘机器人展开研究的 国中,大部分采摘机器人仍处于实验室研究阶段,尚未进入商品化生产, #191hidden; 屠珺 , 2010 #191author-year; 屠珺 , 2010 #191;, 2010 #191;吕继东 , 2012 #189,分析其原因很多,其中对于各类环 境下的果实的准确定位是困扰点之一。吕继东,赵德安等利用软件对于振荡果实进行FFT建模, 实现了 对振荡的果实进行快速地定位、采摘,采摘成功率达到84%,而且适用于苹果等类球状果实
6、采摘机器 人吕继东 , 2012 #189 。D. M. BULANON 等人,对苹果采摘机器人的视觉系统进行研究,针对苹果自然 声场条件下枝、 叶、果相互交叉重叠的情况,首先对机器视觉获取的图像进行基于颜色的多变量阈值分 割,然后在果实目标中心和截断层与标准处理的图像相比较得到一种图形关系,从而定位果实目标 2 BULANON., 2001 #237。屠珺,刘成良等人通过彩色图像提取光照无关图,消除光照变化的影响,结 果目标果实识别率的稳定度是不采用光照无关图的识别方法的3 倍,并且其平均识别率也高达 90.45%屠珺 , 2010 #191。 陈艳军,张俊雄利用VC 6.0 软件编程实现了
7、苹果的两种大小分级的理论模型: 一种以苹果轮廓线上两点之间的最大距离作为分级标准;另一种以苹果最大横切面直径作为分级标准, 为近球形果蔬参照行业分级标准进行大小自动化分选提供参考陈艳军 , 2012 #187 。冯娟,刘刚等人使 用激光视觉系统获取果树局部的三维图像经过一系列的处理,利用随机圆环法获得果实的形状特征完成 对苹果的识别,当枝叶遮挡面积小于40时,果实的正确识别率高于93.75冯娟 , 2013 #188。崔永 杰,张发年等人综合应用果实颜色和形状特征识别自然环境中猕猴桃果实及特征提取的方法,对相互分 离果实、邻接果实、被枝叶部分遮挡果实、重叠的果实进行了识别并取得了良好的效果张发
8、年 , 2013 #210 。宋怀波等人出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区 域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,利用相关分割准则实现了凹点匹配 并进行目标分割,对分割得到的非完整目标利用Spline 插值技术进行目标重建,实现了重叠苹果目标 分割 庄伊斌 , 2013 #211 。同样,基于凸壳理论,宋怀波,何东健等人实现受果树枝叶遮挡、果实间相 互遮挡的果实目标识别,平均定位误差为4.28%潘景朋 , 2012 #208。 然而上面的研究虽然都取得了一定的成果,但是实际应用中还是有待提高,主要问题有正确率不高; 适用环境多数是室内
9、环境,对于自然条件下的复杂情况没能分析在内;试验设定条件自然环境难以达到 等。针对上述问题,今后的果实识别定位与三维重建,应该朝着多源信息融合的方向发展。 1 多源图像信息融合技术 1.1 几种类型的图像 RGB图像 RGB 颜色模型是面向硬件的,由摄像机获取的彩色图像被表示成由R、G、B 成份, 并可以 转换成到具有视角角度的HIS、YIQ 颜色空间彩色图像,它们们反映了物体表面的反射光的一些特征耿 楠, 1998 #300 ,可以利用其进行果实品质分级、生熟度检测、含糖量估计等。 红外光波长800-2500nm ,红外光图像体现了物体本身的红外辐射,可以获取物体的温度特征,由 于农产品的内
10、部成分及外部特性不同,在不同波长光线照射下会有不同的吸收或反射,也就是说 ,对象的 分光反射率在某一特定波长域内会比其它部分大熊运章 , 1996 #302 。常常应用于水果的无损检测,何 东健 ,前川孝昭等人利用近红外分光检测装置以柑橘和苹果为对象进行检测用完全遮光型透过光水果内 部品质测定装置进行在线糖度、酸度及内部褐变等检测试验,并与常规分析法测定结果进行回归分析, 实验结果表明近红外分光检测装置完全满足在线检测水果内部品质的要求何东健 , 2001 #314 。 高光谱图像 在 电磁波谱 的紫外、 可见光 、近红外和 中红外 区域, 以数十至数百个连续且细分的光谱 波段对目标区域同时成
11、像。在获得地表图像信息的同时,也获得其光谱信息,实现了光谱与图像的结合。 3 图像信息可以反映样本的大小、形状、缺陷等外部品质特征,由于不同成分对光谱吸收也不同,在某个 特定波长下图像对某个缺陷会有较显著的反映,而光谱信息能充分反映样品内部的物理结构、化学成分 的差异。这些特点决定了高光谱图像技术在农产品内外部品质的检测方面的独特优势董广军 , 2006 #295 。Masoud Taghizadeh, Aoife A. Gowen等人利用高光谱图像和RGB 图像建立了一个蘑菇品质评 价回归模型,通过检测高光普图像对蘑菇的评价准确度高于RGB 图像 Taghizadeh, 2011 #248,
12、正是 利用了高光谱图像的光谱广度的优势。Crist bal Garrido-Novell等人利用高光谱图像和RGB 图像对苹 果 不 同 贮 藏 条 件 下 的 成 熟 度 进 行 了 估 计 , 结 果 高 光 谱 图 像 识 别 分 类 成 功 率 高 于RGB图 像 Garrido-Novell, 2012 #242。 深度图像也称为距离图像,是指以物体级向深度悠代替灰度图像的灰度级形成的图像。与彩色图像 相比深度图像能直接反映物体表面的三维特征且不受光照、阴影、色度、物体姿势、 遮挡等因素的影响, 可为物体的三维重构和形态还原提供十分有用的数据信息。Kinect是 2010 年微软公司
13、推出的一款体感 外设,其核心设备由彩色摄像机、近红外线激光发射器和红外线感应器、摄影机组成,它能够快速地同 时获取场景彩色图像和深度信息,且其不受环境可见光谱干扰,成本低廉周国民 , 2014 #164。江晓 庆,肖德琴等人,通过Kinect获取作物生长的深度图像,并利用深度图像获取了3D 点云世界坐标, 为三位重建提供了基础江晓庆 , 2012 #118。对于其他图像,如雷达图像、射频图像等也可以应用到 农业生产领域。Lewis, Derek. Edwards Dan 曾在 2010 年提出 Vision inspired spatial engine (VISE),视 觉激发空间引擎,构建
14、了了不同源数据的由目标- 目标,目标 - 图像的配准模型。基于目标的自动配准和 目标的相关性将高光谱图像、雷达图像、光电图像、派生对象和地理信息数据相融合,获得了同一个目 标更多更全面的信息Lewis, 2010 #239 。 1.2 Kinect for Windows Sensor 对于我的研究以后要使用的仪器Kinect Sensor ,如图 1.它的实用性和低廉的价位为人们提供了无限 的可能,从家庭游戏到高级实验室,形成了kinect EffectSaadatseresht, 2011 #40。 2012年2月,微软 正式退出了 Kinect Software Development
15、Kit (SDK) for Windows,为广大的开发爱好者提供了开发包。 其不仅能够获取RGB图像和深度图像,还可以骨架跟踪、人脸跟踪、三位模型等。这些都为今后的多源 信息获取提供了渠道。在近年的研究中,我国的科研者利用Kinect 获取的深度图像做了很多开创性的研 究。陈晓明, 蒋乐天等根据深度图像信号深度图像具有很强的边缘性,前景与背景有很大的深度差的特 点提出了改进的双边滤波算法,得到很好的效果;将 RGB 图像和深度图像结合,将缺失的深度图像补全 并利用坐标变换得到了三维点云数据陈晓明 , 2013 #125 。刘 冰 ,罗 熊首先对Kinect 摄像机采集到的 光学图像与其相应的
16、深度图像信息进行预处理,均匀采样后分别对其进行尺度不变特征变换(SIFT);然 后将两组特征进行特征融合,并利用局部线性编码(LLC) 算法进行特征编码; 最后应用支持向量机( SVM ) 4 的线性分类器,对场景图像进行分类和匹配,得到场景定位信息,结果表明,利用RGB图像与深度图像 融合的图像石碑场景识别率均高于单类图像识别刘冰 , 2013 #312 。 冯娟,刘刚等人利用HIS空间色度 H分量图像与幅度图像进行模糊逻辑融合,采用首阈值法对融合图像进行分割,得到了苹果目标,并且 利用深度图像的空间层次性,提出了一种重叠果实分离方法,很好地分割出了三层不同空间距离的果实, 该方法充分利用了
17、深度图像的统计特性冯娟 , 2014 #124 。 2 三维重建与真实感显示 2.1 三维重建 我们获取目标图像的目的不仅在于对果实等目标的识别、定位。还有后期的三维重建及虚拟世界的 真实感显示,这方面的工作涉及了计算机图形学领域,可以说是图形处理与计算机图形学的交叉领域。 做这方面的研究主要是为了适应今后经济作物管理的机械化与自动化,为虚拟农场的构建做前期准备工 作。 Kondori, F. A. ,Yousefi, S.等人利用 Kinect 采集的一系列的人头部动作图像,提出了一种人头部六自 由度重建恢复的算法, 该算法利用最小二乘法计算不同点之间的变动率并用深度比率约束方程预测此变 动
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2013051269 秀丽 基于 融合 技术 目标 识别 定位 三维重建 综述 要点
链接地址:https://www.31doc.com/p-5194099.html