数字图像视频处理技术 (2).ppt
《数字图像视频处理技术 (2).ppt》由会员分享,可在线阅读,更多相关《数字图像视频处理技术 (2).ppt(156页珍藏版)》请在三一文库上搜索。
1、图像/视频处理技术,注:本讲内容参考了五邑大学李鹤喜数字图像技术讲义和北京大学数字媒体研究所数字媒体技术基础课件,数字媒体技术基础第三讲(8课时),教学目标,了解数字图像/视频处理的基本概念和基本方法 掌握目前最常用的数字图像/视频处理开发包-OpenCV,了解如何用OpenCV开发基本的数字图像/视频处理程序,2/155,教学内容,第一部分:基本概念和操作 图像像素间联系 图像的基本统计特性直方图 基本图像处理技术点运算、二值图像形态学操作、连通分量分析 第二部分: OpenCV OpenCV概述 基础结构与操作 基本OpenCV程序与示例,3/155,第一部分:基本概念和操作,4/155,
2、像素的邻域,(1)p的4邻域 坐标为(x,y)的像素p有4个水平和垂直的相邻像素,坐标分别为: (x+1, y), (x-1, y), (x, y+1), (x, y-1),这个像素集称为p的4邻域,用N4(p)表示。,5/155,像素的邻域,(2)p的4个对角邻像素 坐标分别为: (x+1, y+1), (x-1, y-1), (x-1, y+1), (x-1, y-1),用N D(p)表示。 (3)p的8邻域 N4(p)+ N D(p) 。,6/155,1、像素的邻接 如果接触则邻接。邻接仅考虑了像素间的空间关系。 如一个像素和在它邻域中的像素是接触的,所以是邻接的,2、像素的连接,两个像
3、素的连接,则需满足: 它们在空间上是接触的(即它们是邻接的) 它们的灰度值(或者其他属性值)满足某个特定的相似准则(如它们的灰度值相等),像素间的邻接、连接和连通,7/155,设V表示定义连接的灰度值的集合,4连接:2个像素p和r在V中取值,且r在N4(p)中,8连接:2个像素p和r在V中取值,且r在N8(p)中,m连接(混合连接): 2个像素p和r在V中取值,且满足下列条件之一: r在N4(p)中 r在ND(p)中 且 N4(p) N4(r)不包含V中取值的像素,8/155,r不在N4(p)中,r在ND(p)中, N4(p)中包括标有 a,b,c,d四个像素, N4(r)中包括标有 c,d,
4、e,f 四个像素, 且 N4(p) N4(r)包括标有c,d的两个像素,设V 1 ,满足条件二,不满足条件二,9,混合连接的实质: 在像素之间同时存在4连接和8连接时,优先采用4连接,并屏蔽两个和同一像素间存在4连接的像素之间的8连接。,混合连接是8连接的变型,引进它是为了消除使用8连接时出现的多路问题。,设V,中心像素与8邻域像素连接关系如图b所示,由于8连接产生歧义性(中心与右上角像素有两条通路),用m连接消除,中心像素与右上角像素之间直接的m-连接不能成立,所以线路如图c所示。,10,两像素间的通路:,如果这条通路上的所有像素的灰度值均满足某个特定的相似准则,则说明两个像素p和q是连通的
5、。根据所采用的邻接定义的不同得到不同的连通。如4连通,8连通,像素的连接是像素连通的一种特例。n=1时,两个连通的像素也是连接的。,像素的连通,11,随堂练习: 以下p-q通路各是什么通路?,12,图像的子集合:图像中的一部分,根据像素间的联系,可将图像中某些像素结合组成图像的子集合。,图像子集的连接:如果S中的一个或一些像素与T中的一个或一些像素连接,则两个图像子集S和T是连接的 要考虑:是否是邻接子集,它们中邻接像素的灰度值是否满足某个特定的相似准则,图像子集的邻接: 如果图像子集S中的一个或一些像素与图像子集T中的一个或一些像素邻接,则两个图像子集S和T是邻接的。根据所采用的像素邻接定义
6、,可得到图像子集4邻接或8邻接,像素集合的邻接和连通,13/155,设p和q是一个图像子集S中的两个像素,如果存在一条完全由在S中的像素组成的从p到q的通路,那么就称p在S中与q相连通 对S中任一像素p,所有与p相连通且又在S 中的像素的集合(包括p)合起来称为S中的一个连通分量。 如果S中只有一个连通组元,即S中所有像素都互相连通,则称S是一个连通集。 两个互不邻接但与同一图像子集都邻接(在同一个V下)的图像子集是互相连通的。 图像中同一个连通集中的任两个像素互相连通,而不同连通集中的像素互不连通。,14/155,连通区域分析(Connected Component Analysis),CV
7、PR和图像分析处理的众多应用领域中较为常用和基本的方法。 例如:OCR识别中字符分割提取(车牌识别、文本识别、字幕识别等)、 视觉跟踪中的运动前景目标分割与提取(行人入侵检测、遗留物体检测、基于视觉的车辆检测与跟踪等)、 医学图像处理(感兴趣目标区域提取)、等等。 也就是说,在需要将前景目标提取出来以便后续进行处理的应用场景中都能够用到连通区域分析方法,通常连通区域分析处理的对象是一张二值化后的图像。,15/155,像素之间的联系与像素在空间的接近程度有关。像素在空间的接近程度可用像素之间的距离来测量。 距离量度函数:用来测量距离,三个条件,(1)表明两像素之间的距离总是正的(两像素空间位置相
8、同时,其间的距离为0)(2)表明两像素之间的距离与起终点的选择无关。或者说距离是相对的。(3)表明两像素之间的最短距离是沿直线的。,图像间的距离,16,在数字图像中的距离量度函数:两个像素p和q,坐标(x , y), (s , t ),欧氏距离(范数/模为2的距离): 与坐标为(x , y)的像素的欧氏距离小于或等于某个值d的像素都包括在以(x ,y )为中心以d为半径的圆中。在数字图像中圆只能近似表示。,城区距离(范数/模为1的距离):D4距离 与坐标为(x , y)的像素的城区距离小于或等于某个值d的像素组成以(x ,y )为中心的菱形。,17,D8=1的像素就是(x , y )的8近邻像
9、素,所以像素p的8邻域可定义为:,棋盘距离(范数为的距离): 与坐标为(x , y)的像素的棋盘距离小于或等于某个值d的像素组成以(x ,y )为中心的正方形。,D4=1的像素就是(x , y )的4近邻像素,所以像素p的4邻域可定义为:,18,图像的基本统计特性直方图,直方图(Histogram):表达一幅图像的灰度级(或颜色)分布情况的统计表 横坐标:灰度(或颜色量化值) 纵坐标:某一灰度值(或颜色量化值)的像素个数 直方图的性质 丢失空间信息 一个图像有唯一的直方图,但一个直 方图可能对应多幅图像 一幅图像各区域的直方图之和等于全 图的直方图 直方图的用途 数字化参数:用于判断一幅图像是
10、否 合理利用了所有可选的灰度级范围 边界阈值选取:若灰度直方图具有较 好的二峰性,则可以方便进行二值化,19/155,图像的基本统计特性直方图,直方图的计算:对(M,N)大小的图像,设灰度(颜色)级为L: 初始化:histk=0, k=0,L-1 统计:histf(x,y)+; x,y=0,M-1,0, N-1 归一化:histf(x,y) /=M*N,20/155,基本图像处理技术图像的点运算,代数运算 图像的代数运算是指对两幅图像进行点对点的四则运算而得到一幅新的输出图像。图像的代数运算在图像处理中有着广泛的应用,它除了可以实现自身所需要的算术操作,还能为许多复杂的图像处理提供准备 1.
11、加法运算 2. 减法运算(差分),21/155,图像的点运算,+,=,22/155,图像的点运算,=,图像求差可以消除背景,23/155,图像的点运算,(a)原图,(b)梯度运算(相邻2个像素 间做差),24/155,基本图像处理技术-形态学操作,集合论基础知识 膨胀和腐蚀(Dilation & Erosion):产生滤波器作用 开操作和闭操作(Opening & Closing):产生滤波器作用 形态学操作在图像处理中的应用 边界提取 区域填充 连通分量的提取 凸壳,细化,粗化,25/155,图像形态学,形态学:一般指生物学中研究动物和植物结构的一个分支,研究生物的成年个体的外形和器官构造(
12、解剖学、组织学和器官学) 数学形态学(也称图像代数)表示以形态为基础对图像进行分析的数学工具(1960s) 形态学图像处理的应用可以简化图像数据,保持它们基本的形状特性,并除去不相干的结构 研究数字图像中物体目标的结构及拓扑关系 数学形态学应用在图像增强、分割、恢复、边缘检测、纹理分析等领域 作为预处理步骤:去除噪声(滤波器)目标提取,26/155,图像形态学,基本思想: 表现为一种邻域运算形式; 一种特殊定义的邻域称之为“结构单元”(Structure Element),在每个像素位置上它与二值图像对应的区域进行特定的逻辑运算,逻辑运算的结果为输出图像的相应像素。 形态学运算的效果取决于结构
13、单元的大小、内容以及逻辑运算的性质。 形态学图像处理的数学基础和所用语言是集合论 形态学图像处理的基本运算有4个:膨胀、腐蚀、开操作和闭操作,27/155,集合论基础知识,集合的并、交、补、差,28/155,集合论基础知识,集合B的反射 ,定义为 =w|w= b,bB即关于原集合原点对称 集合A平移到点z=(z1,z2),表示为(A)z,定义为 (A)z =c| c = a+ z, aA,29/155,二值形态学,二值形态学中的运算对象是集合。设A为图像集合,S为结构元为结构元素,数学形态学运算是用S对A进行操作。 需要指出,实际上结构元素本身也是一个图像集合。对每个结构元素可以指定一个原点,
14、它是结构元素参与形态学运算的参考点。 应注意,原点可以包含在结构元素中,也可以不包含在结构元素中,但运算的结果常不相同。 二值形态学中两个最基本的运算是腐蚀与膨胀,30/155,膨胀和腐蚀,膨胀:使图像扩大 A和B是两个集合,A被B膨胀定义为: 上式表示:B的反射进行平移与A的交集不为空 B的反射:相对于自身原点的映象 B的平移:对B的反射进行位移 膨胀的另一个定义 上式表示:B的反射进行平移与A的交集是A的子集,31/155,32/155,33/155,膨胀与腐蚀,膨胀-算法实现过程如下: 将结构元素B的原点移至集合A的某一点, 将结构元素中点的坐标与集合A中该点坐标相加,得到对集合中一点的
15、膨胀运算结果. 对集合A中所有元素重复该过程,34/155,=,35/155,膨胀应用举例,桥接文字裂缝 优点:在一幅二值图像中直接得到结果,对比低通滤波方法,36/155,膨胀和腐蚀,腐蚀:使图像缩小 A和B是两个集合,A被B腐蚀定义为: 集合B称为结构元素 A B由将B平移z但仍包含在A内的所有点z组成。 如果B看作为模板,则A B由在平移模板的过程中,所经可以填入A内部的模板的原点组成。,37/155,腐蚀 对一个给定的目标图像X和一个结构元素 S,将S在图像上移动。在每一个当前位置x,S+x只有三种可能的状态 第一种情形说明S+x与X相关最大, 第二种情形说明S+x与X不相关, 第三种
16、情形说明S+x与X只是部分相关 X用S腐蚀的结果是所有使S平移x后仍在X中的x的集合。换句话说,用S来腐蚀X得到的集合是S完全包括在X中时S的原点位置的集合。,膨胀和腐蚀,38/155,39/155,40/155,膨胀和腐蚀,腐蚀的作用 腐蚀在数学形态学运算中的作用是消除物体边界点 如果结构元素取33的像素块,腐蚀将使物体的边界沿周边减少一个像素 腐蚀可以把小于结构元素的物体(毛刺、小凸起)去除,这样选取不同大小的结构元素,就可以在原图像中去掉不同大小的物体 如果两个物体之间有细小的连通,那么当结构元素足够大时,通过腐蚀运算可以将两个物体分开,41/155,膨胀和腐蚀,腐蚀运算的示例 图(a)
17、中的阴影部分为集合X,图(b)中的中的阴影部分为结构元素S,而图(c)中黑色部分给出了结果。 由图可见,腐蚀将图像(区域)收缩小了。,42/155,膨胀和腐蚀,腐蚀应用举例 使用腐蚀消除图像的细节部分,产生滤波器的作用 包含边长为1,3,5,7,9 和15像素正方形的二 值图像 使用1313像素大小 的结构元素腐蚀原图 像的结果 使用1313像素大小的结 构元素膨胀图b,恢复原来 1515尺寸的正方形,43/155,腐蚀与膨胀并不互为逆运算,AB,(AB) B,开运算(先腐蚀再膨胀),A,B,44/155,开操作和闭操作,开操作:使图像的轮廓变得光滑,断开狭窄的间断和消除细的突出物 使用结构元
18、素B对集合A进行开操作,定义为: AoB = (AB) B 含义:先用B对A腐蚀,然后用B对结果膨胀 另一个定义 AoB = (B)z | (B)z A,45/155,开操作的几何解释,AoB的边界通过B中的点完成 B在A的边界内转动时,B中的点所能到达的A的边界的最远点,46/155,开运算去掉了凸角 (a) 结构元素S1和S2; (b) XS1; (c) XS2,47/155,开操作和闭操作,闭操作:同样使图像的轮廓变得光滑,但与开操作相反,它能消除狭窄的间断和长细的鸿沟,消除小的孔洞,并填补轮廓线中的裂痕 使用结构元素B对集合A进行闭操作,定义为: AB = (AB)B 含义:先用B对A
19、膨胀,然后用B对结果腐蚀,48/155,闭操作的几何解释,AB的边界通过B中的点完成 B在A的边界外部转动,凹形结构,49/155,开操作和闭操作应用举例,C,D,E,先开操作再闭操作,构成噪声滤波器,50/155,开操作和闭操作应用举例,a图是受噪声污染的指纹二值图像,噪声为黑色背景上的亮元素和亮指纹部分的暗元素 b图是使用的结构元素 c图是使用结构元素对图a腐蚀的结果:黑色背景噪声消除了,指纹中的噪声尺寸增加 d图是使用结构元素对图c膨胀的结果:包含于指纹中的噪声分量的尺寸被减小或被完全消除,带来的问题是:在指纹纹路间产生了新的间断 e图是对图d膨胀的结果,图d的大部分间断被恢复,但指纹的
20、线路变粗了 f图是对图e腐蚀的结果,即对图d中开操作的闭操作。最后结果消除了噪声斑点 缺点:指纹线路还是有缺点,可以通过加入限制性条件解决,51/155,形态学的主要应用,边界提取 定义 (A)= A(AB) 上式表示:先用B对A腐蚀,然后用A减去腐蚀得到,B是结构元素,52/155,形态学的主要应用,边界提取举例 1表示为白色,0表示为黑色,53/155,形态学的主要应用,区域填充 定义:设所有非边界(背景)点标记为0,则将1赋给p点开始, 实现目的:从边界内的一个点开始,用1填充整个区域 X0=p,如果Xk=Xk-1,则算法在迭代的第k步结束。Xk和A的并集包含被填充的集合和它的边界 条件
21、膨胀:如果对上述公式的左部不加限制,则上述公式的膨胀将填充整个区域。利用Ac 的交集将结果限制在感兴趣区域内,实现条件膨胀。 Ac是A的补集。,54/155,形态学的主要应用区域填充,55/155,形态学的主要应用,连通分量的提取 实现目的:在二值图像中提取连通分量 令Y表示一个包含于集合A中的连通分量,并假设Y中的一个点p是已知的。用下列迭代式生成Y的所有元素: Xk =(Xk1 B)A k =1,2,3,. x0=p,如果Xk=Xk-1,算法收敛,令Y=Xk,56/155,形态学的主要应用,连通分量提取的应用举例 使用连通分量检测包装食物中的外来物,57/155,作业4,1. 用OpenC
22、V实现作业2;对某一个二值化后的图像进行腐蚀、膨胀、开、闭操作,将结果保存下来;把二值图像中的较小的连通分量去掉,只保留最大的前两个分量,将结果保存成文件 2.从摄像头得到视频流,从中任意选取5帧,保存成图像文件 3.从AVI文件读取视频,从中任意选取5帧,保存成图像文件 4.从摄像头得到视频流,在指定的窗口内实时显示该视频,58/155,教学内容,第一部分:基本概念和操作 图像像素间联系 图像的基本统计特性直方图 基本图像处理技术点运算、二值图像形态学操作、连通分量分析 第二部分: OpenCV OpenCV概述 基础结构与操作 基本OpenCV程序与示例,59/155,第二部分: Open
23、CV OpenCV概述 基础结构与操作 基本OpenCV程序与示例 注:本讲义中部分代码来自OpenCV样例,部分代码来自OpenCV教程基础篇,部分代码则从网上收集。,60/155,OpenCV概述,OpenCV是Intel开源计算机视觉库。 它由一系列 C 函数和少量 C+ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。 The current release version is 2.4.6 (April 2013) OpenCV 的特点 拥有包括 500 多个C函数的跨平台的中、高层 API 跨平台:Windows, Linux 免费(FREE):无论对非商业应用和商业应用 速
24、度快 使用方便,61/155,OpenCV 模块,CXCORE basic structures and algoritms, XML support, drawing functions,CV Image processing and vision,HighGUI GUI, Image and Video I/O,ML Machine Learning algorithms,CVAux,62/155,63/155,图像数据操作(内存分配与释放,图像复制、设定和转换) 图像/视频的输入输出(支持文件或摄像头的输入,图像/视频文件的输出) 矩阵/向量数据操作及线性代数运算(矩阵乘积、矩阵方程求解
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字图像视频处理技术 2 数字图像 视频 处理 技术
链接地址:https://www.31doc.com/p-2991244.html