多媒体技术基础第3版第12章MPEG视像ppt课件.ppt
《多媒体技术基础第3版第12章MPEG视像ppt课件.ppt》由会员分享,可在线阅读,更多相关《多媒体技术基础第3版第12章MPEG视像ppt课件.ppt(46页珍藏版)》请在三一文库上搜索。
1、多媒体技术基础(第3版) 第12章 MPEG视像,张奇 复旦大学 计算机科学技术学院 2011年5月,2019年7月10日,第12章 MPEG视像,2/46,第12章 MPEG视像目录,12.1 视像数据的冗余 12.2 视像数据的速率 12.2.1 BT.601视像数据速率 12.2.2 VCD视像的压缩比 12.2.3 DVD视像的压缩比 12.3 MPEG-1视像 12.3.1 视像数据的压缩算法 12.3.2 帧内图像I的压缩编码算法 12.3.3 预测图像P的压缩编码算法 12.3.4 双向预测图像B的压缩编码算法 12.3.5 帧图像的编排顺序 12.3.6 视像数据流的结构,1
2、2.4 MPEG-2视像 12.4.1 视像编码器和解码器 12.4.2 视像数据位流的结构 12.4.3 视像质量可变编码 12.5 MPEG-4 Visual视像 12.5.1 MPEG-4 Visual简介 12.5.2 视像对象的编码与解码概要 12.5.3 可视对象的层次结构,2019年7月10日,第12章 MPEG视像,3/46,第12章 MPEG视像,MPEG视像 MPEG视像是指使用MPEG视像标准压缩和解压缩的电视图像 现有的MPEG视像标准包括MPEG-1 Video,MPEG-2 Video,MPEG-4 Visual和MPEG-4 AVC / H.264。这些视像标准有
3、许多共同之处,基本概念类似,数据压缩和编码方法基本相同,它们的核心技术都是采用以图像块作为基本单元的变换、量化、移动补偿、熵编码等技术,在保证图像质量的前提下获得尽可能高的压缩比 本章将介绍MPEG视像标准1压缩视像数据的基本原理和方法,对最近几年开发的MPEG-4 AVC / H.264标准将在第13章中作较详细的介绍,2019年7月10日,第12章 MPEG视像,4/46,12.1 视像数据的冗余,视像数据存在的冗余 时间冗余(temporal redundancy) 与时间相关的冗余:在某个时间间隔上出现场景相同或基本相同的连续帧时,帧与帧之间存在大量的冗余数据 空间冗余(spatial
4、 redundancy) 与空间位置有关的冗余:在单帧图像中,相邻像素的值常有相同或变化不大的情况,可用较少数据表达 结构冗余(structural redundancy) 图像自身构造的冗余:若从宏观上来看一帧图像,有些图像存在相同或类似的结构,如用地板图案构成的图像 视觉冗余(vision redundancy) 与视觉系统有关的冗余:对图像的亮度变化敏感而对颜色变化不敏感,对剧烈变化区域敏感而对缓慢变化区域不敏感,对图像的亮度和颜色的分辨率都存在极限,2019年7月10日,第12章 MPEG视像,5/46,12.1 视像数据的冗余(续),知识冗余(knowledge redundancy
5、) 与知识有关的冗余:在单帧图像中含有为人熟知的知识,称为先验知识。例如,正面人头像有相对固定的结构,眼睛下方是鼻子,鼻子下方是嘴,嘴和鼻子均位于脸的中线上。这类规律性的结构往往不会改变或变化不大,而用传统方式录制的视像数据中存在许多重复的数据 知识是某个感兴趣领域中的实事、概念和关系 (6) 数据冗余(data redundancy) 数据本身的冗余:视像数据本身存的冗余,2019年7月10日,第12章 MPEG视像,6/46,12.2 视像数据的速率,12.2.1 BT.601视像数据速率 使用4:2:2采样格式,亮度信号Y的采样频率为13.5 MHz,色差信号Cr和Cb的采样频率为6.7
6、5 MHz,每个样本的精度为10位,视像数据速率为 (1) 亮度(Y) 858样本/行525行/帧30帧/秒10位/样本135兆位/秒(NTSC) 864样本/行625行/帧25帧/秒10位/样本135兆位/秒(PAL) (2) Cr (R-Y) 429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC) 432样本/行625行/帧25帧/秒10位/样本68兆位/秒(PAL) (3) Cb (B-Y) 429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC) 432样本/行625行/帧25帧/秒10位/样本68兆位/秒(PAL) 总计:27兆样本/秒10位/样本
7、= 270兆位/秒,2019年7月10日,第12章 MPEG视像,7/46,12.2 视像数据的速率(续1),实际上,在荧光屏上实际显示的有效图像的数据传输率并没有那么高,其中, (1) 亮度(Y) 720样本/行480行/帧30帧/秒10位/样本 104兆位/秒(NTSC) 720样本/行576行/帧25帧/秒10位/样本 104兆位/秒(PAL) (2) 色差(Cr,Cb) 2360样本/行480行/帧30帧/秒10位/样本 104兆位/秒(NTSC) 2360样本/行576行/帧25帧/秒10位/样本 104兆位/秒(PAL) 总计: 207兆位/秒(Mb/s) 如果每个样本的采样精度由
8、10位降为8位,彩色数字电视信号的数据传输率就降为166 Mb/s,2019年7月10日,第12章 MPEG视像,8/46,12.2 视像数据的速率(续2),12.2.2 VCD视像的压缩比 压缩比的概念 压缩比是数据压缩程度的一种度量方法,其值等于压缩前的数据大小与压缩后的数据大小之比。例如,把一幅原来为1 MB的图像压缩成128 KB,其压缩比就是10241024/1281024 = 81。 VCD盘要求的压缩比 使用Video-CD存储器早期的数据传输率为1.4112 Mb/s,分配给电视信号的数据传输率为1.15 Mb/s,这就意味着MPEG视像编码器输出的数据速率要达到1.15 Mb
9、/s 如果存储166 Mb/s的数字电视信号就需要对它进行高度压缩,压缩比高达166/1.15 144:1。,2019年7月10日,第12章 MPEG视像,9/46,12.2 视像数据的速率(续3),NTSC和PAL的数据传输率 MPEG-1视像压缩技术不能达到这样高的压缩比。为此首先把NTSC和PAL数字电视转换成公用中分辨率格式(CIF)的数字电视,子采样使用4:2:0或4:1:1时,这种格式就相当于家用录像系统(VHS)的质量,于是彩色数字电视的数据传输率就要减小到, 3522403081.5 30 Mb/s (NTSC) 3522882581.5 30 Mb/s (PAL) VCD视像
10、的压缩比 把这种彩色数字电视信号存储到CD盘上所需要的压缩比为30/1.15 26:1。这是MPEG-1技术能够获得的压缩比,2019年7月10日,第12章 MPEG视像,10/46,12.2 视像数据的速率(续4),12.2.3 DVD视像的压缩比 DVD盘要求的压缩比 DVD-Video存储器的数据传输率可达到10.08 Mb/s以上,一张4.7 GB的单面单层DVD盘要存放133分钟的电视节目,按照视像数据的平均数据传输率为4.1 Mb/s来计算,压缩比就要求达到166/4.10 40:1 NTSC和PAL的数据传输率 如果视像的子采样使用4:2:0格式,每个样本的精度为8位,视像数据传
11、输率就减小到124 Mb/s,即 7204803081.5 124 Mb/s (NTSC) 7205762581.5 124 Mb/s (PAL) DVD视像的压缩比 使用DVD-Video来存储72048030或72057625的数字视像所需要的压缩比为124/4.1 30:1,2019年7月10日,第12章 MPEG视像,11/46,12.3 MPEG-1视像,12.3.1 视像数据的压缩算法 MPEG-1视像(MPEG-1 Video)456压缩视像数据的基本方法可以归纳成两个要点 在空间方向上,采用与JPEG类似的算法来去掉空间冗余数据 在时间方向上,采用移动补偿(motion com
12、pensation)算法来去掉时间冗余数据 MPEG专家组为此开发了两项重要技术 定义了视像数据的结构 定义了三种类型的图像,2019年7月10日,第12章 MPEG视像,12/46,12.3 MPEG-1视像(续1),视像数据结构 把视像片段看成由一系列静态图像(picture)组成的视像序列(sequence) 把视像序列分成许多像组(group of picture,GOP) 把像组中的每一帧图像分成许多像片(slice),每个像片由16行组成 把像片分成16行16像素/行的宏块(macroblock,MB) 把宏块分成若干个8行8像素/行的图块(block),见图12-1(a) 使用子
13、采样格式为4:2:0时,一个宏块由 4个亮度(Y)图块和两个色度图块(Cb和Cr)组成,见图12-1(b),2019年7月10日,第12章 MPEG视像,13/46,12.3 MPEG-1视像(续2),(a) 视像数据的组织,(方框中的数字为图块编号) (b) 宏块的结构(4:2:0),图12-1 视像数据结构,2019年7月10日,第12章 MPEG视像,14/46,12.3 MPEG-1视像(续3),三种类型的图像(见图12-2) MPEG专家组定义了三种类型的图像,然后采用三种不同的算法分别对它们进行压缩 帧内图像I (intra- picture),简称为I图像或I帧(I-pictur
14、e / I-frame) 包含内容完整的图像,用于为其他帧图像的编码和解码作参考,因此也称为关键帧 预测图像P (predicted picture),简称为P图像或P帧(P-picture / P-frame) 指以在它之前出现的帧内图像I作参考图像的图像,对预测图像P进行编码就是对它们之间的差值进行编码,2019年7月10日,第12章 MPEG视像,15/46,12.3 MPEG-1视像(续4),双向预测图像B (bidirectionally-predictive picture ),也称双向插值图像B(bidirectionally-interpolated picture),简称为B
15、图像或B帧(B-picture/B-frame) 以在它之前和之后的帧图像(I和P)作参考的图像,对B进行编码就是对帧内图像I和预测图像P的差值分别进行编码,图12-2 MPEG专家组定义的三种图像,2019年7月10日,第12章 MPEG视像,16/46,12.3 MPEG-1视像(续5),12.3.2 帧内图像I的压缩编码算法 不参照过去的帧和将来的帧,采用与JPEG类似的压缩算法以减少空间的冗余数据,见图12-3 如果视像是用RGB空间表示的视像,则首先把它转换成YCrCb空间表示的视像 每个图像平面分成88像素的图块,对每个图块进行离散余弦变换(DCT),变换后产生的交流分量系数经过量
16、化之后按照Zig-zag的形状排序。DCT得到的直流分量系数经过量化之后用差分脉冲编码(DPCM),交流分量系数用行程长度编码RLE,然后再用霍夫曼(Huffman)编码或者用算术编码,2019年7月10日,第12章 MPEG视像,17/46,12.3 MPEG-1视像(续6),图12-3 帧内图像I的压缩编码算法框图3,2019年7月10日,第12章 MPEG视像,18/46,12.3 MPEG-1视像(续7),12.3.3 预测图像P的压缩编码算法 (1) 算法原理 预测图像P的编码以宏块(MB)为基本编码单元,一个宏块定义为像素的图块,一般取1616 预测图像P使用两种类型的参数表示 当
17、前要编码的图像宏块与参考图像的宏块之间的差值 宏块的移动矢量(motion vector, MV),见图12-4,图12-4 移动矢量的概念,2019年7月10日,第12章 MPEG视像,19/46,12.3 MPEG-1视像(续8),(2)求解差值的方法(见图12-5) 假设编码宏块MPI是参考宏块MRJ的最佳匹配块,它们的差值就是这两个宏块中相应的像素值之差 对所求得的差值进行彩色空间转换,然后使用4:1:1或4:2:0格式采样。对采样得到的Y,Cr和Cb分量值,仿照JPEG压缩算法对差值进行编码 对计算出的移动矢量进行DCT变换和霍夫曼编码 (3)求解移动矢量的方法 在求两个宏块差值之前
18、,需要找出预测编码图像中的编码宏块相对于参考图像中的参考宏块所移动的距离和方向,即移动矢量 求解移动矢量的方法见图12-6,2019年7月10日,第12章 MPEG视像,20/46,12.3 MPEG-1视像(续9),图12-5 预测图像P的压缩编码算法框图3,2019年7月10日,第12章 MPEG视像,21/46,12.3 MPEG-1视像(续10),图12-6 移动矢量的算法框图,2019年7月10日,第12章 MPEG视像,22/46,12.3 MPEG-1视像(续11),最佳匹配:编码宏块MPI(如f(x, y)是参考宏块MRJ(如g(x, y)的最佳匹配是指这两个宏块之间的差值最小
19、 以绝对值(absolute difference,AE)最小作为匹配判据,有些学者提出了以均方误差(mean-square error,MSE)最小作为匹配判据,也有些学者提出以平均绝对帧差(mean of the absolute frame difference,MAD)最小作为匹配判据,其中,dx和dy分别是参考宏块MRJ的移动矢量d(dx, dy) 在x和y方向上的移动矢量,2019年7月10日,第12章 MPEG视像,23/46,12.3 MPEG-1视像(续12),(4)搜索算法 为减少搜索次数,现在已开发出许多简化算法用来寻找最佳宏块,下面介绍其中三种 二维对数搜索法(2D-l
20、ogarithmic search) 匹配判据:MSE为最小 搜索策略:沿着最小失真方向搜索 搜索方法:见图12-7 在搜索时,每移动一次就检查5个搜索点 如果最小失真在中央或在边界,就减少搜索点之间的距离 在这个例子中,步骤1,2,5得到的近似移动矢量d为(i,j-2)、(i,j-4)、(i+2,j-4)、(i+2,j-5)和(i+2,j-6),最后得到的移动矢量为d(i+2,j-6),2019年7月10日,第12章 MPEG视像,24/46,12.3 MPEG-1视像(续13),图12-7 二维对数搜索法,2019年7月10日,第12章 MPEG视像,25/46,12.3 MPEG-1视像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 基础 12 MPEG 视像 ppt 课件
链接地址:https://www.31doc.com/p-3112495.html