第5章数字媒体及应用.ppt

第5章 数字媒体及应用,本章要点: 文本与文本处理 图像与图形 数字声音及应用 数字视频及应用,2019/4/7,NJNU,2,5.1 文本与文本处理,文本：基于特定字符集的、按一定格式组织起来的、具有上下文相关性的一个字符流，每个字符均使用编码表示。,文本展现,（阅读器）,文本存储与传输,2019/4/7,NJNU,3,1、西文字符的编码 西文字符集（拉丁字母、数字、标点等组成） 标准 ASCII 字符集 ASCII 字符集采用 7 位编码 每个 ASCII 字符以一个字节存放 扩充 ASCII 字符集：标准ASCII 码 + 扩展ASCII 码,一、字符的编码,2019/4/7,NJNU,4,2. 汉字的编码,汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素。 汉字的特点： 数量大（我国汉字自古至今累计已超过6万字 多个国家和地区使用：港台地区，日、韩、朝、新、马等 字形复杂，同音字多，异体字多。 我国汉字编码的国家标准： GB2312（6763个常用简体汉字和682个非汉字字符 ） GBK （20902个CJK汉字和······符号） UCS /Unicode与GB18030,2019/4/7,NJNU,5,(1) GB2312 1980 汉字编码,包括 6763 个汉字和 682 个非汉字字符 GB2312 构成： 一级常用汉字 3755 个，按汉语拼音排列 二级常用汉字 3008 个，按偏旁部首排列 非汉字字符 682 个 GB2312 构成一个二维平面，分成 94 行和 94列， 行号称为区号，列号称为位号，两者组合就是汉字编码。称为区位码。 区位码的区号和位号分别加上 20H，得到国标码。 国标码的两个字节的最高位置 1，得到 PC 机常用的 机内码,2019/4/7,NJNU,6,以汉字“啊”为例： 区位码为：1601，表示区号16位号01 对应二进制数为：00010000，00000001 国标码对应二进制数为： 00110000，00100001B 机内码对应二进制数为： 10110000，10100001B,2019/4/7,NJNU,7,(2) GBK汉字内码扩充规范,总计 23940 个码位，共收入 21003 个汉字和883图形符号 简体和繁体汉字在同一个字符集中； 包含了中、日、韩认同的全部CJK汉字； 与GB2312-80保持向下兼容；,2019/4/7,NJNU,8,3、UCS/Unicode 与 GB18030 汉字编码标准,(1) 通用编码字符集 UCS/Unicode UCS 实现了对所有字符统一编码 (2) GB18030 编码（2000年） 目的是向 UCS 过渡，同时与 GB2312、GBK 兼容，目前已经在许多计算机系统中使用。 用 1、2 或 4 字节编码，汉字数达到 27000 多个,2019/4/7,NJNU,9,二、文本的准备,文本信息的输入：,2019/4/7,NJNU,10,汉字键盘输入,汉字的键盘输入编码 输入编码要求：易学、易记、效率高、 重码少、容量大 输入编码分类： 数字编码 字音编码 字形编码 形音编码 用不同的输入编码方法输入同一个汉字，其内码是一样的,2019/4/7,NJNU,11,联机手写汉字识别,原理：用专用笔在专用书写板上书写汉字 (或符号) 计算机实时自动识别 用该汉字 (或符号) 对应的代码进行保存 例： “汉王”手写笔 正识率达到 90% 以上，识别速度超过12字/秒,2019/4/7,NJNU,12,汉语语音识别,分类： 孤立语音/连续语音识别 小词汇量/大词汇量语音识别 特定人/非特定人语音识别 现状：特定人连续语音识别率已达到 90% 以上 目标：非特定人大词汇量的连续语音识别,2019/4/7,NJNU,13,4.印刷体汉字识别输入 对于将现存的大量书、报、刊物、档案、资料等输入计算机是非常重要的手段。 5.脱机手写汉字识别输入 是一种用于将预先手写好的文稿输入计算机的方法，也是计算机字符识别中最困难的一个问题。,2019/4/7,NJNU,14,1、简单文本（纯文本） 除了表达正文的字符和几个打印控制字符外，不含其它格式信息和结构信息。简单文本又称为纯文本，ASCII文本，其文件的后缀为“ .txt”(文本文件) 简单文本为一种线性结构，由若干行构成，每行由若干个字构成 2、丰富格式文本 在简单文本中增加格式控制和结构说明信息，构成丰富格式文本 RTF是一种中间格式，它的目的是使各种丰富格式文本相互交换使用，以兼容不同格式文本。,三、文本的类型,2019/4/7,NJNU,15,3、超文本 超文本采用一种网状结构来组织信息 一个超文本由若干个文本块组成，这些文本块称为节点 节点可以是文字、图形、图像、声音或视频 基于多媒体信息结点的超文本，也称为超媒体。 例：Windows中的 “帮助” 文件就是一种典型的超文本,文本的类型,2019/4/7,NJNU,16,超文本结构,a3,2019/4/7,NJNU,17,四、文本的编辑与处理,1、文本编辑与文本处理 文本编辑： 内容：对字(词, 句)、段落、页面等进行添加、删除、 修改等操作 字的处理 段落的处理 页面布局的处理 目的：使文本内容正确，版面清晰整齐、美观大方 所见即所得： 编辑的效果在屏幕上可以立即看到 在屏幕上看到的效果与打印出来的效果一致,2019/4/7,NJNU,18,2. 文本处理软件,（1）面向通信的文本处理软件 ： Outlook Express （2）面向办公的文本处理软件 ： MS Word , WPS2000 （3）面向印刷出版的文本处理软件： “飞腾”排版软件，PageMaker，PDF Writer （4）面向网络信息发布和电子出版的文本处理软件： FrontPage, PDF Writer,2019/4/7,NJNU,19,五、文本的展现,过程： 对文本的格式描述进行解释 生成文字和图表的映像（bitmap） 传送到显示器或打印机输出 承担文本输出任务的软件称为文本阅读器或浏览器： 嵌入在文本编辑(处理)软件中，如微软的 Word 独立的软件：如 Adobe 公司的 Acrobat Reader，微软公司的 IE 等,2019/4/7,NJNU,20,输出过程中字形的生成,文本展现过程中，字符形状的生成是一个关键 先根据字符的字体确定相应的字型库（font） 再按照该字符的代码从字型库中取出该字符的形状描述信息 然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换 最后将变换得到的字形放置在页面的指定位置处,2019/4/7,NJNU,21,字形描述方法,点阵字形：“1”表示对应位置是黑点 “0”表示是空白 轮廓字形：用曲线描述，精度高、字形可变， 如：Windows 中的 TrueType,字符的点阵描述,字符的轮廓描述,2019/4/7,NJNU,22,5.2 图像与图形,数字图像按其生成方法可以分为两大类： 通过数字化设备获取的图像，它们称为取样图像（sampled image）、点阵图像（dot matrix image）、位图图像（bitmap image），以下简称图像（image） 计算机合成的图像(synthetic image)，它们称为矢量图形（vector graphics），或简称图形（graphics）,2019/4/7,NJNU,23,1. 图像的数字化 （1）扫描 : 将图像分成 M * N 个点进行取样 （2）分色 : 将每个点分成 R、G、B 三个基色。 （3）取样 :测量每个取样点每个分量的亮度值 （4）量化 ：对每个分量进行 A / D 转换，再用 数字量表示,一、图像的获取,2019/4/7,NJNU,24,2. 数字图像获取设备,功能：将现实的景物输入到计算机内 种类：2D 扫描仪、数码相机、3D 扫描仪等,2019/4/7,NJNU,25,二、图像的表示与压缩编码,1. 图像的表示方法与主要参数 每个取样点称为像素 彩色图像用三个矩阵来表示 矩阵的行数称为垂直分辩率 矩阵的列数称为水平分辩率 矩阵的元素值是像素颜色分量的亮度值 一幅取样图像，除了像素数据外，还有以下属性： 图像分辩率：图像在屏幕上的大小 颜色空间的类型：描述彩色图像所使用的颜色描述方法（常用的有RGB、CMYK、HSV、YUV） 像素深度：各种颜色（亮度）分量的位数之和,2019/4/7,NJNU,26,彩色图像的表示,2019/4/7,NJNU,27,2. 图像的压缩编码,图像数据量的计算公式（以字节为单位）： 数据量 = 图像水平分辨率×图像垂直分辨率×像素深度8 数据压缩的必要性 数据压缩的两种类型： 无损压缩 有损压缩 压缩编码方法的评价： 压缩倍数的大小， 重建图像的质量（有损压缩时） 压缩算法的复杂程度,2019/4/7,NJNU,28,图像压缩编码的国际标准,JPEG JPEG2000,2019/4/7,NJNU,29,3. 常用图像文件格式,要求： 熟悉常用的图像文件名 了解它们有什么特性和适用的场合,2019/4/7,NJNU,30,数字图象处理与应用,1.数字图象的处理 图象处理的主要目的有以下几个方面： （1）提高图象的视觉质量 （2）图象复原与重建 （3）图象分析 （4）图象数据的变换、编码和数据压缩 （5）图象的存储、管理、检索等。,2019/4/7,NJNU,31,常用(通用)图像编辑软件,微软公司 画图软件(paint)：可查看和 编辑处理.jpg、.gif 或 .bmp图像 微软公司 imaging for windows Microsoft Photo Editor Ulead system 的PhotoImpact ACD System公司的ACDSee32 Adobe PhotoShop,2019/4/7,NJNU,32,3. 数字图像的应用,(1) 图像通信。包括图像传输、电视电话、电视会议 等。 (2) 遥感。 (3) 医疗诊断。 (4) 工业生产中的应用。如产品质量检测，生产过程 的自动控制等。 (5) 机器人视觉。对三维景物进行理解与识别。 (6) 军事、公安、档案管理等其他方面的应用。如军 事目标的侦察，制导和警戒，自动火器的控制及 反伪装，指纹、手迹、印章、人像等的处理和辨 识，古迹和图片档案的修复与管理等。,2019/4/7,NJNU,33,四、计算机图形,1、景物形状的计算机表示 使用算法或几何要素（如点、线、面、体的位置、形状和大小）及表面材料的性质，在计算机中对景物和形体（无论是真实的还是假想的）进行描述（modeling） 需要显示时，计算机根据观察者的位置及光线的设定，生成该景物的图像。,2019/4/7,NJNU,34,2.计算机合成图像的应用,(1) 计算机辅助设计和辅助制造(CADCAM) (2) 利用计算机生成各种地形图、交通图、天气图、 海洋图、石油开采图等 (3) 作战指挥和军事训练 (4) 计算机动画和计算机艺术 (5) 其它：电子出版、数据处理、工业监控、 辅助教学、软件工程等,2019/4/7,NJNU,35,3. 矢量绘图软件,专业绘图软件： AutoCAD MAPInfo、ARCInfo 办公与事务处理、平面设计、电子出版等领域： Corel公司的CorelDraw， Adobe 公司的Illustrator， Macromedia公司的FreeHand， 微软公司的Microsoft Visio等 内嵌的绘图软件,2019/4/7,NJNU,36,5.3 数字声音及应用,数字声音的特点： 是一种连续媒体，传输与播放有实时性要求 数据量大，对存储和传输的要求很高。 数字声音的类型： 取样（波形）声音 语音(3003400Hz) 全频带声音(2020kHz) 计算机合成声音 合成音乐（MIDI） 合成语音,2019/4/7,NJNU,37,一、波形声音的获取和播放,1、声音信号的数字化： 取样（sampling） 量化（quantization，AD conversion ) 编码（encoding）,模拟声音信号,2019/4/7,NJNU,38,2. 波形声音的获取设备,联机获取设备(声卡),脱机获取设备：数码录音笔,2019/4/7,NJNU,39,声音录制与播放的处理过程,二、波形声音的表示与压缩编码,1、波形声音的主要参数 数字化的波形声音是一种二进制表示的串行比特流（bitstream）形式 按一定的标准或规范进行了压缩编码 数据的结构按物理属性(时间，声道)进行组织，语义上没有结构化。,2019/4/7,NJNU,41,波形声音的数据压缩,主要参数： sampling frequency(取样频率) quantization bits(量化位数) number of sound channels(声道数目) encoding method ( compression method )(压缩编码方法) bit rate(码率，比特率)，每秒钟的数据量 波形声音的码率 = 取样频率 × 量化位数 × 声道数,2019/4/7,NJNU,42,2.全频带数字音频的压缩编码,2019/4/7,NJNU,43,流媒体技术、流媒体,流媒体技术就是允许用户一边下载一边收看 (听) 音视频连续媒体的技术。 使用流式传输技术的音/视频媒体，称为流媒体。1995年出现，优点： 1. 等待时间大大缩短； 2. 减少了对缓冲容量的需求； 3. 降低了对网络带宽的要求。 常见流媒体音频 REAL NETWORK 公司的RA(REAL AUDIO) 微软公司的WMA(WINDOWS MEDIA AUDIO),2019/4/7,NJNU,44,四、计算机合成声音,计算机合成语音 计算机合成音乐,2019/4/7,NJNU,45,1. 音乐合成（MIDI）,乐曲的计算机表示方法MIDI Message 乐曲的制作软件音序器 存放乐曲的文件 .MID 文件 播放乐曲的软件 媒体播放器 乐器声音的生成 声卡上的音乐合成器,视频(video)：随时间变化其内容的一组图像(24,25,30 帧/秒), 又叫运动图像或活动图像(motion picture) 常见视频信号：电视，电影，计算机动画等 视频信号的特点： 内容随时间而变化 伴随有与画面动作同步的声音(伴音),5.4 数字视频及应用,2019/4/7,NJNU,47,一、数字视频基础,1、电视基本知识 电视画面采用隔行扫描方式，图像分奇数场和 偶数场 我国采用 PAL 制式，帧频为 25 帧/秒，场频为 50 场/秒,2019/4/7,NJNU,48,电视信号的彩色空间,PAL制式的彩色电视信号在远距离传输时，使用亮度信号Y和两个色度信号U、V来表示，与RGB表示进行转换,2019/4/7,NJNU,49,电视信号的彩色空间,使用Y、U，V彩色空间的优点： Y和U，V是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理； 可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使U，V的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。,2019/4/7,NJNU,50,数字摄像头,最高分辨率为 640×480，一般都是352×288 速度一般在30fps (每秒30帧) 以下 镜头的视角可达到45-60度 支持USB接口 或 FireWire（火线）接口,2019/4/7,NJNU,51,数码摄像机,提供480线以上的分辨率，清晰度高 自动对焦(Auto focus)，自动曝光(Auto Expose) 使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上 提供录音功能 数据量很大，采用USB接口 或 IEEE1394 (FireWire)接口， 后者传输速率可以达到200- 800MB/s。,2019/4/7,NJNU,52,五、数字视频的应用,数字视频的应用模式 Recording and playback模式 VCD DVD 数字录像带 Communication 模式 单向(Broadcasting：数字电视，Web-TV) 双向(Interactive：ITV, VOD, 可视电话，视频会议),2019/4/7,NJNU,53,五、数字视频的应用,1. VCD与DVD CD 指的是小型唱盘 VCD 指的是小型音/视盘 MPEG-1 标准使得能在一片 CD 盘上存放 60 分钟的音视频数据 DVD 指的是数字多用途光盘 MPEG-2 标准使得在一片光盘在可存放 133 分钟的较高质量的整部电影,2019/4/7,NJNU,54,2. 可视电话与视频会议,可视电话 打电话的同时还可以互相看见对方的图像 分类：静态图像可视电话、动态图像可视电话 视频编码标准为H.263，图像格式为QCIF(CIF和SQCIF为可选) 视频会议（电视会议） 通过数字音视频数据实时传送声音、图像使得分散在多个地点的用户就地参加会议的一种多媒体通信应用 :优点：节省大量的会议费用 应用前景：在办公自动化、紧急救援、现场指挥调度等许多方面能发挥很好作用,3. 数字电视,数字视 频 节 目,视频 服务器,光盘 制作,地面无线(DVB-T),卫星(DVB-S),CATV (DVB-C),Internet,VCD,DVD,解码器,电视机,PC机,2019/4/7,NJNU,56,4. 点播电视(VOD),VOD系统的分类 按系统规模： 小型视频点播系统：100个用户以内 中型视频点播系统：100300之间 大型视频点播系统：300户以上 按响应方式： True VOD Near VOD 按交互性： 节目内交互（intraprogram） 全交互电视 节目间交互（interprogram）,