《三网融合下广电视频内容的分解与特征提取.pdf》由会员分享,可在线阅读,更多相关《三网融合下广电视频内容的分解与特征提取.pdf(59页珍藏版)》请在三一文库上搜索。
1、 分类号分类号 学号学号 M201075948 学校代码学校代码 1 0 4 8 7 密级密级 硕士学位论文硕士学位论文 三网融合下广电视频内容三网融合下广电视频内容 的分解与特征提取的分解与特征提取 学位申请人学位申请人 : 顾书玉顾书玉 学 科 专 业学 科 专 业 : 软件工程软件工程 指 导 教 师指 导 教 师 : 刘云生刘云生 教授教授 答 辩 日 期答 辩 日 期 : 2013.1.10 A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree for the Master of En
2、gineering Video Content Decomposition and Feature Extraction based on Triple-Play Service Candidate : Gu Yushu Major : Software Engineering Supervisor : Prof. Liu Yunsheng Huazhong University of Science and Technology Wuhan 430074, P. R. China January, 2013 I 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 摘摘 要
3、要 随着三网融合工作的不断深入推进,网络的开放性、交融性和复杂性不断提高, 整个多媒体内容产业将呈现一种前所未有的新局面。三网融合之后,网络视频流量 将急剧增加,色情、暴力以及危害国家安全的信息内容的传播途径和渠道更加多样, 违法和不良信息的扩展范围更广,危害将更加严重。为了切实保障内容安全,网络 上的视频、图片、文字、语音等内容必须符合国家法律法规的要求。HUSTRIM (Huazhong University of Science and Technology, Software college, Television and Radio Information Management)系统
4、能够为实现全网内容的可管可控提供保障,成 为内容可管、可控、可运营的重要防护墙。 HUSTRIM中的视频内容监管子系统要能够有效对视频内容进行特征分析,从而 达到对视频内容进行自动审核的目的。为了对视频内容进行高效分析,需要综合利 用视频的时序特征、关键帧特征、音频特征以及其中包含的文字特征。视频监管子 系统主要包括视频时序特征分析、内容分解、特征分析以及内容审核四个模块。其 中,时序特征分析模块提取视频时序特征并与特征库里已有的时序特征进行匹配, 确定该视频是否是已审核过的视频,防止重复审核;内容分解模块提取视频中的音 频、字幕及关键帧;特征分析模块负责对音频、文字及关键帧分别进行特征提取及
5、 分析;内容审核模块将提取出的特征与规则库中的不良特征进行匹配,确定该视频 是否符合审核标准。 HUSTRIM 中的视频监管子系统能够对视频内容进行自动审核, 大大提高了视频 内容审核的效率,为三网融合后急剧增加的海量视频审核提供了有效的解决方案。 关键词关键词:三网融合 内容监管 特征分析 II 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 Abstract With the development of triple-play service, the network will become more open and complex. The multimedi
6、a content industry will present an unprecedented new situation. The video online will increase quickly, and video contained with pornographic, violent and endangering state security information will have more channels to spread, as the illegal information spreading wider and wider, the harm will be
7、more serious. In order to ensure the safety of TV content, the videos, pictures, texts and audios online must comply with the requirements of the state laws and regulations. HUSTRIM(Huazhong University of Science and Technology, Software college, Television and Redio Information Management)system ca
8、n guarantee the safety of content, and it will become an important wall of monitoring and management. Video content supervision sub-system in HUSTRIM is effective for video feature analysis, so it can monitor video content automatically. In order to analysis video content effectively, the video cont
9、ent supervision system must make full use of video timing characteristics, key frame characteristics and audio characteristics. Video monitoring subsystem included video timing characteristics analysis, content decomposition, characteristics analysis and content auditing. The first module of them is
10、 used to extract timing characteristics and matching with the feature data base, to make sure the video is new; the second module is used to extract audio, texts and key frame from video; the third module is used to analysis the feature; the last module is used to audit the video. Video content supe
11、rvision sub-system in HUSTRIM can audit video content automatically, and improve the efficiency of video content auditing. It provides an effective solution for massive video in triple-play service. Key words:Triple-play service Content supervision Feature analysis III 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位
12、论论 文文 目目 录录 摘摘 要要 . I Abstract . II 1 绪论绪论 1.1 广电内容监管的研究背景 (1) 1.2 广电内容监管研究的目的与意义 (2) 1.3 国内外研究概况 (4) 1.4 论文的主要研究内容 (7) 2 系统系统 HUSTRIM 的总体设计的总体设计 2.1 HUSTRIM 的系统目标 . (8) 2.2 HUSTRIM 的系统功能 . (9) 2.3 HUSTRIM 系统结构 . (10) 2.4 HUSTRIM 中的视频监控子系统 . (15) 2.5 本章小结 . (18) 3 视频内容的时序特征和关键帧提取视频内容的时序特征和关键帧提取 3.1
13、概述 . (20) 3.2 视频时序特征提取与相似性匹配 (21) 3.3 视频关键帧特征提取 (26) 3.4 本章小结 . (30) 4 HUSTRIM 视频监管子系统的设计与实现视频监管子系统的设计与实现 4.1 系统描述 . (31) IV 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 4.2 主要功能 . (32) 4.3 视频监管子系统结构及实现策略 (32) 4.4 本章小结 . (40) 5 HUSTRIM 视频监管子系统的实验及其结果分析视频监管子系统的实验及其结果分析 5.1 实验环境与过程 (41) 5.2 结果分析比较 (42) 5.3 本章小
14、结 . (45) 6 总结与展望总结与展望 6.1 全文总结 . (46) 6.2 展望 . (46) 致致 谢谢 (48) 参考文献参考文献 (49) 1 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 1 绪论绪论 1.1 广电广电内容监管内容监管的的研究背景研究背景 在三网融合的条件下,电台、电视台的内容,需要重新聚合。广播电视和互联 网内容的融合,势在必行,并逐步形成以“中央厨房+自助餐”和“广电+互联网”融合 的新的内容产业结构。整个内容产业,将呈现一种前所未有的新局面。 在三网融合之后,一个全新的综合业务平台将被建立,原先散乱的业务平台将 会得到整合,在此基
15、础上全新的业务种类也会应运而生。同时,更大更统一的业务 平台面对的安全问题也会异常严峻。原先互联网、广电网和电信网上各个业务平台 防范的各类攻击会被集中到一起,一旦这个统一平台无法抵御攻击,危害范围将会 更广。 融合后的网络一方面能够将多种业务进行整合,使得用户能够仅通过一个综合 门户享受到这些内容服务,并且操作难度和复杂度都有所降低;另一方面,用户只 需要支付统一平台的使用费用就可以接触到所有内容,购买成本和业务使用门槛极 大地降低而网络透明度反而更高。更加新颖的增值业务如视频电话、网络游戏、在 线电影、娱乐互动等都能够在这个统一的平台顺利得到整合,同时原有的电视剧、 新闻以及各种数据服务也
16、能够得到很好的播放保证。在这个基础之上,电信运营商 和广播电视运营商都能够有效地解决盈利模式匮乏的问题,他们的业务能够更精细 地运营,基础建设投资也会大大减少。 三网融合后,广大消费者的文化生活会越来越丰富,因为网络视频、视听等融 合业务在这个统一的平台会获得更快的发展。但是网络安全问题将会受到前所未有 的挑战。 三网融合之后,随着网络视频流量的急剧增加,各种不良以及违法信息的传播 范围将会扩散到整个网络,多样化的传播途径和渠道会加速色情、暴力以及危害国 家安全的信息传播,造成的不良社会影响会越来越大。因此,网络上的视频、图片、 文字、语音等内容必须符合国家法律法规的要求,保证内容安全就是以此
17、标准来保 2 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 证业务内容的合法性1。现阶段,IPTV、互联网视频、移动流媒体等建立在广电和 电信业务互相开放基础上的新业务还未发展成熟,但是它们已经开始面向用户,这 些业务的安全运营需要得到保障。一方面,为了维护消费者的权益,这些业务的运 营和计费安全问题必须得到保障;另一方面,硬件设备故障、软件运行故障和黑客 攻击等可能造成业务无法正常播放,这会影响到业务播放的连续性,必须防范此类 情况发生。电信网络和广电网络的开放性不断增加,原先相对封闭的局面已经被打 破。电信网络和广电网络将要面对原先在互联网中普遍存在的黑客、病毒、
18、木马等 带来的危害,这是网络开放必须面对的一个问题。网络安全将会遭遇严峻的挑战, 针对支撑以及业务系统的攻击将会大量增加,各种垃圾流量充斥网络,蠕虫病毒全 面爆发,分布式拒绝服务攻击频繁发生。在开放环境下,原先能够隐藏在相对封闭 的传统广电网络中的安全漏洞将无处藏身。与此同时,黑客的攻击方式和攻击范围 将会扩大,病毒的传染范围和途径也会增加。在三网融合的大背景下,针对整个三 网融合网络的安全威胁会不断出现,因为它将以往单一网络的安全威胁集中在了一 起。 因此,为了实现网络信息安全,促进网络视频、视听等融合业务的快速发展, 三网融合安全要从内容、业务、网络和终端多个方面来考虑2,本文主要从内容方
19、面 考虑如何保障网络信息安全。 随着三网融合技术的发展,内容监管要为实现全网内容的可管可控提供保障, 成为内容可管、可控、可运营的重要防护墙,通过多层次的内容和业务的审核、监 管和安全管理,实现安全可靠的三网融合的内容播放。 1.2 广电广电内容监管内容监管研究研究的的目的与意义目的与意义 随着网络视频流量的急剧增加,各种不良以及违法信息的传播范围将会扩散到 整个网络,多样化的传播途径和渠道会加速色情、暴力以及危害国家安全的信息传 播,造成的不良社会影响会越来越大。因此,网络上的视频、图片、文字、语音等 内容必须符合国家法律法规的要求,保证内容安全就是以此标准来保证业务内容的 合法性。现阶段,
20、IPTV、互联网视频、移动流媒体等建立在广电和电信业务互相开 3 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 放基础上的新业务还未发展成熟,但是它们已经开始面向用户,这些业务的安全运 营需要得到保障。 传统的视频监管是通过人工审核并输入视频的各种属性,建立视频的元数据库 来支持查询。这种视频监管方法目前依然具有很强的活力。但是,这种人工审核并 添加标注并基于文本检索的视频监管方法缺点越来越明显,因为网络视频流量随着 现代视频技术的发展急剧增加,数据库容量也在不断增大。其第一个缺点是在三网 融合下,人工对大型多媒体信息库中的视频添加标注需要耗费大量人力。第二个缺 点是
21、人工标注描述能力有限,难以表达蕴含在视频数据中丰富的内容特征。第三个 缺点就是对于实时广播流媒体的处理,手工标注基本不能满足实时处理要求,必须 借助计算机进行实时内容分析。为了弥补基于文本的视频监管方式的不足,将视频 中所包含的内容特征提取出来供视频监管所用,这就是基于内容的视频监管。 视频是非结构化的流数据,它的基本组成单位是帧,视频流是具有时序关系的 帧的集合。为了对视频内容进行高效分析达到监管目的,需要利用关键帧作为基本 访问单元来进行视频内容分析。 关键帧是视频中最有代表性的一幅或多幅图像。关键帧提取就是研究如何用最 少的关键帧来反映视频的主要内容,是实现视频内容监管的关键点。在关键帧
22、提取 之前需要进行镜头边界检测,将视频分解为一系列镜头。一个镜头是指摄像机在时 间、空间上连续拍摄的一组图像帧序列,每个镜头表达相对独立的视觉内容。镜头 分割完成后,从每个镜头中提取关键帧,从而将对视频片段的内容分析转化为对视 频关键帧的内容分析3。 因此可通过计算机自动分析关键帧所代表的视频内容达到监管需求,目前对关 键帧内容的理解主要是依靠关键帧的某些底层特征(如颜色、纹理、形状和运动模 式等) 。为了达到视频内容监管的目标,需要对大量视频内容进行分析,研究实验数 据以确定某些不良特征(如血腥、色情等) 。 基于内容的视频监管方法具有广阔的应用前景。对于广播电视媒体来说,监管 海量多媒体数
23、据是一件相当耗时耗力的事情,建立一个具有较强能力的多媒体监管 系统是非常必要的。 因此, 我们自主研发了 HUSTRIM (Huazhong University of Science 4 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 and Technology, Software college, Television and Radio Information Management)系统 来实现多媒体内容监管,其中视频监管子系统用来对视频内容进行监管。 1.3 国内外研究国内外研究概况概况 HUSTRIM 系统中的视频监管子系统建立在有效进行基于内容的视频检索基
24、础 之上。基于内容的视频检索是视频信息有效利用、共享的前提与基础,在许多国家 被列为 21 世纪重点研究的关键信息技术之一。 从 20 世纪 90 年代开始,越来越多的高校、科研机构以及公司开始致力于多媒 体信息检索的研究,基于内容的视频检索在学术研究和商业应用方面也已经取得了 一定的成果。很多大学或研究所等研究机构已经开发了许多原型系统,国际上比较 著名的有哥伦比亚大学的 Visual SEEK/Web SEEK、VideoQ,伊利诺伊大学的 Mars, 卡内基梅隆大学的 Informedia 系统等,国内有浙江大学的 Webscope-CBVR,清华大 学的 TVFind 等。在商业应用方
25、面,基于内容的视频检索也被业界广泛认同,许多商 用系统已经投入应用,如 IBM 公司的 QBIC,CueVideo 系统,Virage 公司的 Virage 系统,Excalibur 公司的 Exealibur 系统等。但是,基于内容的视频检索离真正的实用 化还有很远的距离,仍然存在许多技术问题需要解决。目前,一些大型搜索引擎如 Google、Yahoo、百度等都尚未实现真正支持基于内容的视频搜索4。 基于内容的视频检索系统包括视频结构分析、语义标注和检索三个主要部分。 首先通过镜头检测,将视频序列分割成一个个镜头,并从镜头中提取具有代表性的 关键帧,然后提取关键帧的各种底层特征,最后根据底层
26、特征进行内容分析5。 人类思维中的语义概念是对某个事物形成抽象、主观的印象。人类对于视频内容 的理解也是建立在人思维中的语义概念之上的。目前,有很多学者在研究如何对视频 内容进行语义分析,也仍然有很多学者在研究基于底层特征的视频内容分析方法。由 于视频语义特征提取相关研究还不能够有效地运用于实际应用,所以,下面主要介绍 基于底层特征的视频内容分析的研究现状。首先介绍视频镜头分割方法,其中包括基 于非压缩域的镜头分割和基于压缩域的镜头分割;然后介绍镜头关键帧提取方法;最 后介绍了视频特征提取方法,其中包括文本特征、音频特征和运动特征。 5 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位
27、位 论论 文文 1)视频镜头分割方法 为了有效地进行视频内容分析与检索,需要将视频分割成合适的视频单元,视 频分割之后的单个镜头能够相对完整地表达其语义内容。 镜头被许多基于内容的视频检索算法作为基本单位,可以根据镜头的变化速度 来将镜头切换方法分类。切变(CUT)和渐变(Gradual Transition,GT) ,即镜头突 然转变或者逐渐改变。 根据切换过程采用的编辑手段, 渐变又可以分为淡入和淡出 (Fade Out/In, FOI) 、 融入融出(Dissolve) 、划入划出(Wipe)等。目前切边检测效果比较好,而渐变检 测较难,其检测准确度还有待提高6。 经过多年的研究,许多优
28、秀的基于非压缩域的镜头分割算法被提出。下面简要 介绍几种常见的基于非压缩域的镜头检测方法: (1)像素法:该方法是将相邻两帧图像对应像素差的绝对值之和作为帧间差, 当帧间差大于某个预先设定的阈值时,则认为镜头发生了改变。视频中两帧图像之 间变化最直接的反映就是灰度/颜色的变化7。 (2)统计量法:该方法的原理是利用像素的统计特征,由于其运算复杂性高, 所以大多是与其他算法相结合使用,很少单独使用8。它的优势是对噪声的影响不太 敏感。它的缺点是,当镜头中存在高速移动的物体时,容易产生误检。 (3)直方图法:该方法通过求相邻图像帧的直方图差值进行镜头边界检测9。 它的优势是对于物体运动的影响不太敏
29、感,因此成为视频分析和图像处理很常用的 方法。其中直方图包括颜色、灰度等的直方图。 (4)边缘变化率法:该方法计算图像边界变化程度,根据变化大小来确定镜头 边界。该方法对突变镜头有较好的检测效果。边缘是物体识别的重要部分,目前已 有一些基于边缘的方法 10。 2)镜头关键帧提取方法 为了有效分析镜头内容,需要从镜头中提取关键帧。镜头复杂程度不同,提取 的关键帧数量也不同。关键帧的提取原则是提取内容较丰富的一个或多个图像帧, 它们之间的语义内容要尽量不同。通过关键帧的使用,视频检索中索引的数据量大 6 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 大降低。同时也为检索视
30、频提供了一个组织框架,从关键帧中可以提取颜色、纹理 和形状特征,以作为视频摘要和数据库索引的数据源11。 当前已经有很多学者提出了多种自动提取关键帧的方法,下面介绍几种常用关 键帧提取算法: (1)基于镜头边界的关键帧提取算法:该方法的实现过程就是对视频镜头的首 位帧或者中间帧进行采样。它的实现需要建立在有效的视频分割基础之上。有的情 况下将镜头的首尾帧和中间帧都选作为关键帧或者以固定周期进行采样,它的缺陷 是提取出的关键帧难以全面地反映镜头内容12。 (2)基于运动分析的关键帧提取算法:该方法需要逐帧计算图像光流,然后计 算光流的运动度量,将运动度量结合时间轴形成一个时间函数,将运动度量极小
31、值 处的帧作为关键帧 13。 (3)基于图像内容的关键帧提取算法:该方法首先需要提取镜头中每一帧图像 的底层特征,然后计算相邻帧之间的特征差值绝对值,如果差值大于某个阈值,则 认为该图像是关键帧 14。常用的特征量主要有颜色直方图、累积直方图、交叉直方 图、互信息量等。 (4)基于视频聚类的关键帧提取算法:该算法主要是利用特定相似度度量将数 据对象进行分组,使得类似的对象组成多个类,每个类中数据对象彼此相似,类与 类之间的数据对象互异,从各个互异类中挑选图像帧作为关键帧15。 3)视频特征提取方法 有效提取视频特征是对内容进行分析的基础。前面介绍了关键帧的提取,这里 介绍视频中文本、音频以及时
32、序特征的提取。 文本特征提取:视频中一般总是伴随着人说话的声音,我们称这种声音为语音。 利用自动语音识别技术(Automatic Speech Recognition,ASR) ,可以将语音转换为 文本信息16。还可以利用视频中的文字识别技术(Video OCR)检测与识别得到的文 本信息17。视频文本特征对视频内容有很强的描述作用,因而对视频的高层语义分 析具有很重要的价值。 音频特征提取:音频信息是视频信息表达的重要部分,把视频中的音频提取出 来,进行各种声音特征的提取,则构成了视频的音频特征18。视频中的音频特征的 7 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文
33、文 充分利用可以有效地提高视频检索的准确率。并且,所选取的的特征应该能够充分 地表示音频频域和时域的重要特性,并对环境具有一定的鲁棒性和一致性。 时序特征提取:视频是随着时间不短变化的图像帧组成,这些图像帧的时序性 是它具有的重要的特性,是视频区别于静态图像的地方。它的语义内容是直观可见 的,反映到计算机中就是不断变化的底层特征如颜色、纹理、形状等,我们需要将 这些特征数值化19。 1.4 论文的主要研究内容论文的主要研究内容 广电视频内容监管需要为实现全网内容的可管可控提供保障,因此,内容监管 系统要能够有效对视频内容进行特征分析。为了对视频内容进行高效分析,需要综 合利用视频的时序特征、关
34、键帧特征、音频特征以及其中包含的文字特征。本文主 要研究三网融合下广电视频内容的分解与特征提取关键技术,研究如何提取视频特 征以供内容分析之用。 其余各章的主要内容分别如下: 第二章 广电内容监管系统 HUSTRIM 的总体设计。从宏观上阐述我们自主研发 的一个 TV 与广播内容监管系统 HUSTRIM(Huazhong University of Science and Technology, Software college, Television and Radio Information Management)的总体目 标、功能,重点研究项目的总体架构,清晰的阐述系统的工作流程,各模块
35、的架构 设计,及在系统设计与实现中采用的关键技术。 第三章 HUSTRIM 中视频内容监管子系统研究关键点。详细说明视频内容监管 子系统研究的关键点,其中包括视频时序特征提取与匹配、视频镜头分割以及视频 关键帧提取三部分。 第四章 HUSTRIM 中视频监管子系统设计与实现。阐述视频监管子系统设计的 目标、功能、以及实现策略,最后介绍系统开发的软硬件环境及开发工具。 第五章 HUSTRIM 中视频监管子系统实验结果及分析。对视频监管子系统进行 测试,并对实验结果进行分析。 第六章 总结与展望。总结所做的主要工作,并对下一步工作进行的展望。 8 华华 中中 科科 技技 大大 学学 硕硕 士士 学
36、学 位位 论论 文文 2 系统系统 HUSTRIM 的的总体设计总体设计 本章以三网融合作为背景,基于我们自主研发的广电内容监管系统 HUSTRIM 分析其系统需求、系统目标,详细地阐述 HUSTRIM 系统的总体目标、功能。在明 确系统目标及功能以后,清晰的阐述系统的工作流程,并详细阐述项目的总体架构。 针对系统工作的具体流程和监管对象的不同(文本、音频、图像、视频等) ,明确各 模块的架构设计。最后将各模块进行细分,详细阐述内容监控分系统中视频监管子 系统设计与实现中采用的关键技术。 2.1 HUSTRIM 的的系统目标系统目标 HUSTRIM 系统需要从媒体内容的源头监控至用户终端。首先
37、把关内容的来源, 在将内容提供给用户之前进行审核,从源头上杜绝不良内容的传播;其次,在内容 播放过程中进行事中监控,防止内容在传输或者播放过程中遭到篡改;最后,对发 生的非法状况进行事后处理。下面详细说明 HUSTRIM 的系统目的及系统目标。 广电内容监控的目的是:在内容播放或传递期间,对各种介质(文本、图像、声 音、视频)内容,按相关的规则,基于辅助工具和支撑设施,采用一定的策略进行 实时监控,以及时发现可疑的或确定不合格的播出内容,并作出相应的决策和处理。 广电内容监控的主要目标是:保证节目源的合法性,确保内容的安全可用、真实 有效;确保所有内容的接入合法,防止业务的非法接入方式,同时在
38、网络中部署攻 击检测、流量控制、访问控制等安全防护手段来保护网络和设备不受攻击;确保各 种操作合法性,并记录下相关行为操作。此外,通过制定应急预案来应对安全事件 发生后的应急处置工作。 其中,保证节目源的合法性、确保内容安全可用和真实有效是本系统的核心和 主体设计目标,其具体任务是:实时智能地检查用户对内容的使用权限;实时智能 地识别播放内容的类型,并启动相应的监管机制进行监管;实时智能地检测、识别 数字水印等加密技术,以判别内容的真伪;实时智能地探测(提取)播放内容的相 9 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 关信息,并进行质量和可用性(如合格、不良、反动
39、等)的监控分析、识别;对已 确定不合格的内容及时采取相应措施进行处理,如完全阻断、过滤、修补及报警等; 对已发生的情况进行事后追溯,即对已发现或已举报的可疑或不合格的播出内容进 行事后的分级处理,包括建立黑名单,或采取禁入措施等;根据日志查找监管漏洞, 修改监控规则,从而提高监控的能力。 2.2 HUSTRIM 的的系统功能系统功能 三网融合之后,广播电视网络的业务内容会越来越多样化,不良内容的传播方 式也会多样化, 对内容进行监管刻不容缓。 HUSTRIM 需要能够对文本、 图像、 声音、 视频等各种媒体内容进行监督和管理。 HUSTRIM 系统监控内容的种类包括文本、图像、声音、视频等各种
40、广播电视内 容,该系统能够针对各种内容进行底层特征提取与分析。 HUSTRIM系统内容监控的范围主要包括以下几点:内容的真伪审查监控经 过以及未经审批的内容,其中未经审批的内容包括插播、替换、修改的内容。内 容的良莠审查监控良好以及不良内容,其中不良内容是指在政治、思想、道德、 伦理、行为等方面存在不规范或不良表现的内容。内容的篡改审查监控正常以 及遭到篡改的内容,其中内容被篡改可能有几种原因:因系统的潜在故障或来自网 络的干扰;非恶意的行为所造成的伤害;人为的恶意攻击所造成的破坏。 HUSTRIM系统内容监控的主要功能包括以下几点: (1) 内容的数据模型建立, 包括内容的“元数据” (Me
41、tadata) 描述和“媒体数据” (Mediadata)表示;其中元数据包括内容名称、作者、日期以及审核过程中对内容 添加的标注等,媒体数据包括音频、视频等非结构化数据。 (2) 通过 UI 访问控制,数据访问控制;User Interface 即用户接口。通过设置 用户权限,限制不同用户对于数据的操纵能力,维护系统安全。 (3) 及时获取有关内容安全信息的数据;能够及时有效地检测出媒体内容的安 全级别,并与事先规定的审核规则进行匹配,判定其是否符合相关播放要求。 (4) 有效查询、存取和维护所存储的数据;能够及时有效地查询及存储媒体内 10 华华 中中 科科 技技 大大 学学 硕硕 士士
42、学学 位位 论论 文文 容提供商提供的内容,以及HUSTRIM系统在进行内容特征提取与分析时产生的特征 文件。 (5) 有关数据的整理、分类、相关特征分析;能够对媒体内容进行有效分类, 并根据不同的媒体类别运用不同的特征提取方法,提取出媒体内容的特征以便对其 进行分析及审核。 (6) 对内容的真伪、良莠、完损作出判断,并及时采取相应措施(必要时), 如过滤、或阻止违规内容的播出(停播、替换),阻断相应CP/SP的服务;向安全保 卫系统报警、通知数字版权系统进行相应处罚、记入“黑名单”等;对播出的可疑内 容,则交由“事后监管子系统”处理,内容的播出暂不受影响; (7) 实时地与相关部分交互与通信
43、,主要是:业务管控系统、事前监控系统、 事后监控系统、数字版权系统、安全系统、统一内容管理系统、广告系统、统一客 服系统。 2.3 HUSTRIM 系统系统结构结构 HUSTRIM 需要从媒体内容的源头监控至用户终端。首先把关内容的来源,在将 内容提供给用户之前进行审核,从源头上杜绝不良内容的传播;其次,在内容播放 过程中进行事中监控,防止内容在传输或者播放过程中遭到篡改;最后,对发生的 非法状况进行事后处理。下面详细说明 HUSTRIM 的系统工作流程及系统架构。 2.3.1 HUSTRIM 系统工作流程系统工作流程 广电内容监控处理流程包括:事前审查(Before-Monitoring)
44、;事中服务质量监 控(QoS Monitoring)和可用性监控(Availability Monitoring) ;事后处理,包括违例 事件处理及其结论记载(Exception Handling、Recording Results)等。 系统总体流程如图 2-1 所示,图中各模块详细说明如下: 防伪处理(Anti-counterfeiting) :给经过人工审查的流媒体内容施加防伪技术, 如加水印(Watermarking) 。 质量监控(QoS Monitoring) :检测内容的完整性及防伪处理(如水印)后的清 晰度等,确定是否符合质量要求。 11 华华 中中 科科 技技 大大 学学 硕
45、硕 士士 学学 位位 论论 文文 可用性监控(Availability Monitoring) :检测播放内容是否违规(是否包含色情、 暴力、政治反动等违反国家规定的内容) 。 结果记录(Recording Results) :用来记录内容是否符合质量要求。 异常处理(Exception Handling) :用来处理违规的内容。 图 2-1 系统总体流程图 2.3.2 系统架构系统架构 TV 广播内容监控系统架构主要包括防伪处理(Anti-counterfeiting Processor) 、 质量监控(QoS Monitor)和内容监控(Content Monitor)三部分,同时与整体的
46、视 频流服务、安全保护、版权处理等部分紧密联系,其总体结构如图 2-2 所示。 图 2-2 中各模块定义说明如下: (1)防伪处理程序(Anti-counterfeiting Processor) :给从内容提供商处获取的媒 体内容加水印(Watermarking)等防伪处理。 (2)质量监控子系统(QoS Monitor) :检测加水印等安全保护处理后的内容的 文章性、清晰度等是否符合质量要求。 (3)内容监控子系统(Content Monitor) :检测播放内容是否违规,是否包含色 事中监控 事后处理 事前审查 内容采集 压缩处理 流媒体文件 防伪处理 网络服务 攻击 结果记录 异常处理
47、 质量监控 可用性监控 媒体库 12 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 情、暴力、政治反动等违反国家规定的内容。 (4)视频流服务器(Video Server) :提供内容数据流的服务器。 (5)安保系统(Security Subsystem) :保证整个系统安全的保卫系统。 (6)数字版权子系统(Copyright Subsystem) :用来提供内容版权相关信息。 如果仅就内容监控而言, 上述 4-6 可以看作是系统已有的支撑, 即不必重新开发。 图 2-2 系统体系架构 2.3.3 系统功能结构系统功能结构 HUSTRIM 系统的核心功能是防伪处理、
48、质量监控分系统和内容监控子系统。下 面详细说明各分系统的系统结构。 1)防伪处理程序 防伪处理负责给媒体内容添加相应的防伪标签,如图像水印、视频水印等。通 过审核可以提供给最终用户的媒体必须通过防伪处理,这样在事中审核时可以通过 检测防伪标签来识别该诶提内容是否合法。 其功能结构如图 2-3 所示,其中各模块定义如下: (1)流媒体接收(Receiving Video Stream) :接收媒体流数据。 (2)流媒体解码(Decoding Video Stream) :解码重组媒体流数据。 媒体库 网络服务 媒体服务器 安保系统 数字版权系统 防伪处理 质量监控 内容监控 13 华华 中中 科
49、科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 (3)流媒体分析(Video Stream Analysis) :检测要播放的内容是否违规(是否 包含色情、暴力、政治反动等违反国家规定的内容) 。 (4)水印植入(Watermark Embedding) :对相关内容加入水印。 (5)水印媒体流输出(Watermarked Stream Output) :将已加水印的媒体流发送 至流服务器。 图 2-3 防伪处理程序 2)质量监控分系统 质量监控分系统负责监控媒体质量。它能够探测正在播放的媒体内容质量,检 测媒体清晰度、完整性,发现该内容是否被篡改、媒体质量是否达标等。如果质量 不达标则将该媒体内容交给时候处理模块处理。 质量监控系统结构如图 2-4 所示,其中各模块定义如下: (1)流媒体接收(Receiving Video Stream) :接收媒体流数据。 (2)流媒体解码和播放(Decoding Stream & Playing) :解码重组媒体流数据并 进行播放,以便有人工进行参与。 (3)流媒体质量分析(Video QoS Analysis) :检测播放内容完整性、清晰度等, 确定是否符合质量要求
链接地址:https://www.31doc.com/p-5118786.html