基于大数据的网络安全信息可视化系统研究背景.pdf
《基于大数据的网络安全信息可视化系统研究背景.pdf》由会员分享,可在线阅读,更多相关《基于大数据的网络安全信息可视化系统研究背景.pdf(22页珍藏版)》请在三一文库上搜索。
1、基于大数据的网络安全信息可视化系统 V1.0 技术研究报告 北京邮电大学 目录 第一章基于大数据的网络安全信息可视化系统研究背景. 1 1.1 基于大数据的网络安全信息可视化系统研究背景及意义. 1 1.2 基于大数据的网络安全信息可视化技术现状. 3 1.2.1基于网络数据流量的网络安全可视化 3 1.2.2基于端口信息的网络安全可视化 3 1.2.3基于入侵检测技术的网络安全可视化 4 1.2.4基于防火墙事件的网络安全可视化 4 1.2.5其它 5 1.3 本章小结 . 5 第二章基于大数据的网络安全信息可视化系统概述. 6 2.1 基于大数据的网络安全信息可视化的基本形式. 6 2.2
2、 常用的八种数据可视化方法. 7 2.3 本章小结 . 12 第三章基于大数据的网络安全信息可视化系统关键技术. 12 3.1 用户接口与体验 12 3.2 图像闭塞性的降低 14 3.3 端口映射算法. 18 3.4 网络安全态势的评估与入侵分析 18 3.5 本章小结 . 20 1 基于大数据的网络安全信息可视化系统V1.0 第一章基于大数据的网络安全信息可视化系统研究背景 1.1 基于大数据的网络安全信息可视化系统研究背景及意义 随着网络的普及, 互联网上的各种应用得到了飞速发展,而诸多应用对网络 安全提出了更高的要求, 网络入侵给全球经济造成的损失也在逐年增长。然而目 前网络安全分析人
3、员只能依靠一些网络安全产品来分析大量的日志数据,从而分 析和处理异常。 但随着网络数据量的急剧增大,攻击类型和复杂度的提升, 这种 传统的分析方式已经不再有效。 如何帮助网络安全分析人员通过繁杂高维数据信 息快速分析网络状况已经成为网络安全领域一个十分重要且迫切的问题。网络安 全可视化技术就是在这种情况下产生的。它将海量高维数据以图形图像的方式表 现出来,通过在人与数据之间实现图像通信,使人们能观察到网络安全数据中隐 含的模式,能快速发现规律并发现潜在的安全威胁。 网络安全可视化的必要性 一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。 但是 随着网络连接的迅速扩展, 越来越多的
4、系统遭受到入侵攻击的威胁。而网络安全 产品是人们目前主要依赖的防入侵工具。网络分析人员在使用网络安全产品时, 通常通过监视和分析相应的网络日志信息,找出可疑的事件做进一步诊断, 最后 对确定的异常和攻击做出回应。 但是网络分析人员分析如下问题时,通常会遇到 如下困难: 1)认知负担过重。以入侵检测系统为例,部署与乔治亚州技术学院 的IDS传感器平均每天要产生 50000个报警,通过传统分析日志信息的方式分析人 员在一天有限的时间内很难对这些报警逐一做出详尽的分析和判断。2)交互性 不够。当发现可疑事件时, 现有的分析方式不能够提供相关数据过滤、事件细节 显示等功能以帮助分析人员做出进一步有效的
5、判断。3)缺乏对网络全局信息的 认识。分析人员看到的往往都是单一的数据记录,缺乏对网络整体信息的了解, 这使得他们很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。4) 不能提前防御、 预测攻击。 通过日志分析的方式很难发现一些新的攻击模式,也 很难对攻击的趋势做出预测或者提前进行防范。 因此,面对网络安全所面临的种种问题,必须寻求新的方法帮助安全分析人 员更快速有效地识别网络中的攻击和异常事件。一个实用的方法是, 将网络数据 以图形图像的方式表现出来, 利用人们的视觉功能处理这些大量的数据信息,即 将可视化技术引入到网络安全领域。可视化(也称数据可视化) 是一种计算和处 理的方法,他将
6、抽象的符号表示成具体的几何关系,使研究者能亲眼看见他们所 模拟和计算的结果, 使用户以图形图像的方式重新分析数据。将可视化技术引入 2 基于大数据的网络安全信息可视化系统V1.0 到网络安全领域是对现有网络安全研究分析方法的重大变革:1)可视化技术能 使人们更容易感知网络数据信息,且每次感知更多信息;2)可以快速识别数据 模式和数据差异、发现数据的异常值或错误;3)识别聚类,便于对网络入侵事 件进行分类; 4)能从中发现新的攻击模式,做到提前防御,对攻击趋势做出预 测,等。 网络安全可视化的概念及研究步骤 数据可视化( Data Visualization)包括科学计算可视化( Scienti
7、fic Visualization)和信息可视化( Information Visualization)。其中科学计算 可视化是指运用计算机图形学和图像处理技术,将科学计算、工程计算及测量工 程产生的数据转化为图形或图像,在屏幕上显示出来并进行交互处理的理论、方 法和技术。而信息可视化是用可交互的视觉表达方式来表现抽象的、非物理的数 据来增强对数据本质的认识。 信息可视化涉及到人类认知学、人机交互、 计算机 图形学、图像技术、数据挖掘、模式识别等多学科的理论和方法,是一个新兴的 研究领域。信息可视化不仅用图像来显示多维的非空间数据,使用户加深对数据 含义的理解。而且用形象直观的图像来指引检索过
8、程, 加快检索速度。信息可视 化目标是帮助人们增强认知能力,显示的对象主要是多维的标量数据,重点在于 设计和选择什么样的显示方式, 才能便于用户了解庞大的多维数据和他们相互之 间的关系。 网络安全可视化( Network Security Visualization)是信息可视化中的一 个新兴研究领域, 它利用人类视觉对模型和结构的获取能力,将抽象的网络和系 统数据以图形图像的方式展现出来, 帮助分析人员分析网络状况, 识别网络异常、 入侵, 预测网络安全事件发展趋势旧。它不仅能有效解决传统分析方法在处理海 量信息时面临的认知负担过重、缺乏对网络安全全局的认识、交互性不强、 不能 对网络安全事
9、件提前预测和防御等一系列问题, 而且通过在人与数据之间实现图 像通信 , 使人们能观察到网络安全数据中隐含的模式, 为揭示规律和发现潜在的 安全威胁提供有力的支持。 网络安全可视化要处理的往往是高维、无结构化的多 变量数据 , 同时这些数据具有规模大、 非数值型等特点 ; 在数据的关联关系上面临 着关系隐式化、时间依赖性强、类型多等困难; 在绘制方面也没有统一的显示模 型。早在1995年mchar A.Becker 就提出对网络数据 (网络流量状况 ) 而非其拓扑结 构进行信息可视化的概念。之后L.Gimrdin 和R.F.Erbacher 又分别研究了防火墙 日志、 IDs报警信息的可视化。
10、随着网络安全技术尤其是网络监控、杀毒软件、 防火墙和入侵检测系统的不断发展, 对网络安全可视化的需求也越来越迫切, 从 2004年开始 , 学术界和工业界每年召开一次网络安全可视化国际会议 (Visualization for Computer Security,VizSEC ),这标志着网络安全信息 可视化真正得到大家重视。 网络安全可视化的研究 , 首先是数据源的选取。网络安全可视化技术无论从 3 基于大数据的网络安全信息可视化系统V1.0 早期针对网络数据、入侵检测系统、主机日志的可视化, 还是到现在针对网络攻 击工具、 DNs 攻击、无线网络安全事件的可视化, 解决不同的问题 , 均需
11、要选择不 同的数据源。其次 , 可视化结构的选取。网络安全可视化技术的一个关键技术是 发现新颖的可视化结构来表示数据信息, 建立数据到可视化结构的映射。第三, 网络安全信息可视化的实时性、全局和局部信息(Context+Focus) 并发显示的设 计。目前诸多网络安全产品已有一定的实时功能, 但通常只能提供给人们普通的 日志信息 , 网络安全可视化通过对全局和局部信息的并发显示提供给人们更感兴 趣的信息。 第四, 网络安全可视化的人机交互设计阶段。网络安全可视化技术的 视图放缩、聚焦、关联数据显示、数据选择和回放、历史数据比较、与防火墙进 行联动响应等人机交互功能将使得网络安全产品更加易定制、
12、易操作。 1.2 基于大数据的网络安全信息可视化技术现状 1.2.1 基于网络数据流量的网络安全可视化 由于端口扫描、蠕虫扩散以及拒绝服务攻击等安全事件在流量方面具有明显 的一对一、一对多或多对一的特征, 因此此类攻击事件往往在流量方面出现明显 的异常 , 显示网络流量可以帮助网路安全分析人员快速发现网络攻击, 更好地防 范和抵御网络入侵事件。通常, 基于网络数据流量的网络安全可视化技术所使用 的网络数据包属性主要有源IP、目的lP、源端口、目的端口、协议和时间等。如 NVision 将网络数据通过分层方式予以显示, 可以检测出一个 B级网络内所有主机 的流量信息。VisFlowConnect
13、ion 采用平行轴坐标技术表现连接信息, 可以详细显 示某一个域内所有机器的详细流量, 也可以显示内部之间流量 , 这对检测来自内 部的攻击是非常有用的。单纯分析大量网络日志信息, 虽然能分析出针对某台主 机的扫描事件 , 但不能同时发现某一网段的扫描事件。PGVis3D 技术综合利用了 IP Matrix 的2D 和3D技术来表现网络内部和外部、 内部和内部之间的流量状况。 可以 同时显示出针对某台主机和某一网段的扫描事件。基于网络数据流量的网络安全 可视化技术在显示与流量相关的安全事件方面有较强优势, 但是显示数据信息较 多时, 线条易交叉重叠 , 这增加了分析人员的认知负担, 使得一些模
14、式的发现变得 困难。所以在使用该技术显示大规模数据时还应辅助其他方法, 如采用颜色映射 表示不同类型攻击事件等。 1.2.2 基于端口信息的网络安全可视化 在黑客实施网络攻击或者入侵之前通常先要进行信息收集,通过对目标主机 或者网络进行扫描确定目标主机系统是否在活动,确定哪些服务在运行 ,检测目标 操作系统类型 ,试图发现目标系统的漏洞。因此针对端口的扫描是众多攻击中最 4 基于大数据的网络安全信息可视化系统V1.0 普遍的一种。用基于网络数据流量的网络安全可视化方法可检测出某些特定类型 的端口扫描 ,但对于强动态性、强随机性和强隐蔽性的与端口有关的安全事件如 DDos、蠕虫病毒、木马等用此方
15、法效果并不好,并且从大量模糊信息中发现令人 感兴趣的网络安全信息本身也是比较困难的。因此,必须寻求新的方法能从模糊 信息中揭示核心的、隐蔽性强的、令人感兴趣的安全事件。通常,这类问题的数 据源只含有端口、时间等少量信息,要想高度概括这类信息所隐含的模式,必须在 显示数据信息本身的同时,辅助一些其他手段,如用多层次界面设计.全局和局部 信息的交互显示 ,颜色映射等。如 Portvis 就是采取多视图、利用全局和局部信息 交互方式供分析人员监测和识别网络中潜在的安全事件的一种网络安全可视化 技术。 Portvis 可以帮助分析人员识别出跟端口信息紧密相关的网络安全事件,如 端口扫描、特洛伊木马等。
16、上节所提及的NVisionIP 也是此方法的典型用例。但 是,基于端口信息的网络安全可视化技术由于受所使用数据源的限制,往往提供给 分析人员的重要信息有限,在发现感兴趣模式后仍无法获知如IP 地址、TCP 标志 位等重要细节信息。 如何通过有限的粗糙网络数据获取尽可能多的关键信息仍是 网络安全可视化领域待攻克的一个难点。 1.2.3 基于入侵检测技术的网络安全可视化 目前网络分析人员通常使用基于网络的入侵检测系统识别和抵御DDos攻击、 网络蠕虫及木马等网络攻击。 它实时地将当前网络数据包与已存储的已有的攻击 类型签名数据库信息对比,通过匹配与否决定是否产生报警。虽然入侵检测系统 存储了大量攻
17、击类型的签名信息,但若匹配规则选取不当很容易使得入侵检测系 统产生误报和漏报 ,并且 ,基于网络的入侵检测系统往往需要安全分析人员具有高 深的分析日志信息的能力和技巧。 因此,为降低网络分析人员的认知负担, 降低入 侵检测系统的误报和漏报率,将可视化技术应用于入侵检测系统。基于入侵检测 技术的网络安全可视化技术不仅能从单个日志信息中挖掘数据模式,并能从多个 不同的日志信息对比中发现一些隐藏的数据模式,这利于及时发现新型网络攻击 并提前做出防范。如SnortView 运用图元方法实时地对snort 报警信息进行分等 级显示 ,降低入侵检测系统的误报率。通过显示不同的日志信息表征整个局域网 内网络
18、状况 ,帮助人们提前分析复杂的可疑网络安全事件。虽然基于入侵检测技 术的网络安全可视化技术集合了散点图和颜色映射的优点,可以表现多维网络数 据信息 ,但在将多个属性变量映射成可视图元时缺乏规范和标准, 这容易导致绘 制结果差异较大 ,对分析攻击模式造成困难。 1.2.4 基于防火墙事件的网络安全可视化 在网络安全分析人员使用防火墙分析网络安全事件时, 通常需逐行分析复杂 5 基于大数据的网络安全信息可视化系统V1.0 众多的日志信息 ,如防火墙记录的内外通信发生的时间和进行的操作等。但由于 网络安全分析人员对每个日志信息的细节过于考虑而往往忽略整体所隐含的模 式,并且当发现并采取措施抵御这些攻
19、击时,网络入侵可能已经停止。因此应设计 一种实时处理和评定全局网络信息的基于防火墙事件的新网络安全研究方法。基 于防火墙的网络安全可视化技术就是在此需要下产生的。它通过运用多重视图实 时显示网络通信的特殊细节信息,通过聚类显示各细节间的相似与异同之处,而这 些视图信息又能一致地反映目前整个网络的运行状态。如 XX 采用散列图来显示 防火墙事件 ,用小方块表示主机 ,方块的颜色表示不同的协议类型。通过此方法用 户可观测出哪些进程刚被启动、哪些请求是可疑事件。文献27能很好地监控防 火墙的运作 ,无论对有经验的网络分析人员还是初学者均易上手操作。通常基于 防火墙事件的网络安全可视化技术适用于大规模
20、网络异构数据的显示,但由于 点、线重叠 ,使得关键信息易丢失、重要信息被隐藏、不易于理解。 1.2.5 其它 随着网络安全事件类型的增多,不同的网络安全可视化技术也随之涌现出来。 如 InSeon Yoo提出的自组织映射( Self-Organizing Maps技术) ,它利用计算机病 毒独特的特征信息帮助用户发现及抵御嵌入在可执行文件中的病毒信息;SIFT 研 究小组运用 Nessus的扫描结果作为数据源 ,设计出针对 Nessus扫描器的可视化分 析工具 NvisionNessus ;通过显示 DNs 相关查询信息 ,帮助分析潜在的 DNS 攻 击事件的 Flying Term 技术等。
21、目前国外已设计出了一些软件原型系统如NIVA、 Snortsnarg、 PortVis、SnortView、NVisionIP 、VisFlowConnection、 IDGraph、 VisualFirewall 等。国内虽然在网络安全的理论和工程实践方面都取得了很大进 展,但在网络安全可视化关键技术研究方面依然是空白。 1.3 本章小结 网络安全可视化的研究工作尚处于初级阶段,一些方法与理论正在形成之中, 构建完整实用的网络安全可视化系统还存在许多困难。面临的挑战主要是: 1、如何有效地实时显示处理大规模网络数据。网络中庞大的数据流量、数 据的实时预处理分析以及系统对交互设计的快速响应等都
22、对如何实时显示和处 理大规模网络数据提出了高要求。 2、如何集成自动报警和防御功能。从降低网络分析人员的认知负担考虑, 安全可视化工具应该具备自动识别网络异常并报警、当确认异常事件后能对其进 行防范抵御的能力。现有技术方法均不具备该功能。 3、如何用一整套理论指导网络安全可视化研究。由于网络安全信息可视化 缺少数学模型、可视化方法研究主观性强、难于进行有效验证和评估等,网络安 6 基于大数据的网络安全信息可视化系统V1.0 全信息可视化相关基础理论研究迫在眉睫。 可视化技术已经给很多学科的研究带来深远影响,随着上述理论和关键技术 问题的解决 ,网络安全可视化技术应用前景广阔。 第二章基于大数据
23、的网络安全信息可视化系统概述 2.1 基于大数据的网络安全信息可视化的基本形式 网络拓扑图可视化是信息可视化研究的一个方面,由点-线图来表达和分析网 络的。而在网管系统中可视化的网络拓扑更是必不可少的,因为点-线图展现了 网络拓扑结构的直观形态, 为路由分析、网络监控等方面提供了可视化展现方法。 大规模拓扑网络可视化是信息可视化在网络拓扑数据集上的具体应用,凡是信息 可视化中的方法都可以应用到拓扑的绘制当中。 通用类型的拓扑可视化工具一般能提供开放的数据接口,比如SNMP、 NwtFlow 或者 MRTG 等。这类拓扑显示工具可复用性较高,接口比较独立。网 络测量领域的著名研究组织CAIDA
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 网络安全 信息 可视化 系统 研究 背景
链接地址:https://www.31doc.com/p-4542589.html