SANGFOR_AC&SG_3.2新产品培训.ppt
SANGFOR,AC 3.2&SG3.2 新产品培训,目录,一、3.2具体解决了哪些问题 二、日志审计 三、日志同步 四、中间表 五、日志精简 六、升级及注意事项 七、FAQ,1.数据库插入速度慢。 在带宽较大（大于240Mb）的情况下，产生日志的速度大于数据库插入的速度，产生漏审计。 2.数据恢复机制差。 在数据库异常崩溃后，会丢失全部历史日志。 3.同步与统计数据慢。 3.2之前版本日志量大(A表日志超过2000万条，附件数超过25万)的时候，日志同步速度慢或异常停止，3.2版本支持A表6000万条日志同步。 4.审计冗余日志过多。 冗余日志太多，导致审计性能下降。 5.数据库收缩。 解决数据库表删除后，数据库占用硬件空间大小没有释放的问题。,一、3.2具体解决了哪些问题,二、日志审计,3.2之前版本日志审计,3.2以前的版本由aclog直接写内置 mysql数据库，通过insert命令逐条插入数据库的，如图，日志写入速度及同步速度比较慢。,1、对比之前版本,3.2版本日志审计,AC3.2版本Aclog改变日志逐条地插入到数据库中的机制，而是生成日志文件（sync_file和load_file），再由日志导入模块（Loader）负责将日志批量导入到数据库中。解决以往版本由aclog直接将日志逐条插入数据库的效率低问题。,1、对比之前版本（续）,aclog将日志写到两个文件中：sync_file和load_file。sync_file是5分钟写一个文件，load_file间隔时间比较短（5s）。 sync_file主要功能是：向外置数据中心同步数据或者恢复内置mysql。它里面保存的日志和内置mysql相同。 load_file主要功能是：日志中转，实现批量向内置的mysql插入数据，而且它里面的日志在被loader导入完成后自动删除。,1、对比之前版本（续）,在客户日志量很大的情况下，为了提高AC数据同步性能，AC可以启用高性能模式，在高性模式下，aclog只会写sync_file下的文件，不会写load_file的文件，所以内置数据中心无日志记录，只进行外置数据日志同步。启用高性能模式如下图。,2、高性能模式,2、高性能模式（续）,AC3.2版本采用日志批量导入数据库及日志损坏自动修复机制，分别由load和recover程序实现。解决了日志写入慢及日志库损坏无法修复的问题，loader和recover同样适用于外置数据中心。如上图,3、日志导入及恢复机制,3.1.Loader通过检测是否存在load_file文件（5S），如果存在则将load_file里面的日志导入数据库。 3.2.Loader向MYSQL导入数据，正常结导入成功后，把load_file文件进行删除。 3.3.如果Loader导入表失败并且自行修复表，则调用Recover进行修复。 3.4.Revocer从sync_file中，把导入失败的表，进行重新还原导入。导入成功则返回给Loader。 3.5.如果导入不成功，偿试三次都失败。则回复相应的错误给Loader，并且交还控制权给Loader。,3、日志导入及恢复机制（续）,AC3.2版本数据中心采用myisam数据库存储引擎，AC3.2之前版本采用innodb数据库存储引擎，innodb存储引擎存在以下两个问题： 无法释放数据库空间 某天或某几天的表损坏，可能导致整个数据库损坏，从而导致整个日志丢失。 Myisam存储引擎有效地解决了上述两个问题,4、数据库存储引擎myisam,Myisam存储引擎特点是每天的每种表都是单独存储的，好处是某个表损坏了，还可以再重新load一次修复。这种方式的数据库会有很多文件，比如20101130的A表就会产生三个文件：A20101130.frm（结构表）、A20101130.MYI（索引表）、A20101130.MYD（日志表）。,4、数据库存储引擎myisam(续),5.1、3.2日志审计不再由aclog直接写数据库。改成aclog直接把日志写到sync_file和load_file两个文件中。每隔一段时间，一次性导入一批日志记录，从而极大提高了效率。 5.2、sync_file文件存在硬盘上，用于同步到外置数据中心和内置数据库恢复使用，每五分钟生成一个文件。Load_file用于导入到内置数据库中，导入成功后便删除，每5s左右导入一次。 5.3、Sync_file与内置数据中心存放着相同的日志，所以产生一个问题，磁盘使用率降低一半。 5.4、支持某一天的日志表坏了，可以直接从日志文件(sync_file)中恢复。只支持恢复当天的，暂时不支持内置数据库完全挂掉后，全盘恢复。但是可以使用外置数据中心，把日志文件中的日志导出。 5.5、启用高性能模式的时候，aclog只写sync_file文件，内置数据中心无日志。 5.6、MYSQL改myisam为存储引擎，解决数据库收缩问题。,5、日志审计总结,三、日志同步,3.2之前 版本日志同步采用每条日志同步及每条日志写入外置数据中心mysql的方式 缺点：同步速度慢，每天同步的日志大概2000w条左右，日志量比较大的客户，经常出现日志同步速度跟不上日志产生速度，同步滞后。 3.2版本数据采用新的同步机制，内置数据中心每隔5分钟生成一个日志文件，日志同步时，直接将日志文件同步到外置数据中心，然后由我们的load程序批量load到数据库。 优点：大大提高 了同步效率，高端设备一天支持6000w的日志同步，解决了同步速度慢的问题。,1、对比之前版本,上图为日志同步的整体过程， 同步过程中涉及三种表，配置表，日志表和附件 ，同步的先后顺序为：配置表日志表附件,2、日志同步整体流程,这里所说的配置表，指的是用户表，组织架构表及应用表等，如左图。,2.1、配置表同步,2.1、配置表同步（续）,配置表的同步由同步客户端程序datasync将配置表同步至外置数据中心，然后由外置数据中心服务端程序调 用load导入器，将配置表导入至mysql，完成配置表同步。每次启动同步都会进行配置表的同步，同步前先检验各配置表的md5值，如果md5不一样，则认为配置表发生改变，需要进行同步。,2.1、配置表同步（续）,2.2、日志表同步,日志表指的是用户上网产生的真实日志，包括 A ，U， P， M， C， O， I， S， F， Q， T这些表。 日志表的同步过程如下：,2.2、日志表同步（续）,.aclog把实时日志写进日志文件sync_file下，如下图：,日志文件的命名规则如下: 例20101130_1515_5F86F7A5_Q.dat，20101130为日期，1515为时间，5F86F7A5网关序号，Q表的命名，从图中可以看出日志文件是每隔5分钟生成一次,2.2、日志表同步（续）,.同步客户端直接从日志文件sync_file中读取日志文件并同步至外置数据中心，同步顺序为：A -U- P- M- C- O- I- S- F- Q- T .外置数据同时调用load导入器将已同步过来的日志表导入至数据库。外置数据中心日志表同步如下图：,2.3、附件同步,完成当前5分钟日志表的同步后，需要进行当前5分钟附件的同步，直接由同步器将当前5分钟内的附件打包，同步至外置数据中心进行解包，便完成该5分钟附件的同步。外置数据中心附件同步日志如下图：,附件在内置数据中心打包成20101209_1530_5F86F7A5_X.dat这种形式进行同步。,外置数据中心同样具有load和recover机制，原理和内置数据中心一样，差别的是，内置数据中心load和recover一直在运行，而外置的load和recover只是在需要的时候才调用，如下图：,3、外置数据中心日志导入及恢复功能,3.1.Datacenter同步完成sync_file之后，会调用Loader.exe。 3.2.Loader.exe把sync_file文件中相关日志，导入到MYSQL数据库中。导入成功后，Loader.exe程序退出工作，等待下一次datacenter对其进行调用。 3.3.如果Loader在导入数据库表的时候出现错误，并且进行简单的repair还无法修复，则调用 Recover.exe进行修复 。 3.4.Recover.exe被调用起来后，把无法修复的表进行drop，drop完之后，再从sync_file里面，把对面的表进行恢复。如果成功，则把控制权交还给Loader，并退出。 3.5.如果Recover失败超过三次，刚返回给Loader相关错误信息，然后退出。,3、外置数据中心日志导入及恢复功能（续）,4、压缩算法,同步日志使用压缩算法： LZO和LZMA，默认是LZO，使用LZMA压缩算法可以在界面上配置，可以将压缩比率提高1倍，但是同步时间并不一定会会因为压缩比率增加而缩短，因为压缩也会占用较长的时间了。 注意：启用该算法有可能比不启用该算法更慢，因为压缩比较耗时，也在内网环境下不建议使用。在带宽不足的情况下，如通过vpn，多个分支向总部同步日志，可以启用。,5.1、内置到外置数据中心同步，每次传五分钟的sync_file内容和五分钟相关的附件。传输完成后，外置数据中心，立刻调用导入器(Loader)对日志文件进行导入。 5.2、同步日志的顺序为配置表-日志表-附件，其中日志表的同步顺序为， A -U- P- M- C- O- I- S- F- Q- T 5.3、LZMA算法，压缩比虽然提高 ，但是同步速度不一定提高。建议内网环境不启用，带宽不足时再启用。 5.4、内置数据中心Loader过的日志文件(load_file)会被删除，而外置数据中心Loader过的日志文件不会被删除。 5.5、Recover只能修复当天的数据库，无法修复整个数据库。 5.6、sync_file中的日志文件删除机制同数据库日志删除机制,5、日志同步总结,四、中间表,随着审计日志量的增加，数据中心查询、统计、生成报表等速度越来越慢，为了满足客户使用数据中心可以在短时间内响应并给出结果的需求，提出中间表的实现机制。中间表由后台程序midtable实现，将原始表中具有求和意义的字段（流量，时间，行为等）按组、用户、IP、应用类型及具体应用做二次统计，一定程度上提高查询、统计的页面响应。,1、为什么要引入中间表,3.0之前的中间表直接从数据库中读取日志，每半个小时作为一个时间段，生成中间表。中间表使用有限，如果要统计四个小时的流量，则需要查询8次中间表。 3.2版本较之前版本发生了变化，生成中间表的原始数据不是从数据库中读取，直接从sync_file下的文件中读取，另外也不仅仅是取半个小时内置的数据生成中间表，可以取半个小时，一个小时，4个小时内的数据生成相应的中间表，这样要统计四个小时内的流量，只需要查询一次中间表即可，提高了统计的速度,2、对比之前版本,3.2版本中间表程序会读取sync_file下的日志文件生成A、F、T、U四种原始表的中间表。不同类型日志的中间表有不同的时间段，如下，中间表一览：,3、中间表一览,中间表命名规则： 如： MidFGA1H20101026 其中Mid表示该表为中间表，F表示该表为流量表的中间表，GA分别表示“组”和“具体应用”，1H表示中间表为一张1小时的中间表，20101026表示中间表的生成时间。,结合前面的中间表一览，如果需要统计某个用户13：00至17：00这段时间的流量情况，需要查几次中间表？,3、中间表一览（续）,五、日志精简,其他应用：相同源IP、目标IP, 5min记一次 P2P：相同源IP, 5min记一次 游戏/炒股：相同源IP、具体应用, 10min记一次 拒绝日志：相同源IP、具体应用、域名, 10min记一次 PS：优化日志记录也做了一些小修改从原来的5S记录一次增加到30S一次。,1、日志精简方案,由于其它应用，p2p及拒绝类的较多，现采用了以下日志精简方案,2、日志精简设置,六、升级及注意事项,1、升级之前最好将之前的日志同步一下，否则升级后日志就不会同步了。 因为升级之后，同步文件只存在于sync_file文件里面，而老的数据依旧存在于mysql数据库里。所以如果升级前没有同步到外置数据中心的数据，将不再被同步。但是内置依旧可以查到相关的日志记录。 2、从低版本如3.0版本升级到3.2，必须使用update5.0版本升级客户端。并且要开启升级授权序列号，才能进行升级。使用update4.0无法进行升级，会报错。 3、删除日志时会将数据库和日志文件中的日志（sync_filek中的日志）会一起删除。 4、外置数据中心安装程序支持中文版本windows server 2000,windows server 2003,windows server 2008，只支持32位操作系统。,5、外置数据中心，附件保存可以选择加密或者不加密。 6、日志库大小统计：外置4小时统计一次，因为4小时调用一次自动删除，在删除后进行统计。,7、同步器状，双击同步连接，不再显示同步的日志数，而显示同步的的时间点。,8、外置数据中心日志，可以查看到，同步过来的日志文件和附件包。并且可以看到每次同步完后，调用loader进行数据导入。,9、同步帐号里面的定时同步设置，可以设置同步时间间隔。为每多少分钟同步一次。也就是，如果同步完成之后，经过多少时间之后，再进行一次数据同步。如下图。,七、FAQ,1、数据中心无法查询日志 检查审计策略是否启用，用户与策略关联是否正确 检查系统日志是否有关于审计，数据库方面的告警或错误日志 检查当前管理员是否有查询相关组的查询权限,2、数据中心日志无法同步,检查数据中心配置是否正确 检察设备系统日志和外置数据 中心日志是否有数据中心同步器，mysql方面的报错。 从设备上测试到外置数据中心810端口通信是否正常。 检查外置数据中心datacenter.exe和mysql运行是否正常,谢 谢！,
