预警发布数据精细服务系统(V3.0)项目建设要求.docx
《预警发布数据精细服务系统(V3.0)项目建设要求.docx》由会员分享,可在线阅读,更多相关《预警发布数据精细服务系统(V3.0)项目建设要求.docx(24页珍藏版)》请在三一文库上搜索。
1、预警发布数据精细服务系统(V3.0)项目建设要求1 .项目概况XX省智慧气象保障工程综合能力建设项目预警发布数据精细服务系统(V3.0)建设内容包括:预警发布数据集约能力分系统、“链上预警”数据区块链应用服务分系统、嵌入式应用公共组件服务分系统和预警发布评估与反馈服务分系统建设。项目建设目标是:(一)符合“数字气象”集约化业务发展方向,建成涵盖预警信息、传播渠道、现场信息、防灾减灾基础数据、科普宣教数据、前置数据、基础数据的规范化信息资源数据库及管理体系,提升多部门、多灾种、多源数据规划建设和数据集约管理能力。(二)符合XX预警发布数据全流程可溯源安全发展方向,建成预警信息发布全流程可追溯的区
2、块链应用管理,发挥“数字XX”区块链集约建设、个性化应用成效,增强预警发布数据安全性、不可抵赖性。(三)符合“预警信息发布要到村到户到人”的预警信息数据共享服务发展方向,建成适配多终端、多系统、多用户、多插件的“非专业性”嵌入式应用,提高预警信息再传播一站式服务水平。(四)符合预警发布快速、精准、高效、共享的预警精细服务发展方向,建成预警发布工作的数据精细服务能力评估与数字预警精准智能传播渠道时效性、覆盖面评估,并反馈完善各环节,强化预警发布系统用户服务、信息反馈、效果评估和传播数据分析能力。2 .技术和服务要求2.1. 预警发布数据集约能力分系统预警发布数据集约能力分系统建设是对预警信息数据
3、传播渠道数据、监控评估反馈数据、突发事件直报数据、部门用户共享交换数据、基础元数据进行统一规划、有效整合、分类存储,建立预警发布业务领域的信息资源管理体系,再通过循环式的数据采集、数据汇聚、数据处理、数据管理、数据交互、数据共享等引擎建设,提供预警数据多用户在线共享服务。预警发布数据集约能力分系统建设涵盖预警信息、传播渠道、现场信息、防灾减灾基础数据、科普宣教数据、前置数据、基础数据的规范化信息资源数据库及管理体系。建设内容包括:数字信息资源规划建设子系统和数据集约管理能力建设子系统。预警发布数据集约能力分系统部署在XX省政务外网云计算平台,供省市县三级部门单位使用。系统集成服务,实现本采购
4、建设内容集成到XX省突发事件预警信息发布系统中所承担的相关工作。2.1.1. 数字信息资源规划建设子系统数字信息资源规划建设子系统主要功能包括预警信息发布数据资源库、数据资源规划看板、数据资产登记模块、数据资源接入汇聚模块、数据治理模块、数据服务模块。2JJJ.预警信息发布数据资源库数字信息资源规划建设子系统建设门类齐全、标准统一、内容充实、安全可靠的预警信息发布数据资源库,包括信息资源规划建设模块、基础数据规划建设模块、防灾减灾基础数据规划建设模块、预警信息发布数据规划建设模块、预警发布渠道数据规划建设模块、预警信息现场直报数据规划建设模块、科普宣教数据规划建设模块、前置数据规划建设模块、多
5、源数据存储建设模块。1.1.1.1.1. X信息资源规划模块信息资源规划模块:完成信息资源规划的需求调研规划、资料收集;制定相应的标准规范、机构组织;制定数据的更新机制;实施比对分析,编制新增信息集、信息项定义,数据资源库设计;开发数据字典管理工具;开展数据整合与改造,含历史数据与新建数据。1.1.1.1.2. 基础数据规划模块基础数据规划模块:规划构建基础元数据、空间地理数据、人口经济数据、法律/法规/预案/标准数据等。基础数据组成如下图所示。1.1.1.1.3. 防灾减灾基础数据规划模块防灾减灾基础数据规划模块:规划构建POI数据、实况监测数据,包括气象、自然资源、海洋与渔业、地震、水利等
6、多部门防灾减灾数据、自然灾害风险普查成果数据。1.1.1.1.4. 预警信息发布数据规划模块预警信息发布数据规划模块:规划建设省、市、县、乡镇、自然村五级一体化的预警信息、应急处置信息、风险预警消息,以及电子预案、发布日志、结果反馈、发布统计数据、敏感词库、评估数据。1.1.1.1.5. 预警发布渠道数据规划模块预警发布渠道数据规划模块:规划建设短信、电视、应急广播、网站、两微、APP、邮箱等全媒体多手段渠道数据、发布业务管理数据、发布详情数据、发布日志数据、渠道受众管理数据。1.1.1.1.6. 预警信息现场直报数据规划模块预警信息现场直报数据规划模块:规划建设现场直报数据来源、直报信息、审
7、核信息、统计数据。1.1.1.1.7. 科普宣教数据规划模块科普宣教数据规划模块:规划建设科普产品、用户信息、访问统计、系统日志。1.1.1.1.8. 前置数据规划模块前置数据规划模块:规划构建空间地理信息、人口经济信息等基础信息资源、从各部门共享的突发事件预警发布业务相关数据以及系统运行产生的预警产品数据、统计评估数据。前置数据包括从国家基础信息库中共享的空间地理信息、人口经济信息等基础信息资源、从各部门共享的地质灾害、地震等突发事件预警发布业务相关数据以及系统运行产生的预警产品数据、统计评估数据等。采用前置机推送方式与各部门、省级开展数据交换共享。1.1.1.1.9. 多源数据存储模块多源
8、数据存储模块:根据基础数据、预警发布业务数据、前置数据等多源数据建立数据存储读取库表。2.1.1.2. 数据资源规划看板通过数据资源规划看板,帮助部门用户快速掌握本部门数据情况,包括部门总体数据汇聚、数据共享、数据调用和数据上报情况;实时数据汇聚、数据共享情况和本部门热门接口服务排名信息等。2.1.1.2.1. 数据资源展示统计部门截止到当前时间段数据资源总体情况,分别从数据汇聚、数据共享、数据调用等维度进行数据统计。2.1.1.2.2. 数据共享情况以列表形式展示本部门数据共享情况,包括数据申请部门、数据应用场景、数据推送量和数据推送时间等。以列表形式展示本部门接口共享情况,包括被调用接口名
9、称、调用单位、数据系统和调用量。2.1.1.2.3. 实时共享情况展示本部门实时数据共享情况,包括被调用的接口详情,具体内容包含调用部门、应用系统和时间;数据推送详情,具体内容包括申请部门、推送数据表名、数据量和应用系统等。2.1.1.2.4. 实时汇聚情况展示本部门实时数据汇聚情况,包括数据汇聚系统、数据表、汇聚数据量和具体汇聚时间。2.1.1.2.5. 热门接口抖F行根据本部门数据服务接口被其它部门调用次数进行排名展示。2.1.1.3. 数据资产登记模块数据资产登记模块支持对数据资产进行分类、登记和维护管理,实现数据的更好管理和利用。通过数据资产登记,方便用户更好地了解其数据资源,促进数据
10、共享、协作和决策,从而推动创新、提升效率。2.1.1.3.1. 资产编目提供资产编目功能,包括目录登记、目录分类、目录维护。2.1.1.3.2. 资产审核系统提供资产审核功能,包括目录登记审核和目录变更审核,经审核通过后目录自动发布。2.1.1.4. 数据资源接入汇聚模块数据资源接入汇聚模块提供多元化数据接入方式,可将本部门各业务系统的数据进行集中汇聚、整合,实现本部门政务数据的统一、标准化和集成管理。依托数据汇聚系统,用户可以更好地利用分散的数据资源,帮助提高业务效率、决策准确性和创新能力。2.1.1.4.1. 资源接入配置管理提供接口接入配置功能,包括接口接入配置展示、检索、新增及删除。用
11、户根据数据接入规范、数据资源目录标识及接口规范进行接口接入数据上传。2.1.1.4.2. 资源接入校验接入校验主要实现对接入的数据进行稽核,如数据唯一性检查、完整性检查。数据校验内容有类型、长度、是否为空、精度、范围、格式等信息,对于错误的数据,可以进行输出,包括错误原因和错误字段序号等信息。2.1.1.4.3. 汇聚方式提供人工录入、excel文件上传及接口接入三种数据汇聚方式,实现各部门的数据汇聚。2.1.1.4.4. 执行监控提供数据汇聚执行监控功能,包括监控列表、监控检索和监控配置。2.1.1.5. 数据治理模块2.1.1.5.1. 治理规贝!|(1)数据去重数据存在重复记录或重复字段
12、重复数据数据的存在形式一般有两种情况,第一种就是数据值完全相同的多条数据记录,另一种就是数据主体相同但匹配到的唯一属性值不同。通过对每张数据表的每个字段信息进行排序和相似度计算,按一定规则排序后,通过比较邻近记录是否相似来检测记录是否重复。(2)数据比对数据比对主要完成数据汇聚过程中,按照数据比对规则,对已接入的各类政务数据进行比对,筛选出不符合规则的数据。各应用系统数据质量参差不齐,数据格式五花八门,如有些表姓名字段有多个却没有证件号码,而有些只有证件号码没有却没有姓名,甚至存在新的数据比旧数据更不规范的情况。因此,对此类数据需要进行数据比对,确保治理后的共享数据可用、有效。(3)数据清洗
13、通过对业务逻辑的理解,从原始数据中梳理出具备能够反映业务特点的特征值,分析这些特征数据的有效范围,通过配置并执行包含有效范围信息的清洗规则,对每一张数据表实施数据清洗工作。(4)数据转换在数据转换中,技术人员可以定义数据转换规则和逻辑,包括数据格式转换、数据结构转换和数据内容转换等信息o通过数据转换让数据更好地适应不同的数据应用场景,提高数据应用效率和数据应用价值。(5)数据关联数据库中所有数据表间的关系是按照部门业务进行组织的,无法直接应用到对象档案、关系图谱等应用建设过程中。通过重新梳理、分析业务库中所有数据,建立全新的表间数据映射关系。2.1.1.5.2. 任务调度管理(1)任务配置支持
14、用户创建数据治理任务,包括任务名称、执行周期、执行时间、任务描述等设置。(2)任务执行支持对已计划的数据治理任务进行执行,并可查看任务执行结果,包括任务执行状态、执行时间、执行结果等信息。(3)任务编辑可对配置的任务进行修改、编辑和删除等操作。(4)任务查询用户可以查看查询已创建的任务列表和已执行的任务情况。(5)任务调度支持对数据治理任务进行调度管理,包括任务的暂停、恢复、重试、优先度设置等操作。(6)任务监控支持对数据治理任务运行状态进行监控和管理。(7)任务预警支持对数据治理任务执行异常情况进行报警,包括任务执行失败、执行超时等异常情况。2.1.1.5.3. 数据质量分析(1)问题数据统
15、计分类当治理任务执行结束之后,对治理的成果进行分类统计分析,并输出报告。(2)问题数据详细分析对问题数据涉及的所有数据表进行详细分析。包括空值问题分析、重复问题分析、格式错误问题分析。2116数据服务模块2.1.1.6.1.接口服务(1)接口配置生成支持基于已汇聚数据的数据表自动生成接口服务。用户通过选择特定数据表,将表结构的某些字段作为输入或输出参数,再填写接口的基本信息,包括接口名称,接口描述等,全部填写完毕提交,接口自动配置生成。(2)接口登记用户根据定制接口或第三方接口的接口信息进行登记,实现服务的注册,主要登记内容包括接口服务名称、接口描述、接口地址等。(3)接口类别定义支持用户对平
16、台接口服务类别进行定义和维护等操作。(4)接口测试在数据服务生成之后,用户可以通过测试来保障服务的可用性。2.1.2.数据集约管理能力建设子系统2J2J.企业服务总线模块2.L2.LL服务总线部门端服务管理服务管理主要分为服务目录管理、服务注册、服务发布与下架、服务申请、服务需求、服务需求审核和服务变更记录七个模块服务目录管理:包括我提供的服务和我申请的服务两个模块。服务注册:用户添加节点服务,并指定安装方式为手动安装,然后通过对应节点的“添加”操作,手动填写适配器相关信息。服务发布与下架:用户注册服务接口,平台端审核通过后可进行服务发布和服务下架。服务申请:注册的服务审批后可发布在应用超市,
17、供单位申请。服务需求:“服务需求”栏目适用于不同政府部门交互的栏目,当政府用户需要某个政府部门为自己开发某个功能的适配器时,可以通过该栏目发起申请,目标部门将会在“服务需求审核”栏目中看到相关的需求申请。服务需求审核:“服务需求审核”栏目是用于查看其他政府部门发起的服务需求,在服务需求审核中,政府部门可以选择接受或不接受改需求。服务变更记录:记录了用户对服务注册修改的记录历史。服务监控“服务监控”可查看到针对于本单位对于服务的调用次数以及最近调用时间,同时可查看到对于适配器调用的详细情况,提供协议转换、服务路由、服务日志、安全防护。2121.2.服务总线平台端服务总线平台展板服务总线平台“展板
18、栏目统计了用户操作数据,其中包括对前置机、服务节点、适配器的统计数据。图表展示适配器平均处理时间top5、前置机平均处理时间top5、监控异常汇总、系统消息提醒以及整体报表展示。配置管理提供配置管理功能,包括前置机管理、服务管理和系统管理。1 .前置机管理前置机是用于部署适配器的服务器,政府用户注册的适配器以及通过部署管理部署的jar包都会被部署到前置机中,而“前置机管理”栏目则是用于平台用户管理前置机以及前置机下的节点信息。平台用户可以通过该栏目添加、删除前置机。并且可以为前置机添加删除节点。2 .服务管理“服务管理”栏目用于处理政府部门发起的适配器注册、适配器修改、适配器申请、流程编排申
19、请等请求。主要分为服务目录管理、服务注册审核、服务巾请审核和服务变更记录这四个部分。3 .系统管理“系统管理”栏目中包含用户管理和组织机构。在用户管理中,平台用户可以在用户管理中添加任意政府部门的用户,并为其添加政府或平台的权限。在组织机构中可查看到XX省省直部门以及各地市的机构名称以及部门名称。在文件管理中可对于文件规范进行上传和删除的操作。提供系统监控功能,包括服务监控、性能监控、前置机监控和系统日志。服务监控:“服务监控”栏目用于查看注册的适配器调用情况。在“服务监控,栏目中,平台用户可以知道适配器调用次数、适配器调用失败次数、每次适配器调用的入参和出参等信息。性能监控:平台用户可以监控
20、服务器的系统资源使用情况,包括CPU利用率、内存用量、磁盘利用率以及网络传送速率。此外平台用户还可以在“性能监控”栏目中查看历史适配器、流程调用统计、适配器流程的运行时间、适配器运行情况等。前置机监控:平台用户可以监控前置机的系统资源使用情况,包括CPU利用率、内存用量、磁盘利用率以及网络传送速率等。系统日志:存储了用户的操作记录包括登录日志、操作日志、异常日志和服务日志。其中服务日志会将用户重定向到Kibana页面,输入正确的账号密码后可以查看相关服务日志。4 .1.2.2.引擎服务采用SOA设计理念,建立服务编排引擎、服务流程控制引擎、消息内容转换引擎、数据适配器、服务扩展引擎、服务集成引
21、擎、服务管理引擎,实现数据交互和业务模块标准融合。(1)服务编排引擎模块:建立业务需要服务编排,使用流程引擎实现多个不同服务、组件等进行编排重组,敏捷支撑面向业务的实现和重组。(2)服务流程控制引擎模块:建立业务服务流程控制功能,适配业务需求控制服务的运行状态和质量,同时提供多种流程模式控制组件,比如顺序执行、扇出、消息过滤、消息分割、内容路由、动态路由、内容丰富、异常处理、事务处理等组件,提供用户快速构建流程。(3)消息内容转换引擎模块:建立消息内容的转换以及协议的转换功能;消息内容转换负责完成在不同的消息内容、格式间的转换,适配不同服务对消息格式的转换功能。(4)数据适配器模块:建立各类数
22、据适配器,通过适配器实现各类系统和服务平台衔接的桥梁,通过适配器之间的连接与服务引擎以及流程模块,可实现各种类型、数据服务标准及通讯协议的服务之间的接入和转换,实现适配器的重用。(5)服务扩展引擎模块:在遵循服务总线相关标准和规范的前提下设计开发新的服务扩展功能,可快速集成到服务总线上,并基于服务总线进行服务的配置、管理和快速发布,提供新的功能服务。(6)服务集成引擎模块:开发服务集成功能,通过服务生成、服务组装、流程建模、服务生成向导,服务调用示例、应用服务组件等一系列功能,实现对资源及原始功能的封装、集成、调用。(7)服务管理引擎模块:开发服务管理功能,包括服务注册、服务变更、服务撤销、服
23、务审批、服务批量审批、服务发布、服务批量发布、服务目录、条件查询服务列表、查询服务详情。同时提供对服务的分类管理功能。2.1.3.技术指标应用系统的性能应满足业务处理流程的要求,稳定、可靠、实用,人机界面友好,输入输出便捷,查询功能简单明了。(1)单点登录对接XX省突发事件预警信息发布系统,需要对接该系统身份认证体系,实现单点登录。(2)用户并发量系统采用多层结构的系统优化、数据库优化,运用缓存和负载均衡辅助技术提升系统性能,支持典型功能在100O人并发情况下,服务器响应时间在3秒之内。(3)响应速度系统满足主要功能在单点操作下响应时间在3秒之内;对于数据分析操作,复杂的统计报表生成时间应在5
24、秒之内;实现文本信息交换的响应时间在Is以内,并且采用消息中间件对数据交换进行管理。(4)关键技术参数O系统架构要求要求设计能够支撑大量数据流转、复杂业务计算以及自动化运维的轻量级分布式系统架构;技术上,基于微服务架构,能够实现敏捷开发与部署;在业务应用上,能够具备良好的可扩展性。2)系统功能要求A.要求平台实现应用节点进行管理和业务流程个性化配置,以适应个性化需求。B.要求能够根据系统提供的数据接入共享规范自行开发跨部门服务适配器,经过授权,能够自动完成适配器的“上线”运行。C.支持跨区域、跨部门、跨系统的数据共享和多部门串行、并行的业务协同。D.支持RESTfUl服务发布。E.强化权限控制
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 预警 发布 数据 精细 服务 系统 V3 项目 建设 要求
