基于业务驱动的一张图数据动态更新机制研究-科研在线.pdf
《基于业务驱动的一张图数据动态更新机制研究-科研在线.pdf》由会员分享,可在线阅读,更多相关《基于业务驱动的一张图数据动态更新机制研究-科研在线.pdf(5页珍藏版)》请在三一文库上搜索。
1、计算机与现代化 2014 年第 11 期 JISUANJI YU XIANDAIHUA总第 231 期 文章编号 : 1006-2475( 2014) 11-0098-04 收稿日期 : 2014-08-05 基金项目 : 国土资源部公益性行业科研专项经费项目( 201111013-06) 作者简介 : 方从刚 ( 1983-) , 男, 四川泸州人 , 成都市国土资源信息中心高级工程师, 博士, 研究方向 : 3S 技术与数据挖掘 , 软件设 计与系统架构 ;陈先伟( 1973-) , 男,四川泸县人 , 天府新区成都直管区国土资源和房产管理局教授级高工 , 博士,研究方向 :数 字国土与资
2、源监管 ;通讯作者 : 黄成毅 ( 1983-) , 重庆城口县人 , 四川农业大学副研究员, 博士 , 研究方向 : 国土资源信息化 。 基于业务驱动的 “一张图 ” 数据动态更新机制研究 方从刚 1 , 陈先伟 2 , 徐 柱 3, 黄成毅4 ( 1 成都市国土资源信息中心, 四川 成都 610042;2 天府新区成都直管区国土资源和房产管理局 , 四川 成都 610213; 3 西南交通大学地球科学与环境工程学院, 四川 成都 610031;4 四川农业大学 , 四川 雅安 625014) 摘要 : 在分析国土资源管理业务模型及“一张图 ” 数据库关系的基础上, 重点阐述基于业务驱动的“
3、一张图 ” 数据动态更 新机制的原理 、 实现技术 , 并在成都市开展应用示范。本文提出基于业务并借助数据捕获、 ETL 工具实现 “一张图 ” 数据 动态更新的新思路, 为国土资源动态监管、 分析核查与决策、 防灾减灾提供数据支撑和信息服务。 关键词 : 业务驱动 ;空间数据库 ;更新机制 中图分类号 : TP311 文献标识码 : Adoi:10 3969/j issn 1006-2475 2014 11 022 Study on OneMapData Dynamic UpdatingMechanism Based on Business-driven FANG Cong-gang 1 ,
4、CHEN Xian-wei 2 ,XU Zhu 3 ,HUANG Cheng-yi 4 ( 1ChengduLand and esources Information Center,Chengdu610042,China; 2ChengduManagement Committeeof Tianfu NewArea,Land esources and ealEstateManagement Bureau , Chengdu610213 , China; 3SouthwestJiaoTongUniversity Faculty of Geosciencesand Environmental Eng
5、ineering,Chengdu610031,China; 4 SichuanAgricultural University,Yaan 625014,China) Abstract :Basedon the analysisof the relationship betweenthe OneMapdatabaseand the businessmodelsof land and resources management ,it is focusedon that the principle and implementationtechnologiesof the OneMapdata dyna
6、mic updating mechanism basedon the business- driven And then application demonstrationis donein Chengdu In the paper, a new idea is presentedthat the OneMap data dynamic updating is realizedbasedonthe businesswith the data capture,ETL tools Datasupport and informa- tion servicesareprovided for dynam
7、ic monitoringof land and resources ,analysisverification anddecision, disaster preventionand mitigation Key words:business- driven;spatial database ;updating mechanism 0引言 保障数据现势性, 确保数据更新及时可靠既是国 内外学 者 研 究 的 热 点, 也 是 信 息 化 建 设 的 迫 切 需 要 1-4 。国土部门管理着海量的空间数据, 其空间数 据库建设好以后, 随着业务系统的运行, 各类业务数 据频繁地进行增加、 删除
8、 、 修改等操作 5-6 , 如果不能 较好地解决业务数据的更新问题, 势必会直接影响业 务管理系统 、 GIS 系统的使用价值与可持续发展。 目 前, 数据更新模式常采用先备份后删除再插入或由技 术人员对数据进行对比分析更新变化数据, 容易造成 数据冗余 、 数据版本混乱 、 更新周期较长等问题, 或者 直接将数据分散在各个子系统中, 分别在各个子数据 库中进行调阅或查看, 但往往业务数据之间关联性较 强, 这同样会造成数据版本混乱、 数据一致性较差 、 业 务数据和“一张图 ” 监管数据模糊不清等问题。因此 , 提供一种有效的数据更新机制来保证各类应用系统空 间数据库的现势性 、 一致性
9、、 完整性显得尤为重要。 “一张图 ” 数据库涵盖了基础数据、 业务数据 、 监 测数据和指标数据等数据类别, 其中除基础数据外, 其它 3 类数据都与国土业务系统密切相关。针对“一 张图 ” 数据库的特点和国土部门的业务流程, 以业务 驱动来保证数据动态、 及时更新的理念和方法, 可以 在最大程度上保证“一张图 ” 数据库的时效性, 为其 2014 年第 11 期方从刚等 : 基于业务驱动的 “一张图 ” 数据动态更新机制研究99 数据的权威性和可持续发展提供有力的保证。 1业务模型与 “一张图 ” 数据 国土部门的业务主要涵盖土地资源、 矿产资源以 及地质环境方面的审批、 监测和管理等。
10、相应地 , 其 数据库数据可以分为基础数据 、监测数据、指标数据 和业务数据等。 一方面 , 这些业务系统是“一张图 ” 数据库重要的数据来源; 另一方面 , “一张图 ” 数据库 是这些业务系统良好运转的强有力支撑。 1 1现有的业务模型 国土业务系统覆盖面广 、 流程复杂 , 总体上看 ,现 有业务可以划分为综合事务、 土地资源业务、 矿产资 源业务 、 地质环境业务等4 大类 5, 7 , 其中每类又包 括很多具体的业务( 如表 1 所示 ) 。 业务系统是一个 多业务 、 多系统融合的综合信息化平台。 表 1 国土业务系统概览 大类小项业务数据库 综合事务 公文处理政策法规人事管理档案
11、查 询 会议室预约短信平台车辆预约会 务管理项目比选视频监控 综合事务 类数据库 土地资源 建设用地预审建设用地审批土地综 合整治土地执法检查土地储备电子 监察 土地登记土地交易土地利用耕 保基金管理集体土地证书登记“产改 工作 ” 月报汇总 土地资源 类数据库 矿产资源矿业权审批 矿产资源 类数据库 地质环境 地质灾害应急预案地质灾害监测管理 红层水井监测管理 地质环境 类数据库 业务系统与业务系统之间、 业务系统与“一张 图” 之间既是相对独立的又是紧密关联的 8。 其独 立性体现在每个业务系统都有各自独立的功能, 对应 着国土业务中的某个流程或某一类业务; 每个业务系 统都有独立的数据库
12、, 管理国土业务办理流程中产生 的原数据 、 中间数据 ( 审批数据 ) 和成果结果。其关 联性体现在业务系统之间存在一定的逻辑关系 , 某个 业务系统需要前一个业务系统的处理结果, 业务系统 之间的逻辑关系与国土业务的办理流程紧密相关 , 如 供地业务与征地业务之间存在先征后供的逻辑关系。 在此以土地资源管理业务为例来说明其业务模 型( 如图 1( a) 所示 ) 。土地资源管理业务主要包括土 地管理部门内部业务和跨部门的业务, 部门内部业务 主要由如下部分组成: 土地资源调查、 土地资源评价、 土地利用计划编制和规划修编、 耕地保护 、 土地供应 、 土地统计 、 土地档案管理 、 土地纠
13、纷调处 、 土地执法监 察等 。 其中 , 土地资源调查和评价是土地各项业务开 展的基础 , 是合理使用土地资源、 科学管理土地资源 的依据 ; 土地利用计划编制和规划修编是保护基本农 田、 控制非农建设占用农用地、 提高土地利用率、 统筹 安排各区域用地的有效措施; 在土地管理法基本框架 内,通过有效的土地供应途径建立和完善土地使用的 流动运行机制 ; 而土地登记制度的建立, 则是维护土 地的社会主义公有制, 保障土地权利人的合法权益的 重要手段和措施, 土地执法监察是依法使用和管理土 地的重要保障。通过这些业务, 实现集约利用土地, 保护土地资源, 保障社会经济发展, 维护土地所有者 和使
14、用者的合法权益, 为政府土地管理政策制定提供 支持 , 实现为社会提供服务的基本目标。 ( a)土地资源管理业务模型 ( b)矿产资源管理业务模型 图 1 总体业务模型 1 2业务系统与 “一张图 ” 数据之间的关系 “一张图 ” 数据库中的各类数据与各个业务系统 密切关联 。其中 , 基础数据主要包括基础地理、 遥感 影像 、 DEM 等, 这部分数据一般来源于土地调查 、 上 级配发 、 公开招投标购买等, 它们数据量大 , 时效性要 求不高 , 更新周期常以年度为单位或更长。 业务数 据、 监测数据和指标数据来源于各个业务系统的日常 运行和野外监测, 这部分数据变化快、 时效性要求高、
15、更新周期短 。总的来看 , 业务系统 、 业务数据库 、 “一 张图 ” 数据库三者之间的关系可以用图2 来表示 。 100计算机与现代化2014 年第 11 期 图 2 国土业务系统 、 业务数据库 、 一张图数据库关系 1) 业务系统是 “一张图 ” 数据库重要的数据源。一方面 , 在建库时 , “一张图 ” 数据库数据以现有各类业务系统及其数 据为基础 , 在不改变各业务系统及其数据库的前提下, 基于统 一地理框架 , 使用 ETL 技术构建 。另一方面 , 在运行时 , 国土 业务系统每天都会产生一些新数据, 这些数据首先进入对应 的业务数据库 , 同时要求将成果数据更新到“一张图 ”
16、 数据库 中。这样,对现有“一张图”数据进行持续的更新 , 保证了“一 张图 ” 数据库的现势性 。 2 ) “一张图 ” 数据库服务于各类业务系统。一方面 , 业务 数据库主要保存国土业务系统运行的中间结果数据, “一张 图”数据库主要保存各个业务的最新成果数据 ,业务系统同时 基于业务数据库和“一张图 ” 数据库运行。另一方面 , 基于 “一张图 ” 数据库海量的空间、 非空间数据资源 , 提取出 60 余 项综合指标和专项指标数据, 为国土资源业务提供了决策支 持, 促进了国土部门各项业务的管理创新。 2业务驱动的数据更新流程与机制 由于国土资源业务有着数据量大 、 变化快 、变动 大等
17、特点 , 同时业务系统又与“一张图 ” 数据库关系 密切 , 所以迫切要求建立各业务数据库与“一张图 ” 数据库之间的动态更新, 保持其现势性, 以满足国土 资源动态监管的需要 4, 9-11 。“一张图 ” 数据库包括2 大类数据 : 1) 基础数据 , 采用定期手动更新的方式予 以更新 12-13 。2) 监测数据 、 业务数据和指标数据的 专题数据 , 结合业务系统的特点和国土业务的具体需 求, 构建以业务驱动方式的更新机制, 实现各业务数 据库与“一张图 ” 数据库的联动更新和维护 13。 数据 变化检测一直是人们研究和关注的焦点 14-15 , 其重 要性主要来源于数据的时空分析、
18、动态监测以及保持 数据现势性的要求, 根据杨淼淇等人的研究 16 , 认为 数据变化的捕捉方式主要有: 快照 、 触发器 、 日志 、 API、 影子表 、 控制表 、 时间戳 7 种方法 。针对数据自 身的特点 , 需要制定不同的更新方式, 本文针对数据 量大 、 更新频繁 、 数据复杂的数据采用快照、 API、 控制 表、 时间戳一种或多种综合的方法, 针对特殊数据采 用触发器 、 日志 、 影子表的方法 。 图 3业务驱动的数据更新机制主要流程 业务驱动的更新机制通过数据抽取、 汇交 、 质量 控制等处理 , 集成空间数据语义转换、 空间图形数据 长事务更新 、 在线空间数据质量检查与控
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 业务 驱动 一张 数据 动态 更新 机制 研究 科研 在线
链接地址:https://www.31doc.com/p-4542563.html