XX区公共数据运营服务项目-ODPS迁移服务采购需求.docx

《XX区公共数据运营服务项目-ODPS迁移服务采购需求.docx》由会员分享，可在线阅读，更多相关《XX区公共数据运营服务项目-ODPS迁移服务采购需求.docx（7页珍藏版）》请在三一文库上搜索。

1、XX区公共数据运营服务项目-ODPS迁移服务采购需求一、项目背景目前XX区公共数据平台数据底座采用EMR大数据架构，但由于EMR在兼容性、漏洞修复等方面存在一定不足，技术力量难以保障，造成资源利用率和运行效益较低，运维难度较大。参考省市和周边区县，均采用ODPS大数据架构，该架构运行稳定。因此XX区亟待切换为ODPS作为计算存储资源。二、项目目标提将底层平台从EMR平稳迁移至ODPS,有效提升平台数据处理能力和效率，降低运维成本，并提升公共数据系统的安全性、稳定性和可靠性。三、项目概况公共数据平台作为全区基础数据底座重点应用项目，共享子应用系统数量多,日常运营稳定性要求高，目前支撑全区52个部

2、门，92个应用。为进一步提升数据存储的架构统一性和公共数据平台安全可靠性，需要通过开展ODPS迁移服务，将XX区已有的EMR大数据架构迁移到ODPS,实现和省市统一，提升数据扩容运维效率，提升公共数据平台的安全可控能力。整个ODPS迁移工作包含历史归集迁移、历史回流迁移、历史开放迁移、共享迁移、数据仓迁移和专题库存量模型迁移。四、服务内容整体迁移工作包括以下6个模块，在迁移过程中，数据仓中表及任务数量实时发生变化，下述各模块的迁移数量将以实际情况为准。（一）历史归集迁移历史归集数据和任务迁移主要包含：（1）历史归集任务迁移改造方案制定通过梳理历史已归集的数据和任务，基于新的归集链路要求，制定归

3、集数据任务的迁移方案，实现先归集到部门仓，再到区总仓的链路。（2）历史归集任务部门仓链路改造针对历史区总仓基于Hive归集的任务，支撑部门开展基于部门仓ODPS开展归集迁移工作。通过梳理历史已归集基于HiVe归集任务数据和任务，梳理待迁移的归集任务情况，并基于实际待迁移的区总仓归集数据任务内容，开展建表和任务迁移工作，开展任务验证。（3）历史归集任务部门仓到区总仓链路创建首先梳理历史已归集的ODPS部门仓数据和任务，梳理待历史归集迁移的表和历史任务情况，并基于实际待迁移的历史归集部门仓的数据任务内容，开展区总仓的建表和任务迁移工作，并对迁移数据任务的验证。历史归集不限于现有2000多张表和21

4、00多个任务。完成所有迁移工作，以实际业务数据为准。（二）历史回流任务迁移历史ODPS回流数据和任务迁移工作主要包含：（1）回流任务重建：基于省市回流任务的数据要求，梳理回流任务表的问流规范要求，开展历史回流任务按省/市平台表命名规范重新建表，并进行任务创建和验证。（2）下架目录清理：根据最新的省市回流要求，对历史已回流的数据和任务，梳理待下架回流的目录清单，并根据需要下架的回流目录，开展历史回流数据任务的链路任务和任务配置维护。（3）回流链路改造：根据最新的省市回流要求，对历史已回流的数据和任务，梳理历史回流链路改造思路，对历史已回流数据任务进行链路改造，按要求改造成以数据推送方式到XX市R

5、DS前置库。（4）历史回流任务迁移：针对历史回流任务，将其从总仓迁移至部门仓。通过梳理历史已回流的数据和任务，并制定回流数据任务的迁移方案，根据历史已回流数据迁移的表和任务情况，基于实际待迁移的回流数据任务内容，开展建表和任务迁移工作，并对迁移数据任务的验证。历史回流迁移涉及260张以上表、260个以上任务，完成所有迁移工作，以实际业务数据为准。（三）历史开放任务迁移历史开放数据任务迁移工作主要包含：（1）根据最新的省市数据开放要求，开展历史开放的数据任务迁移工作，迁移服务期间确保开放任务的稳定性，确保历史开放数据链路的正常运行，可及时更新推送数据到市平台。（2）针对历史开放任务迁移至ODPS

6、通过梳理历史开放任务，制定历史开放数据任务的迁移方案，根据历史已开放数据迁移的表和任务情况，基于实际待迁移的开放数据任务逻辑,开展任务迁移工作，并进行开放数据任务的迁移验证。（3）基于上级省市数据开放的数据安全要求，迁移服务期间确保历史开放的数据质量、数据敏感性符合要求。（四）共享迁移共享数据任务迁移主要包含：（1）共享导出迁移：针对历史共享数据任务ODPS迁移要求，通过对历史共享任务的梳理，按照批量数据导出数据频率、数据涉敏程度分优先级，制定共享任务的迁移思路，对接支撑各部门进行历史Hive应用仓数据源批量数据导出任务迁移，并对迁移任务开展任务验证，实现从ODPS应用仓数据源导出。（2）批

7、量共享迁移：基于省市回流标准规范要求，对回流表批量数据共享任务进行迁移，按市最新回流的表命名规范，在ODPS进行共享视图重新创建，并对视图任务进行验证。（五）数据仓迁移数据仓解决了数据使用的最后一公里问题，数据仓迁移主要包含了历史HiVe应用仓/专题库迁移，通过梳理并对接部门，协同部门仓逐步完成数据仓的ODPS项目空间迁移工作。主要服务包含：（1）项目资源开通：支撑应用部门开展ODPS应用仓的申请、创建和扩容等工作，并对应用仓的申请、创建流程进行审核审批。（2）实施数据仓任务迁移：对老的HiVe应用仓的数据和任务进行梳理，了解数据任务的处理逻辑，制定应用层的ODPS迁移思路。基于实际应用仓数据

8、任务情况，迁移应用仓历史数据，进行建表操作，并开展数据核验工作。再开展应用层的任务迁移，并进行任务核验，确保迁移前后的任务运行正常。目前XX区共有70多待迁移或释放的应用数据仓，其中在用的有33个，在线数据1307个，在跑任务1812个。通过迁移服务，支撑这33个应用数据仓实施切换ODPS存储空间，并开展数据和任务迁移，同时对接其余40多个应用数据仓释放原有的数据空间。（六）专题库存量模型迁移完成人地企时空治理专题库34个存量模型从Hive到ODPS的平滑迁移，可以保证数据的完整性和一致性，提升数据模型的性能和可维护性，满足业务部门的数据分析需求。具体内容如下：（1）申请新的ODPS应用仓及相

9、关数据，填写相关信息，提交申请流程。巾请ODPS应用仓和数据，需填写并提交云资源申请单。申请单中，需说明资源规格（如CU、存储等），选择DATAWORKS模式，并命名DATAWoRKS项目；项目和平台审核后，会分配资源和权限，并提供应用仓的登录信息。登录后，需检查数据源是否正常连接，以及数据是否完整可用。（2）分析Hive和ODPS的差异，评估数据模型在ODPS上的适配性，确定需要调整的模型和表。对比HiVe和ODPS的数据类型、函数、语法、优化器等方面的差异，参考ODPSSQL迁移指南,评估数据模型在ODPS上的兼容性和可行性。根据评估结果，确定需要调整的模型和表，如数据类型的转换、函数的替

10、换、语法的修改、索引的创建、分区的设置等，制定迁移方案和迁移步骤。（3）根据评估结果，创建和调整数据模型的结构、逻辑、规则等，使其符合ODPS的要求和规范。在ODPS应用仓中，根据原HiVe模型的结构，创建相应的表和视图，注意数据类型的转换和分区的设置，保证数据的准确性和高效性。根据原Hive模型的逻辑,编写相应的SQL语句，注意函数的替换和语法的修改，保证数据的正确性和一致性。根据原Hive模型的规则，设置相应的约束和校验，注意索引的创建和优化，保证数据的完整性和可维护性。（4）测试数据模型在ODPS上的运行效果，检查是否有错误或异常，进行必要的优化和修改。在ODPS应用仓中，运行数据模型的

11、SQL语句，观察运行时间、资源消耗、执行计划等指标，评估数据模型的性能和效率。对比ODPS和Hive的运行结果，检查是否有数据丢失、错误、不一致等问题，评估数据模型的正确性和一致性。根据测试结果，分析是否有优化和修改的空间，如调整数据类型、函数、语法、索引、分区等，提升数据模型的性能和可维护性。（5）迁移HiVe应用仓的数据到ODPS应用仓，采用合适的方式和工具，保证数据的安全和完整。选择合适的数据迁移方式，如全量迁移、增量迁移、实时迁移等，根据数据的大小、变化、时效等特点，制定数据迁移策略和计划。用DataWOrkS集成工具，配置不同类型的数据源，如SQL、0RACLEDRDS等配置迁移参数

12、和任务，考虑数据的格式、来源和目的。执行数据迁移任务，监控数据迁移的进度、状态、日志等信息，保证数据的安全和完整。（6）验证数据迁移的结果，比对数据的一致性和准确性，解决可能出现的问题和冲突。在ODPS应用仓中，运行数据校验的SQL语句，对比ODPS和HiVe的数据量、数据值、数据分布等指标，验证数据的一致性和准确性。分析数据校验的结果，发现并解决可能出现的问题和冲突，如数据类型不匹配、数据值不一致、数据分布不均匀等，保证数据的正确性和完整性。五、服务期本项目计划6个月内完成迁移工作开展初验，进入试运行阶段，试运行周期不少于3个月。六、付款方式本项目合同预付款比例为合同金额的40%,在合同签订

13、且财政资金下达后30个工作日内支付;在项目初验完成后30个工作日内支付合同金额的30%款项；在项目终验完成后，在30个工作日内支付本合同剩余30%的款项。甲方应严格履行合同，及时组织验收，验收合格后及时将合同款支付完毕。对于满足合同约定支付条件的，甲方自收到发票，待财政资金下达后将资金支付到合同约定的乙方账户，有条件的甲方可以即时支付。甲方不得以机构变动、人员更替、政策调整单位放假等为由延迟付款。七、保密责任和义务（1）服务商应对本合同所述的技术资料和技术秘密采取保密措施，服务商未经采购人的书面同意，不得将本项目所涉及的技术秘密和资料向与本项目无关的人员或第三方透露，也不能就有关合同内容的任何

14、部分进行新闻的发布、公开的宣称、否认或承认。（2）服务商知道违反本条规定将给采购人造成难以弥补的损失，为此同意承担由此产生的经济上和法律上的责任。（3）服务商承认项目合同中涉及的所有技术资料和技术秘密为采购人所专有，将其对服务商进行披露并不意味着任何所有权、专利权的转让。（4）在合同项目的研究开发结束并通过验收后，服务商应向采购人提供合同项目的研究成果，包括技术规范、测试文件和质量标准等相关的技术资料，或者计算机软件、文档及源代码等。服务商应归还采购人提供的所有技术资料或文件等，并承诺不保留任何复印件。（5）服务商团队应按照法律法规加强管理，明确网络和数据安全责任，对人员开展安全背景审查，签订

15、安全保密承诺书和个人安全保密协议，做好人员网络和数据安全宣传教育及培训工作，严格控制人员管理员权限，在授权期满后应当按照要求及时收回权限。如因自身原因造成安全事故的，由服务商负全部安全责任。在实施和维护期间，服务商人员不得出现制造或者故意输入、传播计算机病毒、故意删除数据、窃取数据等违法行为，由此造成本单位业务系统故障或数据丢失等问题，依照国家法律法规，根据造成的损失，对服务商进行处罚。本条规定的义务和权利在项目合同期满或终止后将在采购人要求的时间内持续有效，而不受合同履行完毕时间的限制。八、验收要求（1）服务完成后，采购人组织终验。最终验收不合格，服务商整改，由此所产生的所有损失由服务商承担（包括但不限于验收评审费用等）。采购人按照XX市政府采购履约验收暂行办法（X财采监201910号）规定组织对服务商履约的验收。（2）验收内容及资料要求：根据采购文件确定的技术指标或者服务要求确定验收指标和标准。未进行相应约定的，应当符合国家强制性规定、政策要求、安全标准、行业或企业有关标准等。（3）验收资料要求验收资料要求包括（不限于）以下内容：采购文件；投标文件；中标通知书；采购合同；服务情况说明；服务月报；服务内容中要求的输出对应证明材料等。