异构OLTP数据库迁移到GBase 8s解决方案
当前，以Oracle、DB2等为代表的国际主流数据库软件产品，已经长期、广泛应用于国内各行业的核心业务系统中。当用户业务系统面临替换改造时，需要解决异构数据库在整个切换过程中数据迁移、应用兼容、新系统稳定性等各种问题，以降低用户进行数据库管理系统架构迁移的风险。
下面根据GBase 8s的迁移经验，对整体迁移方案做一介绍：
一
项目迁移流程
迁移流程是整个迁移工作的指导框架，可有效组织迁移工作的有序开展，主要流程步骤如下图：
二
迁移前期调研及方案设计
本阶段主要进行迁移前的调研评估，以及用来指导形成迁移落地执行的方案。内容包括如下几点：
1、迁移前期调研内容及要点
调研的重点是了解客户需求和当前的痛点，迁移后要有针对性的给客户提供改善的方案！迁移前期调研是迁移项目的重要工作环节，此部分为项目实施不可省略环节。调研根据项目阶段的推进情况可能在签约前进行也可以在签约后进行。
1.1迁移前期调研的目标
了解项目迁移实施范围
评估迁移工作量、实施工期、人员数量及能力要求
评估迁移技术难点、项目主要风险
1.2迁移前期调研的内容
迁移系统现状：原数据库系统架构拓扑图、相关配置、上下游情况、原库版本
系统运行状况：应用场景、重要性级别评估、应用部署架构、业务类型、业务场景中增删改查各占的大致比例、并发情况、业务系统总用户数
系统指标要求：业务高峰时期的响应时延要求，批处理并发数，处理数据量、处理耗时、业务数据生命周期等
接口情况：应用开发语言，开发环境ORM框架版本信息、访问数据库接口协议、连接池配置、长连接/短连接等、第三方工具支持要求
2、迁移方案设计
迁移方案需根据迁移前期调研结果，并针对客户对该系统使用需求和痛点制定项目替换改造实施方案，主要包括:
迁移系统的硬件配置和部署方案；
针对客户需求和痛点提供的针对性解决方案；
迁移实施的步骤和工作内容；
实施计划和里程碑。
3、硬件资源评估
GBase 8s集群的硬件配置评估方式采用倒推的方法，即首先需要获取原库的详细配置信息，之后再根据CPU整体核数、内存容量、磁盘容量并结合业务数据量趋势评估GBase 8s集群单台服务器的配置以及配置服务器的台数。原则上GBase 8s集群所有服务器的CPU整体核数、内存容量和磁盘容量及盘片数量应不得小于原库配置。对于倒推法不适应的场景，也可以参考GBase 8s集群推荐的硬件配置。
三
数据及业务的迁移
GBase 8s提供平滑迁移整体解决方案，可使替换过程中GBase 8s数据库应用上线过程风险总体可控、系统运行平滑。整个过程分为三个阶段：在第一阶段，需要在完成全量备份恢复的基础上，通过数据同步工具实现当前主源数据库向备用GBase 8s数据库的实时数据同步；第一阶段平稳运行一段时间后，数据库侧进行主、备份角色互换后进入第二阶段：由GBase 8s集群数据库支撑业务系统运行，业务数据实时向源数据库同步；最后阶段，原数据库系统割接下线，完成平滑迁移过程。
接下来需要通过对全量、增量数据的迁移、迁移前后数据的比对方式等技术难点进行提前规划。
全量数据迁移方案评估及要点
迁移全量数据，其迁移的时间窗口很大程度的决定全量迁移是一次性还是分批迁移。主要有以下几个方面的因素影响，需要重点考虑：
源数据库迁移数据量【需要实测以评估源库内数据的压缩比】；
业务允许的停机时间窗口【此过程中源库需要处于只读状态，且负载要轻，往往是硬约束条件】；
源数据库数据导出性能【需要实测已确定能力】；
迁移工具服务器台数、IO性能、与8s集群网络带宽【迁移环境制约因素】；
8s集群节点的加载性能【IO性能和网络带宽综合考虑】。
对于迁移时间窗口的预估，需按照如下的公式进行估算：
迁移整体时间 = 源库导出时间 + GBase 8s加载时间 + 数据校验时间
数据迁移需要还需要注意：
源库数据导出的性能需要实测；
评估万兆带宽的使用率时要给出一定的冗余度，一般计算需要乘以1/2系数；
整体时间窗口按照导出和加载串行方式评估，保证一定冗余度应对突发情况，而实际执行时可以按照多并发方式设计迁移的实际执行方式。
四
数据校对
数据校对采用的方法是通过比对原系统和迁移系统对相同数据的加工结果，通过结果是否一致来推断过程是否迁移的正确。
数据校对常用方法：
总量校对：count值、sum值、avg值对比；
分量校对：对表内各维度进行group by后对这个维度的一个指标值进行count、sum、avg核对；
错误对比：在发现不一致的表时，将对比的表拉到一个环境上进行详细分析，如进行minus运算，找出差数据再进一步分析；
校对报告：校对报告是校对工作输出物，对数据一致性问题进行记录和分析，对之前解决的问题进行追溯，形成数据校对工作常见问题的知识体系。
网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。
- 上周热门
- 如何使用 StarRocks 管理和优化数据湖中的数据？ 2935
- 【软件正版化】软件正版化工作要点 2854
- 统信UOS试玩黑神话：悟空 2811
- 信刻光盘安全隔离与信息交换系统 2702
- 镜舟科技与中启乘数科技达成战略合作，共筑数据服务新生态 1235
- grub引导程序无法找到指定设备和分区 1205
- 点击报名 | 京东2025校招进校行程预告 162
- 华为全联接大会2024丨软通动力分论坛精彩议程抢先看！ 160
- 2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办 157
- 华为纯血鸿蒙正式版9月底见！但Mate 70的内情还得接着挖... 154
- 本周热议
- 我的信创开放社区兼职赚钱历程 40
- 今天你签到了吗？ 27
- 信创开放社区邀请他人注册的具体步骤如下 15
- 如何玩转信创开放社区—从小白进阶到专家 15
- 方德桌面操作系统 14
- 我有15积分有什么用? 13
- 用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
- 如何让你先人一步获得悬赏问题信息？（创作者必看） 12
- 2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
- 中央国家机关政府采购中心：应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8
