国有大行信创国产化复杂性场景的落地实践

prtyaa 2024-01-12 15:21:21  52106 赞同 0 反对 0

分类：资源

国有大行信创国产化复杂性场景的落地实践

疫情过往的2年，DSG有点忙。

2021年8月，迪思杰作为数据同步服务方，进入某国有大行国产化入围测试。自此，一场重大的国产化变革拉开帷幕。

此次变革，基于客户尚处于国产数据库的选型阶段，面临数据库种类多、不确定性强、时间紧、任务重的境遇，迪思杰需应对更多国产化需求。

所幸，不负所托，从数据同步到数据迁移，再到后续的解决方案与技术支持，变革顺利进行，也未完待续...

首先开启的，便是数据实时同步阶段，当时主要任务是完成核心系统数据从国产数据库到大数据平台的实时同步。

相比DSG过往已有的经验，国有大行的核心数据库管理更复杂，技术要求更高，社会影响面更广。保证交易的完整性及数据的一致性，是国有大行的核心诉求，对应的数据同步建设也提出了更高要求。

同步要求

1.数据源自动切换：双中心场景下，采集库为主备集群，当采集的数据库出现网络故障或服务器本身故障时，如何自动切换到另外的一个采集源；自动切换到采集源后，对于分布式节点库，如何保障数据的连续性与一致性；

2.采集中间机高可用支持能力，单点故障应对能力；

3.自动恢复运行能力：当遇到加载端到Kafka集群网络故障或Kafka集群节点故障时，Kafka及加载网络故障，在外部异常恢复后，要求同步工具有能力在非人为干预下，进行一个自动恢复且正常运行；

4.GoldenDB孤岛问题解决方案。

对此，迪思杰联合产研协作，通过对程序进行针对性优化，对产品进行了全方位的完善和提高，完全满足了国有大行对数据安全性和准确性要求。

数据同步的首战告捷，专业的技术团队，负责的服务态度，大大加深了国有大行与迪思杰的合作信心。

3月，顺应数字经济转型趋势，走向国产化安全可靠、自主可控，实现自身高质量发展的战略选择，国产化数据迁移又拉开帷幕。

曾经占据国内大半市场的国外主流数据库Oracle便是此次迁移的主角之一。作为一款老牌传统数据库，Oracle 支持的内容比较多，如生僻字、大字段、过程、函数、包、类等，而国产化数据库则对这方面的内容支持较低，加之之前许多上游数据是通过第三方工具导入的，导入时对数据的一致性要求也没那么高，造成记录被截断，报错等。因此，项目迁移中也有一些难点问题。

数据迁移问题

1. 生僻字问题

2. 对象问题

3. 数据超长

4. 数据库特性问题

针对上述问题，加之异构数据库特性差异、数据质量不规范等问题，便又是一场强沟通、高协作的作战体验。

而在数据迁移项目实施过程中，某个时间节点，更是遇上了时间紧，任务重，但又全员抗“羊”的境遇，项目完成困难重重。众人拾柴方得火焰，在各方协同共进的努力下，在当年完成50余套系统的数据迁移，圆满完成行方任务。

信创数据迁移架构示例

技术架构

技术架构图

采取双节点部署，采集程序、装载程序分离部署于源端IDC和目标端IDC两台AP，数据压缩后跨异地网络传输。

数据架构

数据架构图

源端数据库停机场景（停止写入数据）：使用数据迁移工具一次性全量将数据传输至目标异构数据库。

源端数据库不停机场景（迁移过程中还有数据写入）：数据迁移工具支持全增量数据迁移，全量完成后可继续同步增量数据，直到源端数据库在规定时刻停止写入数据后切换。

Buffer运行机制：数据迁移组件需要对采集的数据进行格式转换并存储，需要一定的硬盘存储空间，这些缓冲数据存放在每个迁移任务各自的目录中；存放数据是临时性的，在迁移运行过程中，数据加载回放到目标数据库后，这些暂存数据会被标记清理，为后续另一个迁移任务腾出空间。

数据隔离机制

数据隔离机制

数据迁移通道隔离：一个源端数据库到一个目标数据库的单次迁移作为一个数据迁移通道，每个通道在数据迁移平台中对应单独的数据目录，用来存放采集装载的缓冲数据，保证不同数据迁移任务的数据隔离性。

此次数字变革建设，DSG SuperSync大型数据库高性能复制平台便是作为整个国有大行指定的最重要的国产化目标实现工具，不仅在兼容更多国产化数据库种类和适配速率上获得了新的突破，更积累了一次集团规模极具代表性的实战经验。

DSG SuperSync产品功能表

1.高性能、低干扰数据库日志分析

2.一体化全量、增量的首次同步

3.可实时切换的双活复制

4.可灵活部署复制系统和复制架构

5.传输压缩、rowid映射加载技术

6.全量crc校验比对

7.差异性数据比对技术

8.异构数据支持

从外部生态汲取力量，从自身积累向下扎根，迪思杰始终秉持自主可控、合作共赢原则，以更高的产品品质、更强的技术能力、更佳的用户体验，助力客户更好实现数字化转型！未来，国产信创，一定拥有更多机遇！

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

国有大行信创国产化复杂性场景的落地实践

相关资源

关注我们