实战 | 金融信贷核算系统的分布式数据库创新实践


风晓
风晓 2024-01-12 13:50:04 48703 赞同 0 反对 0
分类: 资源 标签: 国产数据库
实战 | 金融信贷核算系统的分布式数据库创新实践

近些年来,随着金融行业数字化转型不断推进,金融业务线上化、服务场景生态化成为当前金融业发展的新常态。作为金融信息技术应用创新的重要对象,银行核心交易类系统创新一直是重中之重。本文结合江南农村商业银行新一代信贷核算核心系统改造需求,以分布式数据库高可用部署方案为切入试点,探索和实践核心交易系统的信创分布式数据库解决方案。

 

从集中式到分布式

数字经济下,金融服务链开始与各行业社会服务链产生深度的融合和交织,金融业务的多元和复杂,让金融应用系统面临处理海量数据、超高并发、超高峰值等一系列挑战。同时,复杂多变的国际环境也对全球信息技术产品供应链体系带来了较大冲击。

 

在外部国际环境和内部金融创新的双重压力下,传统集中式数据库的短板逐渐凸显出来,比如弹性伸缩能力缺乏、安全可控水平不高、灾备能力不足等,基于传统集中式数据库构建的信息系统也因此面临着较大的不确定性风险,越来越难以满足金融行业快速发展所衍生的更多需求,唯有加速核心系统的升级和转型,将应用迁移到更具有可持续演进支撑能力的数据库上,才能解决根本问题。

 

江南农村商业银行制定了信息技术应用创新实施方案,未来三年将以数字化变革为引擎,加强基础技术研究,稳步推进信创探索和创新。其中核心交易类系统的信创方案研究是极其重要的部分,江南农村商业银行适时启动核心交易类系统改造升级工作,逐步实现信息系统软硬件信创替换的目标,并确保系统功能不缺失、性能和安全等级不下降,持续推动业务稳定运行。

 

信贷核算系统是银行核心账务类系统,负责全行贷款账务核算。其应用对于数据库的高可用、性能、稳定性等方面都有严格的要求。

 

高可用。信贷核算系统要求部署在同城双中心机房,且每个机房都要有一份实时数据,可实现机房级容灾。

 

高性能。信贷核算系统夜间跑批业务流量大,数据库必须支持大并发、高性能及高稳定。而目前信创服务器的单机性能无法和原有系统采用的IBM小型机相比。

 

稳定性。流量洪峰场景下,现有基础软硬件的稳定性还需提升,数据库的功能、稳定性也有待改进。

 

当前集中式架构快速转型为分布式系统是大势所趋。分布式的系统从一开始就把扩展性、大容量作为基础的理念,从而在业务高并发和容量快速增加时可以从容应对。综合考虑下,江南农村商业银行决定采用国内分布式数据库,满足性能容量要求的同时,还具有易迁移易运维的能力。

 

金融级分布式数据库搭建

1.数据库选型。江南农村商业银行通过对国内多家主流数据库产品进行多轮POC测试比较,在高性能方面,GaussDB满足信贷核算夜间批量业务场景的性能要求。在高可用方面,GaussDB具有完善的金融级全场景容灾能力。在安全性方面,采用了多层安全机制,包括用户认证、访问控制、加密传输等。此外,GaussDB支持多种备份和恢复策略,确保数据的完整性和可靠性。因此,江南农村商业银行使用GaussDB对信贷核算系统进行信创改造探索与实践。

 

2.数据库部署。江南农村商业银行新一代信贷核算系统,部署在同城双中心机房,现有方案采用国外商用数据库主备库架构,但无法实现跨中心数据库实时同步问题,使用GaussDB分布式部署方案可以完美解决该问题。信贷核算物理部署如图所示。

图片

图    基于GaussDB分布式数据库物理部署

 

GaussDB分布式部署方案采用“5节点主集群+4节点容灾集群”部署方案,其中生产机房部署主集群3节点,同城灾备机房部署主集群2节点与同城容灾集群。生产集群采用4副本部署,同城容灾集群采用2副本部署。生产集群到同城容灾集群使用内核流式容灾能力进行数据同步,后续同城容灾集群可拉远至异地容灾机房部署,保证同城和异地各自独立部署一套完整的数据库集群,同时提供了同城抵御节点级故障的能力,以及跨城的Region级容灾能力。

 

在高可用方面,GaussDB提供的两地三中心方案,在前期同城双活方案的基础上,在异地增加了一个异步复制的集群,通过集群内的同步机制流式复制,不需要依赖外部组件,做到了异地RPO=5秒,RTO=143秒。

 

数据库集群通过TPOPS运维管控,提供数据库运维管理、备份恢复、监控告警等基础功能,同时提供接口具有被集成的能力,方便集成已有运维监控平台。

 

批量无感迁移和应用适配

GaussDB在金融核心系统的应用迁移改造上形成了一整套完善的方法论,即由GaussDB和应用迁移服务UGO、数据复制服务DRS组成的一站式自动化迁移方案,能够实现大规模数据的双向实时同步和异构数据库自动迁移。

 

1.应用迁移。UGO主要负责结构和应用的语法兼容性评估和转换。在迁移适配工作开始前,UGO对信贷核算系统进行充分的评估,包括但不限于系统当前的数据量,业务压力(TPS和QPS),原系统数据库使用的配置等。对象迁移方面,UGO可以实现Oracle到GaussDB语法的自动转换,对Oracle数据库对象的转换成功率达到98%以上,减少手工改造的工作量,最大化降低数据库迁移成本。

 

2.数据迁移。对象迁移完成之后,下一步是数据迁移。数据迁移分为存量数据迁移和增量数据实时同步,基于DRS工具,可以实现存量数据迁移,增量数据实时同步以及数据迁移正确性的校验等能力。

 

3.应用适配改造。在如下几方面对信贷核算应用进行适配改造。

 

兼容性方面,信贷核算系统对部分特殊语法的SQL进行了调整,保证对GaussDB数据库的语法兼容。

 

高可用方面,信贷核算进行了硬件冗余部署的策略,保障应用系统在某些节点宕机的情况下迅速替换为备机,保证系统的7×24小时运行。

 

性能方面,信贷核算系统由单点应用运行日终批量改造为分布式批量架构,充分利用国内分布式数据库的特性,提升系统的运行效率。

 

信创分布式数据库实践经验

基于GaussDB的信贷核算业务系统改造实践中遇到了一些问题,联合多方对于这些典型问题加以解决,形成了信创实践知识库。应用迁移改造挑战与应对策略如下。

 

1.应用改造适配。应用从集中式向分布式架构转型,往往涉及应用系统改造。基于GaussDB信贷核算系统解决方案,通过应用系统进行合理分片键设计、GaussDB对Oracle的SQL兼容性较高、UGO+DRS无感迁移方案等方法,使得应用改造工作量总体可控。

 

2.运维成本改善。分布式数据库性能调优对DBA要求高,主要存在数据库监控工具、分布式理论、运维文档健全等挑战,通过GaussDB高性能Astore引擎、WDR报告与运维体系文档等,行内DBA对慢SQL进行调优,解决夜间跑批场景并发高与跑批时间长等痛点问题,GaussDB较好承载信贷核算系统能力。

 

3.全栈高可用。信贷核算系统采用鲲鹏物理机+麒麟操作系统+GaussDB数据库全栈信创方案,由于国内硬件在稳定性与性能较小型机存在一定差距,所以对数据库高可用提出更高要求,而GaussDB两地三中心方案能较好地克服单节点故障与性能瓶颈,同时提升数据库扩展性与数据安全性。

 

未来展望

通过探索实践,项目组认为GaussDB具备承载信贷核算系统能力。同时,也识别到GaussDB对于农商行核心交易系统的部分需求还存在改进空间,数据库周边生态还有待健全,这也是下一步合作共研的方向。后续将基于信贷核算系统应用场景,进一步深入探索基于GaussDB的数据库整体架构优化。另一方面,项目组和华为团队将基于现有方案,探索GaussDB结合国内操作系统、鲲鹏高性能服务器的软硬协同调优,进一步提升整体系统性能。同时,双方将对信贷核算系统的应用场景适配优化,提高关键业务场景的国内化分布式数据库应用水平,增强江南农村商业银行对核心交易系统的自主可控能力。

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!

评价 0 条
风晓L1
粉丝 1 资源 2038 + 关注 私信
最近热门资源
银河麒麟桌面操作系统备份用户数据  125
统信桌面专业版【全盘安装UOS系统】介绍  120
银河麒麟桌面操作系统安装佳能打印机驱动方法  112
银河麒麟桌面操作系统 V10-SP1用户密码修改  105
最近下载排行榜
银河麒麟桌面操作系统备份用户数据 0
统信桌面专业版【全盘安装UOS系统】介绍 0
银河麒麟桌面操作系统安装佳能打印机驱动方法 0
银河麒麟桌面操作系统 V10-SP1用户密码修改 0
作者收入月榜
1

prtyaa 收益393.62元

2

zlj141319 收益218元

3

1843880570 收益214.2元

4

IT-feng 收益209.03元

5

风晓 收益208.24元

6

777 收益172.71元

7

Fhawking 收益106.6元

8

信创来了 收益105.84元

9

克里斯蒂亚诺诺 收益91.08元

10

技术-小陈 收益79.5元

请使用微信扫码

加入交流群

请使用微信扫一扫!