华为GaussDB发展历程
华为公司研究和开发数据库技术及产品,最早可追溯到2001年。当时,华为公司中央研究院Dopra团队为了支撑华为所生产的电信产品(交换机、路由器等),启动了内存数据存储组件DopraDB的研发,从此开启了华为自研数据库的历程。DopraDB后来随着业务和组织的切换,成为华为高斯数据库团队的GMDB V1系列产品。之后华为又研发了以内存为中心的SMDB数据库和基于PostgreSQL开源数据库开发ProtonDB,这是华为与开源数据库PostgreSQL数据库的第一次亲密接触。
2012年华为实验室中央软件院下成立了专门负责数据库产品和技术的研发部门,为了纪念大数学家高斯(Gauss)取名高斯部,之后发布的数据库产品也以高斯命名。
随着华为在2019年对业界正式发布高斯数据库,华为自研数据库进入了第三阶段,即数据库产业化阶段。
华为公司研究数据库是从满足生产实践出发,从研发用于满足局限场景的较简单架构数据库产品开始,逐步向通用性、可规模商用的数据库产品演进,到2019年终于正式发布面向企业客户场景的通用分布式数据库产品,其发展历程如下图所示。
华为GaussDB系列简介
华为高斯数据库主要包括三个系列:GMDB内存数据库、GaussDB 100 OLTP数据库和GaussDB 200 OLAP数据库。
GMDB内存数据库
GMDB的研发初衷是为了解决电信软件公司在SMDB使用中面临的“开发效率低、数据一致性弱”的关键痛点而研发,是一款支持SQL/关系模型和ACID能力的全功能内存数据库。V2产品于2012年起在融合计费系统中成功商用,到2018年,基于GMDB V2内存数据库产品的融合计费系统所支撑的用户超过20亿。
2016年起,华为高斯启动分布式内存数据库GMDB V3的研发,主要面向核心网产品线NFV场景。2018年GMDB在NFV首次商用,并在电信行业的NFV场景第一个实现了灰度升级、在线补丁升级等关键能力。
GaussDB 100 OLTP数据库
GaussDB 100 OLTP数据库是基于PostgreSQL V8发展而来,主要是面向华为内部各产品线管理系统中所使用的OLTP类数据库场景。2016年华为启动分布式OLTP数据库的研发工作,具备分布式事务强一致、高性能、高扩展、高可用等特点,满足金融、电信、能源等主流行业核心业务系统的需求。
OLTP业务场景对故障业务中断时间的容忍度非常低,并且任何故障都不允许出现数据错误及丢失的情况,即要求RTO(Recovery Time Objective)和RPT(Recovery Point Objective)都等于0。
针对这些需求,GaussDB 100数据库采用并行恢复和存储异步回放机制优化RTO,能够做到AZ内的故障RTO<10s,AZ故障RTO<60s;采用多副本RAFT复制机制保证数据的可靠性,即RPO=0。
GaussDB 100数据库实现了基于GTM的全局时间戳,GTM-Lite技术可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单GTM的性能瓶颈。
GaussDB 200 OLAP数据库
2012年,华为启动了PteroDB(羽龙)项目,孵化面向企业数据仓库场景的MPP架构OLAP数据库。2014年华为公司成功击败竞争对手进入工商银行总行下一代EDW(Enterprise Data Warehouse,企业数据仓库)联合创新项目。经过工商银行2年孵化,GaussDB 200于2016年开始进入商用,逐步替换了友商数据仓库一体机产品。2019年一季度,工商银行总行最后一台友商数据仓库一体机下线、业务负载全面由GaussDB200承载。
GaussDB 200 数据库采用列存储引擎提高存储的压缩比和面向列的计算能力,向量化的执行相对于传统的执行模式改变是对于一次一元组的修改模型修改为一次一批元组,且按照列运算,给性能带来了巨大的提升。
华为GaussDB持续创新能力
随着数据库规模和用户群体的快速扩张,传统数据库越来越难以在并行处理多样查询和存储模式的同时保证高性能。从硬件使用的角度来看,传统数据库系统主要存在以下问题:
传统数据库系统主要使用通用芯片和传统SMP架构,不能很好地支持NUMA;
传统数据库系统仅支持有限的算子操作。
为了解决以上问题,华为公司围绕3个方面提出一种面向鲲鹏和昇腾的创新架构。
支持基于NUMA架构的鲲鹏芯片,一方面提高对数据密集型操作的优化能力,另一方面更好地提供大规模的数据计算能力,实现数据库千核并发的能力;
部署昇腾AI芯片,支持和优化AI算法中不同类型的算子操作,并且通过SQL语句来支持数据库内AI算子;
利用内置的AI算法对基础芯片群进行组合和调度,进一步提高数据库的计算能力和效率。
作为中国乃至全球信息产业界的顶流,华为在各个领域都取得了非常高的成就,数据库领域也不例外。GaussDB系列产品在工行、招行、邮储等金融客户的核心系统中得到广泛的适用,在数据库国产化替代过程中发挥了重要的作用。
如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!
加入交流群
请使用微信扫一扫!