万里数据库受邀2021DTCC 展现新一代分布式数据库技术

prtyaa 2024-01-02 23:39:45  51557

分类专栏：资讯

DTCC大会历经十年积累和沉淀，已成长为国内数据库领域的技术风向标，见证了整个行业的发展与演变，被视为国内顶级的数据库领域技术盛会。

本届大会以“数造未来”为主题，设置2大主会场，20+技术专场，邀请了超百位行业专家，重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨，为广大数据领域从业人士打造了一场年度盛会和交流平台。

10月20日下午，万里数据库资深技术专家、TCPCopy研发作者、专业开源人士王斌先生在性能优化与SQL审计专场带来了题为《MySQL高可用组件MGR之深度分析》的主题分享。

王斌先生拥有十数年后台系统开发经验，尤其擅长处理性能优化、网络处理和问题诊断等技术难题，对网络和分布式系统造诣颇深，曾先后从事过分布式数据库系统开发、数据库开源中间件Cetus开发、开源项目TCPCopy开发等项目，并主导开发了网易广告投放系统。在万里数据库MySQL MGR改造工作中，发现MGR各类Bug 200余项，修复极度影响用户使用的Bug 100余项，投入了大量的精力与热忱。

此次演讲，他从性能和实用性两方面出发，分别从paxos通信协议、高可用模式、网络条件、状态机复制模型、多机房容灾场景等技术人员关注的层面带领大家共同挖掘MGR自身的潜力和实用模式。

1、MGR底层paxos通信协议为什么存在性能缺陷？我们是如何发现和解决的？

王斌：底层paxos算法的实现好坏，决定了性能潜力和跨城部署情况下mgr能否实用。经过万里数据库改造，正常情况下，一个事务的提交信息达成一致性需要的时间从官方版本的2个rtt降低为1个rtt。

2、针对MySQL单主模式，如何打造出低内存消耗、无性能抖动的新高可用模式？

王斌：官方mgr采用了最慢节点性能模型，受制于木桶原理，在poc测试场景中mgr集群性能很差。为适应poc测试，万里数据库设计了一套新的性能模型，可以规避最慢模型的缺陷。据我们现场poc测试，改造后的版本比官方版本吞吐量提升了300%。

3、官方mgr要求网络条件非常高，应如何降低这些条件以支持更多应用场景呢？

王斌：实际项目应用过程中，常遇到网络抖动、其它应用干扰、节点的崩溃或退出以及节点的加入等问题。为了更好支持mgr应用，万里数据库进行了大量改造，例如对mgr内部协程调度的算法调整，以更好的抗抖动性能支持MySQL的高可用。

4、状态机复制在数据库研究领域非常火，MySQL采用状态机复制模型即mgr，还需注意什么？

王斌：MySQL本身是复杂的，很多操作不具备状态机复制的要求，这些操作容易导致整个集群的数据不一致。因此，凡是不符合状态机复制的操作，一律需要规避。

5、多机房面对灾难场景，如何尽可能地确保备机房不丢数据？

王斌：为响应用户需求，万里数据库实现了基于地理标签的paxos通信机制，大部分情况下可做到跨机房部署情况下的数据不丢失。

本届大会上，万里数据库特设展位，携多位技术专家及业务专家展示公司研发的新一代分布式数据库技术，与数据领域的嘉宾及观众展开深度交流。

公司带来的安全数据库GreatDB分布式、安全数据库GreatDB集中式、目录服务系统、云数据库服务平台、数据迁移工具、数据同步工具等一系列核心数据库产品及金融、运营商、能源等多个行业的典型案例受到了与会嘉宾的高度关注，众多参观嘉宾对万里的分布式数据库技术及应用实践表现出了极大的兴趣，参观人群如潮，体现了数字化转型的大趋势所在。

数据创造价值，技术成就未来。数据库作为国家基础软件领域的关键技术之一，对国家安全、国家信息技术发展、国家数字经济发展及企业数字化转型均具有重大意义。

打造极致性能、极致稳定、极致易用的数据库产品始终是万里数据库的初心与使命所在。万里数据库致力于数据库产品及技术的创新研发，力求为千行百业客户数字化转型提供坚实的技术支撑，为加快国家数字经济的发展尽献全部力量。

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=34512

赞同 0

评论 0 条

万里数据库受邀2021DTCC 展现新一代分布式数据库技术

相关文章

关注我们