2023中国PostgreSQL数据库生态大会有感(主论坛篇)

主论坛

主论坛第一位上场的是来自清华大学的刑春晓教授，他带来的议题是《先进智能数据库研究—华鼎数据库》，就华鼎数据库(HUABASE)进行了介绍以及对国产数据库未来发展进行了展望，华鼎数据库是基于列存的关系型数据库系统，核心层完全基于Java实现，定位于智能分析应用领域。目前关于华鼎数据库的介绍资料还很少，期待后面可以有更多相关资料，以进一步了解这款数据库。

第二位上场的是丁治明院士，他带来的议题是《数据库技术发展趋势分析》

得益于当下国产化政策持续推动，数据库作为核心基础软件备受重视，国产化趋势愈发明显。

依托于PostgreSQL自身的先进性，PostgreSQL开源生态是国内数据库发展及应用的强大引擎，越来越多的国产数据库选择加入到PostgreSQL生态中，开枝散叶。

丁院士在报告中还提到了数据库迭代演进过程中的发展趋势，聚焦于如下四大方面

1. HTAP、多模、DB4AI/AI4DB，简化技术栈复杂度，降本增效
2. 全密态可信数据库，数据安全多方计算、防篡改数据处理等，提升数据的可靠性与安全性
3. 软硬件协同发展、云原生数据库，端-边-云协同数据管理，给数据管理与分析带来新的机遇与挑战
4. 实时湖仓、流批一批、分布式图数据处理等新兴形态的发展

另外随着当下物联网、车联网、IoT的飞速发展，"时序数据"⼏乎⽆处不在，⼩到⽇常⾐⻝住⾏所涉及的可穿戴设备、智慧农业、⻝品溯源、⼤到推动国家和城市发展的智能制造、能源科技和智慧城市，都在源源不断地产生时序数据，丁院士也在报告中提及时空大数据的发展前景十分可观，相信能够同时处理多样数据结构 (时序 + 地理 + 结构化 + 非结构化 + 图...)的"超融合数据库"能够大有可为。

第三位是来自中国软件测评中心的曾晋主任，他带来的议题是《开源软件供应链安全分析及评估实践》

开源是一种开放的产品形态，同时也是一种无边界的协作模式和开放共赢的合作理念，PostgreSQL 能够发展如此火热也离不开全球开源社区的共同努力。全球开源生态发展进一步成熟，同时开源伴生的风险也进入了集中暴露期，比如开源许可证的风险：

“

根据新思科技发布的《2022 开源安全与风险分析报告》指出，2021年审计的代码库中有53%包含有许可证冲突的开源代码，有17%存在许可证兼容性问题

其次基础软件CVE漏洞频繁出现：

“

2021年12月10日，Apache Log4j2被发现其某些功能存在递归解析功能，存在攻击者可直接构造恶意请求，触发远程代码执行的漏洞。根据工信部发布的《关于阿帕奇Log4j2组件重大安全漏洞的网络安全风险提示》，该漏洞可能导致设备远程受控，进而引发敏感信息窃取、设备服务中断等严重危害，属于高危漏洞。据不完全统计，GitHub 超过8600多个开源软件直接依赖log4j2组件，但通过这些开源软件继续追溯，最终超过20万个开源软件受到了影响。

因此开源代码的使用及普及仍存在着较大挑战。随着软件供应链安全保障活动的持续推进和开源治理平台的不断建设，相信在国内开源生态整体向好的大环境下，每一个个体前进的一小步都会促进整个生态前进一大步。

接下来上场的是来自腾讯云的王云龙老师，他带来的议题是《腾讯云TDSQL平滑去O的新机遇和新挑战》

对于核心系统数据库的替换主要有两条路径

1. 借助于业务系统重构，适配新的数据库，完成数据库替换
2. 业务系统"少变"，"小变"甚至"不变"，完成数据库替换

相信大多数人都会选择第二条路，最好能够原封不动只字不改就能够完成对新数据库的适配，当然假如应用属于"轻数据库"，thin database，与数据库轻度耦合，那么选择第一条路线也是条不错的路线。但是很多行业，以往都是跑在Oracle上面，并且重度依赖数据库，大量函数、存储过程与触发器等，迁移和代码适配量巨大，需要细致且全面的测试，这就对数据库的兼容性能力以及配套的迁移转换工具、迁移评测工具提出了巨大挑战。因此核心系统去O是一个极具挑战的系统工程，王云龙老师也就迁移去O分享了不少经验与心得。

另外，据悉源于自研数据库内核TBase的OpenTenBase将于24年以全新姿态对外开源，同时开源的还有 Oracle兼容能力，对于数据库生态来说是个重要利好。

接下来是亚信AntDB-T负责人洪建辉老师，他带来的议题是《AntDB融合型数据库：实时流数据处理引擎揭秘》

流式数据库是一种可以处理实时、连续数据流的数据库，旨在以低延迟和高吞吐量处理海量数据。尽管批处理系统同样能做数据接入与数据分析，但是流处理系统相比于批处理系统，能够将延迟从小时或者天级别降低到秒级或者分钟级，这在一些业务中将带来巨大好处 (没错，流批一体的概念又来了)。
当然了，PostgreSQL也有这方面的扩展—pipelinedb，pipelinedb是一款开源的流式计算数据库，允许通过SQL的方式，对数据流做操作，并把操作结果持续储存到表中，真是SQL on everywhere啊。

据悉AntDB-T的流处理进程模型基于PostgreSQL进程模型，引入了多个额外辅助进程，比如Smaster 负责流处理子进程的启停、Scomm 负责数据库结点内以及结点之间的通信调度等。面对实时数据流的存储和处理，我们需要的不是一堆零散的 ETL 工具、临时存储数据的消息中间件、孤立的流计算引擎，一个专为流式数据设计的数据库系统就显得尤为重要。AntDB数据库社区版可以在其官网上下载，赶紧尝鲜吧！

接下来上场的是浪潮集团瀚高数据库首席技术官——马继超老师

他带来的议题是《数据库创新应用，护航关键业务安全稳定运行》，介绍了瀚高多样的解决方案全景图，对数据库系统的运行场景、性能表现、架构技术、代码情况、基础配置、特殊设计等关键系统信息进行精准翔实的画像描述，实现过程可控、范围可控、问题可控的迁移方法。

接下来是来自拓数派的杨峻峰老师，他带来的议题是《大数据计算系统的云存储底座》

PieCloudDB具备了云原生数据库的优势，极致弹性、存算分离，同时支持高效的分布式计算能力与完备的SQL能力，为企业构建坚如磐石的虚拟数仓，而"简墨"旨在打造满足不同云场景下的高性能计算系统的数据存储底座，实现数据在不同服务之间的真正互通，一份数据，多引擎计算。

接下来上场的是数据库圈的老前辈白鳝老师，他带来的议题是《PostgreSQL从产品生态到应用运维生态》

白鳝老师介绍了PostgreSQL的友好协议、多样的插件引擎、强大的可观测性，以及国产数据库众生相，越来越多的国产数据库加入到PostgreSQL生态中：

另外白鳝老师着重介绍了NeonDB，丐版的Aurora，利用云底座的能力构建起支持云服务的能力，这种云原生形态的数据库可以大大降低用户使用门槛，NeonDB对PostgreSQL的架构进行了重构，存算分离，将存储层改造成了一个分布式集群，计算单元则放在 k8s pod中，使用PostgreSQL引擎，当没有用户访问时，就清理pod，回收资源。关于NeonDB更多信息，可以参照https://neon.tech/。

接下来上场的是硬核吕海波老师，他带来的议题是《跳出数据库，回看数据库—谈数据库技术的微创新》，光听名字，就知道又是硬核分享了。(此处应有吕大的照片，奈何图片直播图库中没找到)

吕海波老师提到了PMC和PMU，用于发挥CPU潜力，优化程序。特意搜索了一下资料，PMC/PMU是目前实现软件性能调优、系统健康监控以及计算机资源计数等多种性能功耗领域数据采集的基础。

以下便是借助PMC完成对MySQL、PostgreSQL和Oracle的"画像"：

可见一斑，Oracle从解析到执行的时长"遥遥领先"。

最后是由来自中启乘数的唐成老师，他带来的议题是《我为PostgreSQL生态开发的几个开源软件》，PostgreSQL从小工到专家这本书想必各位都曾阅读过，也是我的启蒙指导书。

唐成老师开发的开源软件比如连接池工具ZQPOOL，对标pgbouncer

我们知道pgbouncer是单线程模式，TPS到3W~5W左右就到头了，要么用多个pgboucer+haproxy的形式提升吞吐量，要么使用SO_REUSEPORT机制，将多个pgboucer绑定到同一个端口进行监听，不过这些解决方式都不够优雅，希望pgboucer能够尽快支持多线程。另外值得一提的是，pgbouncer 1.21支持了prepared statement in 事务模式，以往要支持 prepared statement，必须要使用 session 模式，但是这就使得它作为减少数据库连接的作用荡然无存，应用有多少个连接就要开多少个数据库连接，有点顾此失彼的感觉了。

另外一个福音是，CLUP开源了！鼠标点吧几下就可以拥有自带监控高可用的集群，岂不美哉。