达梦数据守护集群软件-DMDataWatch


jyyll
F-hawking 2023-04-17 16:04:32 51485
分类专栏: 资讯

1.简介

达梦数据守护集群软件(DM Data Watch)是⼀种集成化的⾼可靠性解决⽅案,该⽅案基于数据库REDO⽇志,不依赖于第三⽅软件和存储,⽤于解决由于硬件故障、⾃然灾害等原因导致的数据库服务长时间中断问题,提供不间断数据库服务,可同时满⾜⽤户对数据安全性和⾼可⽤性的要求。数据守护包含的主要部件有:主数据库、备数据库、联机REDO⽇志系统、本地REDO⽇志归档服务、实时REDO⽇志归档服务、REDO⽇志重做服务、MAL系统、守护进程和监视器。其中,守护进程和监视器是两个独⽴的⼯具,其他部件集成在DM8数据库服务器DMSERVER中

2.前提

在搭建数据守护系统前,应注意数据守护系统中各实例使⽤的 DM 服务器版本应⼀致,

同时还应注意各实例所在主机的操作系统位数、⼤⼩端模式、时区及时间设置都应⼀致,以及使⽤同⼀个⽤户启动 DM 服务器和守护进程dmwatcher,以免系统在运⾏时出现意想不到的错误。

3.环境准备

准备三台机器 DW_P、DW_S1、DW_M,DW_P 和 DW_S1 ⽤来部署主备库,DW_M ⽤来部署确认监视器。其中 DW_P 和 DW_S1 配置两块⽹卡,⼀块接⼊内部⽹络交换模块,⼀块接⼊到外部交换机,DW_M 接⼊内部⽹络。

三台机器都事先安装了 DM(单机安装过程这边不再赘述),安装路径为'/opt/dmdb',执⾏程序保存在'/opt/dmdb/bin'⽬录中,

数据存放路径为'/opt/dmdb/data',归档⽇志路径'/opt/dmdb/arch',从库先不要启动服务

3.1机器规划

⾓⾊IP地址操作系统备注

DW_P 10.0.61.186(外部)

192.168.0.186(内部)

麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

主库

实例名:DMNODE1

库名:DMDB

DW_S110.0.60.212(外部)

192.168.0.212(内部)

麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

从库

实例名:DMNODE2

库名:DMDB

DW_M10.0.61.90麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

监视器

实例名:DMNODE3

库名:DMDB

3.2端⼝规划

实例名PORT_NUM MAL_INST_DW_PORT MAL_HOST MAL_PORT MAL_DW_PORT

DMNODE152********92.168.0.186********41

DMNODE2523733142192.168.0.2126114252142

4.数据守护搭建

4.1 数据准备

配置数据守护 V4.0 之前,必须先通过备份还原⽅式同步各数据库的数据,确保各数据的数据保持完全⼀致。主库可以是新初始化的数据库,也可以是正在⽣产、使⽤中的数据库。

不能使⽤分别初始化库或者直接拷贝数据⽂件的⽅法,原因如下:

每个库都有⼀个永久魔数(permenant_magic),⼀经⽣成,永远不会改变,主库传送⽇志时会判断这个值是否⼀样,确保是来⾃同⼀个数据守护环境中的库,否则传送不了⽇志。

由于 dminit 初始化数据库时,会⽣成随机密钥⽤于加密,每次⽣成的密钥都不相同,备库⽆法解析采⽤主库密钥加密的数据。

每个库都有⼀个数据库魔数(DB_MAGIC),每经过⼀次还原、恢复操作,DB_MAGIC就会产⽣变化,需要通过这种⽅式来区分同⼀个数据守护环境中各个不同的库。

如果是初始搭建环境,可以通过对主库脱机备份、对备库脱机还原的⽅式来准备数据,如果主库已经处于运⾏状态,则可以对主库进⾏联机备份、对备库脱机还原的⽅式来准备数据。

本次由于是初始搭建环境,所以采⽤对主库脱机备份、对备库脱机还原的⽅式来准备数据

4.1.1 主库脱机备份

1.关闭数据库:

/opt/dmdb/bin/DmServiceDMDB stop

2.进⾏脱机备份:

su - dmdba

/opt/dmdb/bin/dmrman CTLSTMT="BACKUP DATABASE '/opt/dmdb/data/DMDB/dm.ini' FULL TO BACKUP_FILE1BACKUPSET '/opt/dmbak/BACKUP_FIL

3.拷贝备份⽂件到备库所在机器

可以通过scp或者ftp⼯具将备份数据传输到从库/opt下

4.执⾏脱机数据库还原与恢复

su - dmdba

/opt/dmdb/bin/dmrman CTLSTMT="RESTORE DATABASE '/opt/dmdb/data/DAMENG/dm.ini' FROM BACKUPSET'/opt/dmbak/BACKUP_FILE_01'"

/opt/dmdb/bin/dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdb/data/DAMENG/dm.ini' FROM BACKUPSET'/opt/dmbak/BACKUP_FILE_01'"

/opt/dmdb/bin/dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdb/data/DAMENG/dm.ini' UPDATE DB_MAGIC"

恢复后不要启动数据库服务

4.2 配置主库DMNODE1

4.2.1 修改主库dm.ini

vim opt/dmdb/data/DMDB/dm.ini

配置如下:

INSTANCE_NAME = DMNODE1

PORT_NUM = 5236 #数据库实例监听端⼝

DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0 #不允许⼿⼯⽅式修改实例模式/状态/OGUID

ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间

MAL_INI = 1 #打开 MAL 系统

ARCH_INI = 1 #打开归档功能

RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的⽇志发送信息

4.2.2 修改主库dmmal.ini

配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全⼀致,MAL_HOST 使⽤内部⽹

络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使⽤不同的端⼝值,MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端⼝

dmmal.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmmal_example.ini

先将其拷贝⾄/opt/dmdb/data/DMDB/下,并进⾏如下配置

vim opt/dmdb/data/DMDB/dmmal.ini

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔

MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间

[MAL_INST1]

MAL_INST_NAME = DMNODE1 #实例名,和 dm.ini 中的 INSTANCE_NAME ⼀致

MAL_HOST = 192.168.0.168 #MAL 系统监听 TCP 连接的 IP 地址

MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端⼝

MAL_INST_HOST = 10.0.61.186 #实例的对外服务 IP 地址

MAL_INST_PORT = 5236 #实例的对外服务端⼝,和 dm.ini 中的 PORT_NUM ⼀致

MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端⼝

MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端⼝

[MAL_INST2]

MAL_INST_NAME = DMNODE2

MAL_HOST = 192.168.0.212

MAL_PORT = 61142

MAL_INST_HOST = 10.0.60.212

MAL_INST_PORT = 5237

MAL_DW_PORT= 52142

MAL_INST_DW_PORT= 33142

4.2.3 配置dmarch.ini

修改 dmarch.ini,配置本地归档和实时归档。

除了本地归档外,其他归档配置项中的 ARCH_DEST 表⽰实例是 Primary 模式时,需要同步归档数据的⽬标实例名。

当前实例DMNODE1是主库,需要向 DMNODE2(实时备库)同步数据,因此实

时归档的 ARCH_DEST 配置为 DMNODE2。

vi opt/dmdb/data/DMDB/dmarch.ini

[ARCHIVE_REALTIME]

ARCH_TYPE = REALTIME #实时归档类型

ARCH_DEST = DMNODE2 #实时归档⽬标实例名

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL #本地归档类型

ARCH_DEST = opt/dmdb/arch #本地归档⽂件存放路径

ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档⽂件最⼤值

ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表⽰⽆限制,范围 1024~4294967294M

4.2.4 配置dmwatcher.ini

修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使⽤⾃动切换模式dmwatcher.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmwatcher_example.ini 先将其拷贝⾄/opt/dmdb/data/DMDB/下,并进⾏如下配置

vim opt/dmdb/data/DMDB/dmwatcher.ini

[GRP1] #守护进程组名

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #⾃动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 453331 #守护系统唯⼀ OGUID 值

INST_INI = opt/dmdb/data/DMDB/dm.ini #dm.ini 配置⽂件路径

INST_AUTO_RESTART = 1 #打开实例的⾃动启动功能

INST_STARTUP_CMD = opt/dmdb/bin/dmserver #命令⾏⽅式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送⽇志到备库的时间阈值,默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演⽇志的时间阈值,默认关闭

4.2.5 启动主库

以 Mount ⽅式启动主库

su - dmdba

/opt/dmdb/bin/dmserver opt/dmdb/data/DMDB/dm.ini mount

(⼀定要以 Mount ⽅式启动数据库实例,否则系统启动时会重构回滚表空间,⽣成 Redo ⽇志;并且,启动后应⽤可能连接到数据库实例进⾏操作,破坏主备库的数据⼀致性。数据守护配置结束后,守护进程会⾃动 Open 数据库。)

4.2.6 设置OGUID

启动命令⾏⼯具 DIsql,登录主库设置 OGUID 值

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);

SQL>sp_set_oguid(453331);

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

(系统通过 OGUID 值确定⼀个守护进程组,由⽤户保证 OGUID 值的唯⼀性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。)

4.2.7 修改数据库模式

启动命令⾏⼯具 DIsql,登录主库修改数据库为 Primary 模式

SQL>alter database primary;

4.3 配置从库DMNODE2

4.3.1 配置dm.ini

vim opt/dmdb/data/DMDB/dm.ini

配置如下

INSTANCE_NAME = DMNODE2

PORT_NUM = 5237 #数据库实例监听端⼝

DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0 #不允许⼿⼯⽅式修改实例模式/状态/OGUID

ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间

MAL_INI = 1 #打开 MAL 系统

ARCH_INI = 1 #打开归档功能

RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的⽇志发送信息

4.3.2 配置dmmal.ini

配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全⼀致,MAL_HOST 使⽤内部⽹

络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使⽤不同的端⼝值,MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端⼝

dmmal.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmmal_example.ini

先将其拷贝⾄/opt/dmdb/data/DMDB/下,并进⾏如下配置

vim opt/dmdb/data/DMDB/dmmal.ini

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔

MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间

[MAL_INST1]

MAL_INST_NAME = DMNODE1 #实例名,和 dm.ini 中的 INSTANCE_NAME ⼀致

MAL_HOST = 192.168.0.168 #MAL 系统监听 TCP 连接的 IP 地址

MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端⼝

MAL_INST_HOST = 10.0.61.186 #实例的对外服务 IP 地址

MAL_INST_PORT = 5236 #实例的对外服务端⼝,和 dm.ini 中的 PORT_NUM ⼀致

MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端⼝

MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端⼝

[MAL_INST2]

MAL_INST_NAME = DMNODE2

MAL_HOST = 192.168.0.212

MAL_PORT = 61142

MAL_INST_HOST = 10.0.60.212

MAL_INST_PORT = 5237

MAL_DW_PORT= 52142

MAL_INST_DW_PORT= 33142

4.3.3 配置dmarch.ini

修改 dmarch.ini,配置本地归档和实时归档。

除了本地归档外,其他归档配置项中的 ARCH_DEST 表⽰实例是 Primary 模式时,需

要同步归档数据的⽬标实例名。

当前实例DMNODE2是主库,守护系统配置完成后,可能在各种故障处理中,DMNODE2 切换为新的主库,正常情况下,DMNODE1 会切换为新的备库,需要向DMNODE1 同步数据,因此实时归档的 ARCH_DEST 配置为 DMNODE1

vi /opt/dmdb/data/DMDB/dmarch.ini

[ARCHIVE_REALTIME]

ARCH_TYPE = REALTIME #实时归档类型

ARCH_DEST = DMNODE1 #实时归档⽬标实例名

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL #本地归档类型

ARCH_DEST = /opt/dmdb/arch #本地归档⽂件存放路径

ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档⽂件最⼤值

ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表⽰⽆限制,范围 1024~4294967294M

4.3.4 配置dmwatcher.ini

修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使⽤⾃动切换模式dmwatcher.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmwatcher_example.ini 先将其拷贝⾄/opt/dmdb/data/DMDB/下,并进⾏如下配置

vim /opt/dmdb/data/DMDB/dmwatcher.ini

[GRP1] #守护进程组名

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #⾃动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 453331 #守护系统唯⼀ OGUID 值

INST_INI = /opt/dmdb/data/DMDB/dm.ini #dm.ini 配置⽂件路径

INST_AUTO_RESTART = 1 #打开实例的⾃动启动功能

INST_STARTUP_CMD = /opt/dmdb/bin/dmserver #命令⾏⽅式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送⽇志到备库的时间阈值,默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演⽇志的时间阈值,默认关闭

4.3.5 启动从库

以 Mount ⽅式启动主库

su - dmdba

/opt/dmdb/bin/dmserver /opt/dmdb/data/DMDB/dm.ini mount

(⼀定要以 Mount ⽅式启动数据库实例,否则系统启动时会重构回滚表空间,⽣成 Redo ⽇志;并且,启动后应⽤可能连接到数据库实例进⾏操作,破坏主备库的数据⼀致性。数据守护配置结束后,守护进程会⾃动 Open 数据库。)

4.3.6 设置OGUID

启动命令⾏⼯具 DIsql,登录主库设置 OGUID 值

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);SQL>sp_set_oguid(453331);SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0)

(系统通过 OGUID 值确定⼀个守护进程组,由⽤户保证 OGUID 值的唯⼀性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。)

4.3.7 修改数据库模式

启动命令⾏⼯具 DIsql,登录从库修改数据库为 standby模式

如果当前数据库不是 Normal 模式,需要先修改 dm.ini 中 ALTER_MODE_STATUS 值为 1,允许修改数据库模式,修改 Standby 模式成功后再改回为 0。如果是 Normal 模式,请忽略下⾯的第 1 步和第 3 步

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1); ----第 1 步

SQL>alter database standby; ----第 2 步

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0); ----第 3 步

4.4 配置监视器

由于主库和实时备库的守护进程配置为⾃动切换模式,因此这⾥选择配置确认监视器。

和普通监视器相⽐,确认监视器除了相同的命令⽀持外,在主库发⽣故障时,能够⾃动通知

实时备库接管为新的主库,具有⾃动故障处理的功能。

(故障⾃动切换模式下,必须配置确认监视器,且确认监视器最多只能配置⼀

个)

dmmonitor.ini的模板在/opt/dmdb/samples/init_scripts/UTF-8/dmmonitor_example.ini

将其拷贝⾄/opt/dmdb/data/DMDB/下,修改 dmmonitor.ini 配置确认监视器,其中 MON_DW_IP 中的 IP 和 PORT 和dmmal.ini 中的MAL_HOST 和 MAL_DW_PORT 配置项保持⼀致

MON_DW_CONFIRM = 1 #确认监视器模式

MON_LOG_PATH = /dm/data/log #监视器⽇志⽂件存放路径

MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到⽇志⽂件

MON_LOG_FILE_SIZE = 32 #每个⽇志⽂件最⼤ 32M

MON_LOG_SPACE_LIMIT = 0 #不限定⽇志⽂件总占⽤空间

[GRP1] #守护进程组名,和dmwatcher.ini中的保持⼀致

MON_INST_OGUID = 453331 #组 GRP1 的唯⼀ OGUID 值

#以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置

#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT

MON_DW_IP = 192.168.0.186:52141

MON_DW_IP = 192.168.0.212:52142

4.5 启动守护进程

启动各个主从库上的守护进程:

su - dmdba

/opt/dmdb/bin/dmwatcher /opt/dmdb/data/DMDB/dmwatcher.ini

守护进程启动后,进⼊ Startup 状态,此时实例都处于 Mount 状态。守护进程开始⼴播⾃⾝和其监控实例的状态信息,结合⾃⾝信息和远程守护进程的⼴播信息,守护进程将本地实例 Open,并切换为 Open 状态

4.6 启动监视器

启动监视器:

su - dmdba

/opt/dmdb/bin/dmmonitor /opt/dmdb/data/DMDB/dmmonitor.ini

监视器提供⼀系列命令,⽀持当前守护系统状态查看以及故障处理,可输⼊ help 命令,

查看各种命令说明使⽤,结合实际情况选择使⽤。

⾄此⼀主⼀备的实时数据守护系统搭建完毕,在搭建步骤和各项配置都正确的情况下,在监视器上执⾏ show 命令,可以监控到所有实例都处于 Open 状态,所有守护进程也都处于 Open 状态,即为正常运⾏状态。

启动后:

PS:如果没有监测到守护进程,则需检查防⽕墙是否关闭

5 数据守护集群验证

监视器执⾏show命令检查状态:

登录主库执⾏:

登陆从库验证:

由此达梦8数据守护集群搭建成功

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:https://www.xckfsq.com/news/show.html?id=20516
赞同 0
评论 0 条
F-hawkingL3
粉丝 9 发表 151 + 关注 私信
上周热门
如何使用 StarRocks 管理和优化数据湖中的数据?  2947
【软件正版化】软件正版化工作要点  2868
统信UOS试玩黑神话:悟空  2828
信刻光盘安全隔离与信息交换系统  2723
镜舟科技与中启乘数科技达成战略合作,共筑数据服务新生态  1256
grub引导程序无法找到指定设备和分区  1221
华为全联接大会2024丨软通动力分论坛精彩议程抢先看!  165
2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办  163
点击报名 | 京东2025校招进校行程预告  163
华为纯血鸿蒙正式版9月底见!但Mate 70的内情还得接着挖...  158
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
如何玩转信创开放社区—从小白进阶到专家 15
信创开放社区邀请他人注册的具体步骤如下 15
方德桌面操作系统 14
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
我有15积分有什么用? 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心:应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8

加入交流群

请使用微信扫一扫!