5分钟带您了解DRS录制回放

风晓 2024-01-14 09:34:43  50420 赞同 0 反对 0

分类：资源标签：国产数据库

5分钟带您了解DRS录制回放

什么是DRS录制回放？

DRS录制回放是将源数据库发生的真实业务流量，在目标数据库模拟执行，从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段，录制过程是从源数据库上将所需时间段内的全部SQL原语句（包括增、删、改、查）通过审计日志下载、录制代理等进行采集；回放是将采集到的全部SQL语句在目标数据库上进行执行（目标数据库需有源数据库的初始数据）。

DRS录制回放与DRS、UGO的关系

数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效，用于数据库实时迁移和数据库实时同步的云服务，着重于数据库毫秒级数据同步，支持同构异构数据库之间的数据传输/搬迁，降低数据库之间数据流通的复杂性，减少数据传输成本。

数据库和应用迁移 UGO（Database and Application Migration UGO，简称UGO）是专注于异构数据库结构迁移的云服务，可将源数据库中的DDL、DML和DCL一键自动转换为华为云GaussDB的SQL语法，最大化降低用户数据库的迁移成本。

录制回放是DRS提供的业务仿真特性，结合DRS+UGO，以及DRS提供的数据一致性对比能力，形成了华为云数据库迁移整体解决方案，以保障客户割接过程的平滑性以及割接后数据库的稳定可靠运行。

技术原理

1.初始数据生成

在录制回放开始前，需要为目标数据库创建初始数据，初始数据的来源是源数据库某一时刻的快照数据。一致性模式场景下需要构建两个目标数据库，以某商业数据库（以下简称X数据库）到GaussDB为例，一个是X数据库回放数据库，一个是GaussDB回放数据库，两个回放数据库的初始数据必须完全一致。X数据库回放数据库的初始数据可以通过X数据库的备份恢复机制生成，GaussDB回放库的初始数据可以通过DRS数据同步能力，把X数据库回放数据库的初始数据全量同步过来。两个回放数据库的初始数据生成之后，建议做一次数据对比，确保数据一致。

2.流量录制

公有云场景主要支持自建或其他云上的MySQL生态数据库到华为云RDS for MySQL、GaussDB(for MySQL)的录制回放，流量录制以源数据库提供的全量SQL、审计日志等技术为主。

具体流程如下：

1）在源数据库上开启审计日志或者全量SQL，等待业务执行一段时间。

2）将业务执行期间生成的审计日志或者全量SQL上传到华为云OBS。

3）在DRS上创建录制回放任务，选择上传到OBS的审计日志或全量SQL文件，DRS录制回放任务会读取审计日志或全量SQL文件，根据任务配置的源数据库类型解析出数据文件中的SQL信息，包含SQL语句、SQL类型、SQL执行时间、Schema名称、Session ID、客户端IP等，根据SQL语句的执行时间进行分片存储在元数据库中，在目标数据库上进行回放。

HCS场景主要支持常用自建数据库到GaussDB等几条链路的录制回放能力，流量录制均基于网络旁路抓包与协议解析技术，通过部署抓包Agent，在服务器上对数据库端口进行TCP/IP网络数据包抓取，分析推测出业务执行的SQL信息，该技术对源数据库影响极小且SQL抓取率极高。具体流程如下：

1）在源数据库上部署流量采集Agent包。

2） Agent采集服务器上对应数据库端口的TCP/IP网络包，通过UDP协议发给流量采集器，生成流量数据文件。

3）流量解析模块读取流量数据文件，分析推测出业务执行的SQL信息，包含连接ID、客户端类型、SQL类型、SQL语句、绑定变量值、执行开始时间、执行结束时间、执行是否成功、存储过程参数等信息，根据SQL语句的执行时间进行分片存储在元数据库中，在目标数据库上进行回放。

3.流量回放

将流量录制的SQL语句在目标上根据配置的回放模式进行回放，实现业务SQL的兼容性验证、执行性能评估、结果一致性验证等。具体原理如下：

1）异构场景下，会对流量录制的SQL语句进行语法转换，转换成目标数据库支持的语法，避免因为SQL语法的差异导致在目标数据库回放时出现语法错误。

2）
语法转换成功后，通过流量控制器将待回放的SQL语句根据不同的回放模式进行调度控制，以便验证不同场景的回放结果。流量控制器支持三种回放模式：

仿真模式：完全模拟源数据库的流量和并发进行回放，以便验证相同压力下目标数据库的运行情况。

摸高模式：把源数据库流量等比例成倍增加压力，以便验证目标数据库可以承受的最大压力情况。

一致性模式：以单并发的方式在两个目标数据库回放，确保回放的顺序完全一致，以达到回放后的数据也是一致的目的。回放完成后可通过数据对比工具对比两个目标库的数据，在排除了幂等SQL的前提下，验证所有SQL是否在两个目标库上语义完全一致。

3） SQL回放器往目标数据库中并发回放SQL，场景不同，回放方式也不同。仿真和摸高模式，采用多并发回放，两个目标数据库是独立的，互不干扰。一致性模式，采用单并发回放，两个目标数据库回放是同步，即对于一条SQL，先回放同构目标数据库，成功之后再回放异构目标数据库，如果同构目标数据库回放失败，则该SQL就不再异构目标数据库上回放了。

4）回放完成的SQL会经过回放分析器进行分析，将回放异常的结果以及根据配置的慢SQL标准分析得出的慢SQL结果存入回放记录表中。

应用场景

数据库兼容性和性能验证

互联网客户将云数据库搬迁到华为云数据库RDS for MySQL或GaussDB(for MySQL)，以及金融客户使用华为云GaussDB数据库替代传统数据库，可以采用录制回放验证华为云数据库的稳定性和性能。

数据库重大问题复现定位

针对异构数据库搬迁，如某商业数据库搬迁到GaussDB，如内核做了该商业数据库类型的兼容性或者使用UGO进行对象迁移，可以采用录制回放验证存储过程、触发器等对象的执行成功率和结果的正确性。

数据库大版本间升级验证

RDS for MySQL、GaussDB(for MySQL)及GaussDB从各自的低版本升级到高版本，可以采用录制回放验证版本升级后是否存在功能变化或性能劣化。

DRS录制回放，通过业务仿真提前感知业务稳定性和性能，保障客户割接后数据库的稳定可靠运行。

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

5分钟带您了解DRS录制回放

什么是DRS录制回放？

DRS录制回放与DRS、UGO的关系

技术原理

1.初始数据生成

2.流量录制

3.流量回放

应用场景

相关资源

关注我们