海量智库第12期｜strace工具在Vastbase问题诊断中的妙用
导语
对运维工程师来说，使用跟踪工具对特定进程做跟踪是常用的诊断手段，如AIX上常用的truss工具、Linux上的strace工具等。Vastbase 使用线程模型，跟踪方式不同于国外主流商用数据库等使用进程模型。本文详细介绍在Linux环境下如何使用strace对Vastbase进行跟踪，并分享两个案例。
strace是一个功能强大的Linux调试分析诊断工具，它通过调用内核的ptrace特性跟踪程序执行时进程系统调用(system call)和所接收的信号。它能跟踪到一个进程产生的系统调用，包括参数、返回值、执行消耗的时间等。使用它可以很方便地诊断程序出现的问题。
strace使用介绍
最简单的情况就是使用strace运行指定的命令，直到命令结束。它拦截并记录进程执行的系统调用和进程接收的信号。每个系统调用的名称、参数和返回值都将被显示在标准输出中或可以通过-o选项指定到文件。
下面是使用strace跟踪cat命令的例子：
跟踪的每一行包含系统调用的名称、参数和返回值。strace常用参数介绍：
1
-p，指定要跟踪的pid
2
-o，将跟踪结果输出到文件
3
-t，打印时间戳
4
-T，打印耗时
5
-f，对进程fork出来的线程进行跟踪，结果输出到一个文件
6
-ff，对进程fork出来的线程进行跟踪，每线程一个文件
更多的参数可以参考strace -help输出。
使用strace跟踪Vastbase
使用strace跟踪Vastbase时需要指定参数-f或-ff，实践中我们推荐-ff将每个线程的trace单独生成一个文件。为了方便将跟踪文件和Vastbase线程对应起来，可以提前使用top -Hu或ps -T命令获得线程列表。下面是使用ps -T的一个例子：
上面的例子中Vastbase主进程号是1855，1886是checkpointer的线程号（SPID）。使用-ff对主进程1855做跟踪，生成的所有跟踪文件中后缀为1886的就是checkpointer线程的跟踪文件。
案例分享
DNS问题导致数据库启动缓慢
问题现象
一个月前海量数据MVS团队收到某用户的服务请求，客户反映数据库启动突然变慢。问题发生以前数据库启动仅需数秒，问题发生后每次启动超过一分钟。客户百思不得其解，希望MVS团队帮忙找到根因。收到服务请求后，第一时间给客户致电了解详情：
1
问题发生在私有云环境，数据库部署在云主机上。
2
问题发生前数据库未做任何调整，客户DBA了解到网络方面做了一些调整，具体调整内容未知。
3
除了启动突然变慢之外，没有其他异常。启动后数据库性能未受影响。
问题分析
根据以上信息，我们请客户协助使用strace收集诊断信息：
客户上传strace.sql.out和屏幕输出后，我们首先通过屏幕输出确认了问题：
可以看到数据库启动过程中出现了两次较长时间的等待，屏幕上出现了反复打点现象。检查strace.sql.out我们找到了以下内容：
看到这里对Linux比较熟悉的读者大概已经猜到了问题可能与DNS有关。为了进一步确认，我们又请客户在数据库启动期间对主进程做了pstack：
gethostbyname()返回对应于给定主机名的包含主机名字和地址信息的hostent结构的指针。Vastbase继承了openGauss alert模块，数据库启动阶段需要获取hostname和IP，也就是需要做DNS解析。由于客户在问题发生之前调整了网络，DNS解析出现异常，从而导致问题发生。
解决方案
知道触发原因，解决就相对简单了。只要在/etc/hosts中增加对应条目即可：
修改完成后，数据库启动又恢复了以前的速度。事实上Vastbase安装手册中也是明确要求配置/etc/hosts的。
后记
问题解决了，但我们对问题的探究并没有止步。经过海量数据研发团队进一步分析，对代码进行了优化，避免在数据库启动阶段进行DNS解析，彻底解决了此问题。
网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。
- 上周热门
- 如何使用 StarRocks 管理和优化数据湖中的数据？ 2950
- 【软件正版化】软件正版化工作要点 2872
- 统信UOS试玩黑神话：悟空 2833
- 信刻光盘安全隔离与信息交换系统 2728
- 镜舟科技与中启乘数科技达成战略合作，共筑数据服务新生态 1261
- grub引导程序无法找到指定设备和分区 1226
- 华为全联接大会2024丨软通动力分论坛精彩议程抢先看！ 165
- 2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办 163
- 点击报名 | 京东2025校招进校行程预告 163
- 华为纯血鸿蒙正式版9月底见！但Mate 70的内情还得接着挖... 158
- 本周热议
- 我的信创开放社区兼职赚钱历程 40
- 今天你签到了吗？ 27
- 如何玩转信创开放社区—从小白进阶到专家 15
- 信创开放社区邀请他人注册的具体步骤如下 15
- 方德桌面操作系统 14
- 用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
- 我有15积分有什么用? 13
- 如何让你先人一步获得悬赏问题信息？（创作者必看） 12
- 2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
- 中央国家机关政府采购中心：应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8
