故障分析 | 数据库主机负载高一例分析


外向笑小鸭子
外向笑小鸭子 2024-01-02 10:24:16 50423
分类专栏: 资讯

2故障分析

通过监控图看不出什么问题,从 DB 层观察也无明显异常,登录机器,执行 top 命令,没有消耗资源特别高的进程,但是发现了以下异常:

系统 CPU 使用率较高

系统 CPU 使用率达到约 20%。从监控图看 5 月 14 号以后系统 CPU 使用率突然飙高,尾部拐点也是优化后效果。

异常进程

top 命令中发现了 df 命令进程。一般 df 命令都是快速返回结果,很难在 top 中发现的,于是手工执行 df 命令,竟然卡死了,也退出不了。

根据经验这应该是挂载了 NFS 文件系统,NFS Server 端连不上了。查看 /etc/fstab,使用了 NFS 文件系统 /backupumount 卸载报设备繁忙;fuser -m -v 发现了一堆进程在使用 NFS。

找了几个进程,kill -9 还杀不掉,umount -l 先将文件系统惰性卸载掉了,再慢慢地清理了这些卡死进程后负载从 80 降到了 10。

3总结

从系统负载高还意外收获了 SYS CPU 使用率高,本次负载高跟以往的情况不同,是一点一点慢慢的上去的,同时 CPU/MEMORY/IO 并无明显波动趋势,需要结合各种监控工具仔细观察及分析。

 

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:https://www.xckfsq.com/news/show.html?id=34085
赞同 0
评论 0 条
外向笑小鸭子L0
粉丝 0 发表 622 + 关注 私信
上周热门
如何使用 StarRocks 管理和优化数据湖中的数据?  2941
【软件正版化】软件正版化工作要点  2860
统信UOS试玩黑神话:悟空  2819
信刻光盘安全隔离与信息交换系统  2712
镜舟科技与中启乘数科技达成战略合作,共筑数据服务新生态  1246
grub引导程序无法找到指定设备和分区  1213
华为全联接大会2024丨软通动力分论坛精彩议程抢先看!  163
点击报名 | 京东2025校招进校行程预告  162
2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办  160
华为纯血鸿蒙正式版9月底见!但Mate 70的内情还得接着挖...  157
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
信创开放社区邀请他人注册的具体步骤如下 15
如何玩转信创开放社区—从小白进阶到专家 15
方德桌面操作系统 14
我有15积分有什么用? 13
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心:应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8

加入交流群

请使用微信扫一扫!