通过监控图看不出什么问题,从 DB 层观察也无明显异常,登录机器,执行 top
命令,没有消耗资源特别高的进程,但是发现了以下异常:
系统 CPU 使用率达到约 20%。从监控图看 5 月 14 号以后系统 CPU 使用率突然飙高,尾部拐点也是优化后效果。
top
命令中发现了 df
命令进程。一般 df
命令都是快速返回结果,很难在 top
中发现的,于是手工执行 df
命令,竟然卡死了,也退出不了。
根据经验这应该是挂载了 NFS 文件系统,NFS Server 端连不上了。查看 /etc/fstab
,使用了 NFS 文件系统 /backup
;umount
卸载报设备繁忙;fuser -m -v
发现了一堆进程在使用 NFS。
找了几个进程,kill -9
还杀不掉,umount -l
先将文件系统惰性卸载掉了,再慢慢地清理了这些卡死进程后负载从 80 降到了 10。
从系统负载高还意外收获了 SYS CPU 使用率高,本次负载高跟以往的情况不同,是一点一点慢慢的上去的,同时 CPU/MEMORY/IO 并无明显波动趋势,需要结合各种监控工具仔细观察及分析。
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
加入交流群
请使用微信扫一扫!