程序员笔记 (三十九)监控Kafka集群


aihuafeng66t
克里斯蒂亚诺诺 2024-01-12 14:05:13 66308 赞同 0 反对 0
分类: 资源 标签: 运维
程序员笔记 (三十九)监控Kafka集群

(一)集群健康度检查

在深入查看一个 Kafka生产集群环境的各个组件之前,运维人员有必要在全局对集群的健康度检查高屋建领般地做一个详尽的“顶层设计”。

所有 broker 的执行状态,包括运行状态、所属版本、底层日志路径磁盘使用情况、所在机器的物理负载情况、系统日志是否有严重错误等

ZooKeeper 运行状态,包括版本、底层文件系统使用情况 (特别是快照所在磁盘空间使用)、所在机器物理负载情况等。

集群中所有主题(topic)分布以及分区状态,包括所有 topic 的分区情况以及每个分区leader副本的存活情况等。

客户端应用(clientsapplication)运行状态,包括客户端应用负载分析、有无消费者(consumer端)消费滞后、有无生产者(producer端)超时等。

版本匹配性,全面了解集群中所有 clients端应用程序API版本与 broker端版本的适配性。

集群中定时作业的运行状态,全面了解当前集群中有哪些大的定时作业(如preferredleader选举)或当前正在手动执行哪些耗时作业(如分区重分配)。

图片

(二)

图片

(三)

图片

(四)下面总结一下调优TPS的一些参数清单和要点

图片

(五)

图片

(六)

图片

图片

(七)

图片

图片

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!

评价 0 条
克里斯蒂亚诺诺L1
粉丝 0 资源 831 + 关注 私信
最近热门资源
国产操作系统环境搭建(内含镜像资源链接和提取码)  89
银河麒麟桌面操作系统V10SP1-2403-update1版本中,通过“麒麟管家-设备管理-硬件信息-硬盘”查看硬盘类型时,显示的是HDD(机械硬盘),而实际上该笔记本的硬盘类型为SSD  88
分享几个在日常办公中可以用到的shell脚本  81
以openkylin为例编译安装内核  79
bat脚本生成查看电脑配置\硬件信息  78
常见系统问题及其解决方法  77
分享解决宏碁电脑关机时自动重启的方法  75
统信uosboot区分未挂载导致更新备份失败  69
分享如何解决报错:归档 xxx.deb 对成员 control.tar.zst 使用了未知的压缩,放弃操作  69
统信uos安装mysql的实例参考  63
最近下载排行榜
国产操作系统环境搭建(内含镜像资源链接和提取码) 0
银河麒麟桌面操作系统V10SP1-2403-update1版本中,通过“麒麟管家-设备管理-硬件信息-硬盘”查看硬盘类型时,显示的是HDD(机械硬盘),而实际上该笔记本的硬盘类型为SSD 0
分享几个在日常办公中可以用到的shell脚本 0
以openkylin为例编译安装内核 0
bat脚本生成查看电脑配置\硬件信息 0
常见系统问题及其解决方法 0
分享解决宏碁电脑关机时自动重启的方法 0
统信uosboot区分未挂载导致更新备份失败 0
分享如何解决报错:归档 xxx.deb 对成员 control.tar.zst 使用了未知的压缩,放弃操作 0
统信uos安装mysql的实例参考 0
作者收入月榜
1

prtyaa 收益401.13元

2

zlj141319 收益237.91元

3

哆啦漫漫喵 收益231.75元

4

IT-feng 收益219.92元

5

1843880570 收益214.2元

6

风晓 收益208.24元

7

777 收益173.17元

8

Fhawking 收益106.6元

9

信创来了 收益106.03元

10

克里斯蒂亚诺诺 收益91.08元

请使用微信扫码

添加我为好友,拉您入交流群!

请使用微信扫一扫!