程序员笔记 (三十三)Kafka


aihuafeng66t
克里斯蒂亚诺诺 2024-01-12 14:03:31 64901 赞同 0 反对 0
分类: 资源 标签: 运维
程序员笔记 (三十三)Kafka

(一)单KafkaConsumer实例+多 worker线程

图片本例使用全局的 KafkaConsumer 实例执行消息获取,然后把获取到的消息集合交给线程池中的worker线程执行工作。之后 worker 线程完成处理后上报位移状态,由全局consumer提交位移。

(二)

消息设计

图片

图片

(三)

图片

/brokers:里面保存了 Kafka集群的所有信息,包括每台 broker 的注册信息,集群上所有topic的信息等。

/controller:保存了Kafka controller组件(controller负责集群的领导者选举,6.17节将会详细讨论controller)的注册信息,同时也负责controller的动态选举。

/admin:保存管理脚本的输出结果,比如删除topic,对分区进行重分配等操作。

/isr change notification:保存ISR列表发生变化的分区列表。controller 会注册一个监听器实时监控该节点下子节点的变更。

/config:保存了Kafka集群下各种资源的定制化配置信息,比如每个topic可能有自己专属的一组配置,那么就保存在/config/topics/<topic>下。

/cluster:保存了Kafka集群的简要信息,包括集群的ID信息和集群版本号。

/controller epoch:保存了 controller 组件的版本号。Kafka 使用该版本号来隔离无效的controller 请求

(四)

图片

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!

评价 0 条
克里斯蒂亚诺诺L1
粉丝 0 资源 831 + 关注 私信
最近热门资源
国产操作系统环境搭建(内含镜像资源链接和提取码)  89
银河麒麟桌面操作系统V10SP1-2403-update1版本中,通过“麒麟管家-设备管理-硬件信息-硬盘”查看硬盘类型时,显示的是HDD(机械硬盘),而实际上该笔记本的硬盘类型为SSD  88
分享几个在日常办公中可以用到的shell脚本  81
以openkylin为例编译安装内核  79
bat脚本生成查看电脑配置\硬件信息  78
常见系统问题及其解决方法  77
分享解决宏碁电脑关机时自动重启的方法  75
统信uosboot区分未挂载导致更新备份失败  69
分享如何解决报错:归档 xxx.deb 对成员 control.tar.zst 使用了未知的压缩,放弃操作  69
统信uos安装mysql的实例参考  63
最近下载排行榜
国产操作系统环境搭建(内含镜像资源链接和提取码) 0
银河麒麟桌面操作系统V10SP1-2403-update1版本中,通过“麒麟管家-设备管理-硬件信息-硬盘”查看硬盘类型时,显示的是HDD(机械硬盘),而实际上该笔记本的硬盘类型为SSD 0
分享几个在日常办公中可以用到的shell脚本 0
以openkylin为例编译安装内核 0
bat脚本生成查看电脑配置\硬件信息 0
常见系统问题及其解决方法 0
分享解决宏碁电脑关机时自动重启的方法 0
统信uosboot区分未挂载导致更新备份失败 0
分享如何解决报错:归档 xxx.deb 对成员 control.tar.zst 使用了未知的压缩,放弃操作 0
统信uos安装mysql的实例参考 0
作者收入月榜
1

prtyaa 收益401.13元

2

zlj141319 收益237.91元

3

哆啦漫漫喵 收益231.75元

4

IT-feng 收益219.92元

5

1843880570 收益214.2元

6

风晓 收益208.24元

7

777 收益173.17元

8

Fhawking 收益106.6元

9

信创来了 收益106.03元

10

克里斯蒂亚诺诺 收益91.08元

请使用微信扫码

添加我为好友,拉您入交流群!

请使用微信扫一扫!