(一)单KafkaConsumer实例+多 worker线程
本例使用全局的 KafkaConsumer 实例执行消息获取,然后把获取到的消息集合交给线程池中的worker线程执行工作。之后 worker 线程完成处理后上报位移状态,由全局consumer提交位移。
(二)
消息设计
(三)
/brokers:里面保存了 Kafka集群的所有信息,包括每台 broker 的注册信息,集群上所有topic的信息等。
/controller:保存了Kafka controller组件(controller负责集群的领导者选举,6.17节将会详细讨论controller)的注册信息,同时也负责controller的动态选举。
/admin:保存管理脚本的输出结果,比如删除topic,对分区进行重分配等操作。
/isr change notification:保存ISR列表发生变化的分区列表。controller 会注册一个监听器实时监控该节点下子节点的变更。
/config:保存了Kafka集群下各种资源的定制化配置信息,比如每个topic可能有自己专属的一组配置,那么就保存在/config/topics/<topic>下。
/cluster:保存了Kafka集群的简要信息,包括集群的ID信息和集群版本号。
/controller epoch:保存了 controller 组件的版本号。Kafka 使用该版本号来隔离无效的controller 请求
(四)
如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!
添加我为好友,拉您入交流群!
请使用微信扫一扫!