程序员笔记（四十五）使用librdkafka库来进行kafka的简单的消费

克里斯蒂亚诺诺 2024-01-12 14:08:13  66596 赞同 0 反对 0

分类：资源标签：运维

关于librdkafka库的介绍，可以参考kafka的c/c++高性能客户端librdkafka简介，本文使用librdkafka库来进行kafka的简单的消费

librdkafka在c语言的基础上封装了一层c++的API，可以实现kafka的消费操作，基本操作步骤如下

1、创建kafka 配置

RdKafka::Conf *conf = nullptr;

conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);

2、设置kafka各项参数

/*设置broker list*/

conf->set("bootstrap.servers", brokers_, errstr);

/*设置consumer group*/

conf->set("group.id", groupid_, errstr);

/*每次从单个分区中拉取消息的最大尺寸*/

conf->set("max.partition.fetch.bytes", strfetch_num, errstr);

3、创建kafka topic配置

RdKafka::Conf *tconf = nullptr;

tconf = RdKafka::Conf::create(RdKafka::Conf::CONF_TOPIC);

4、设置kafka topic参数

if(tconf->set("auto.offset.reset", "smallest", errstr)

5、创建kafka consumer实例

kafka_consumer_ = RdKafka::Consumer::create(conf, errstr);

6、创建kafka topic

RdKafka::Topic::create(kafka_consumer_, topics_, tconf, errstr);

7、启动kafka consumer实例

RdKafka::ErrorCode resp = kafka_consumer_->start(topic_, partition_, offset_);

8、消费kafka

kafka_consumer_->consume(topic_, partition_, timeout_ms);

9、阻塞等待消息

kafka_consumer_->poll(0);

10、停止消费

kafka_consumer_->stop(topic_, partition_);

11、销毁consumer实例

RdKafka::wait_destroyed(5000);

编译：

g++ my_consumer.cpp -o my_consumer_cpp -std=c++11 -lrdkafka++ -lz -lpthread -lrt

在运行my_producer或my_consumer时可能会报错"error while loading shared libraries xxx.so", 此时需要在/etc/ld.so.conf中加入xxx.so所在的目录

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

程序员笔记 （四十五）使用librdkafka库来进行kafka的简单的消费