程序员笔记（六十二）Kafka C++客户端库librdkafka详解

外向笑小鸭子 2024-01-12 14:15:37  51192 赞同 0 反对 0

分类：资源标签：运维

程序员笔记（六十二）Kafka C++客户端库librdkafka详解

（一）数据结构

RdKafka::DeliveryReportCb：Delivery Report回调类

RdKafka::PartitionerCb：Partitioner回调类

RdKafka::PartitionerKeyPointerCb：带key指针的Partitioner回调类

RdKafka::EventCb：Event回调类

RdKafka::Event：Event类

RdKafka::ConsumeCb：Consume回调类

RdKafka::RebalanceCb：KafkaConsunmer: Rebalance回调类

RdKafka::OffsetCommitCb：Offset Commit回调类

RdKafka::SocketCb：Socket回调类

RdKafka::OpenCb：Open回调类

RdKafka::Conf：配置接口类

RdKafka::Handle：客户端基类

RdKafka::TopicPartition：Topic+Partion类

RdKafka::Topic：Topic Handle

RdKafka::Message：消息对象类

RdKafka::Queue：队列接口

RdKafka::KafkaConsumer：KafkaConsumer高级接口

RdKafka::Consumer：简单Consumer类

RdKafka::Producer：Producer类

RdKafka::BrokerMetadata：Broker元数据信息类

RdKafka::PartitionMetadata：Partition元数据信息类

RdKafka::TopicMetadata：Topic元数据信息类

RdKafka::Metadata：元数据容器

librdkafka C++ API定义在rdkafkacpp.h文件中，兼容STD C++ 03标准，遵循Google编码规范。

（二）通用API

int RdKafka::version ();

获取librdkafka版本

std::string RdKafka::version_str();

获取librdkafka版本

std::string RdKafka::get_debug_contexts ();

获取librdkafka调试环境

int RdKafka::wait_destroyed(int timeout_ms);

等待所有的 rd_kafka_t对象销毁

std::string RdKafka::err2str(RdKafka::ErrorCode err);

将Kafka错误代码转换成可读字符串

（三）RdKafka::Conf

（四）

static Conf * create(ConfType type);

创建配置对象

Conf::ConfResult set(const std::string &name, const std::string &value, std::string &errstr);

设置配置对象的属性值，成功返回CONF_OK，错误时错误信息输出到errstr。

Conf::ConfResult set(const std::string &name, DeliveryReportCb *dr_cb, std::string &errstr);

设置dr_cb属性值

Conf::ConfResult set(const std::string &name, EventCb *event_cb, std::string &errstr);

设置event_cb属性值

Conf::ConfResult set(const std::string &name, const Conf *topic_conf, std::string &errstr);

设置用于自动订阅Topic的默认Topic配置

Conf::ConfResult set(const std::string &name, PartitionerCb *partitioner_cb, std::string &errstr);

（五）配置和主题结构

（六）线程

RdKafka编程涉及到三类线程：

1) 应用线程，业务代码的实现

2) Kafka Broker线程rd_kafka_broker_thread_main，负责与Broker通讯，多个

3) Kafka Handler线程rd_kafka_thread_main，每创建一个consumer或producer即会创建一个Handler线程。

（七）消费者结构

（八）生产者结构

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

相关资源

写给程序员的机器学习入门 (一) - 从基础说起（一） 2023-12-31 50681 浏览
目前的机器学习入门大多要不门槛比较高，要不过于着重使用而忽视基础原理，所以我决定开一个新的系列针对程序员讲讲机器学习。这个系列会从机器学习的基础原理开始一直讲到如何应用，看懂这个系列需要一定的编程知识（主要会使用 python 语言），但不需要过多的数学知识，并且对于涉及到的数学知识会作出简单的介绍。
写给程序员的机器学习入门 (一) - 从基础说起（二） 2023-12-31 51330 浏览
接上一篇写给程序员的机器学习入门 (一) - 从基础说起（一）
为什么说程序员的世界离不开GitHub呢？ 2023-12-29 51032 浏览
为什么说程序员的世界离不开GitHub呢？我们可以从以下几个方面来理解GitHub的魔力：
盘点几个程序员实用的算法网站，你都用过吗？ 2023-12-21 51214 浏览
对于想成为一名程序员大佬的朋友来说，掌握算法是编写高性能代码的基础。由此可见算法对于一名优秀的程序员来说是非常重要的技术，今天给大家分享六个非常实用的算法学习网站，希望对大家学习算法知识能够提供一些参考！
程序员值得收藏提升自身能力的8个网站 2023-12-22 51877 浏览
今天给大家分享程序员值得收藏提升自身能力的8个网站
写给程序员的机器学习入门 (二) - pytorch 与矩阵计算入门（一） 2023-12-31 50442 浏览
pytorch 是目前世界上最流行的两个机器学习框架的其中之一，与 tensoflow 并峙双雄。它提供了很多方便的功能，例如根据损失自动微分计算应该怎样调整参数，提供了一系列的数学函数封装，还提供了一系列现成的模型，以及把模型组合起来进行训练的框架。pytorch 的前身是 torch，基于 lua，而 pytorch 基于 python，虽然它基于 python 但底层完全由 c++ 编写，支持自动并列化计算和使用 GPU 加速运算，所以它的性能非常好。
你好程序员，你有以下误区么？ 2023-12-30 52358 浏览
关于技术，很多本科生都存在诸多误区。初学者总喜欢追随牛逼的技术，实在过于盲目，找准自己的定位最重要。
2023程序员必备的工具大全 2023-12-23 49506 浏览
程序员生产力工具大全
软件：Typora 非常全面使用教程，程序员写文档必备工具 2023-12-25 51506 浏览
对于程序员来说，可能最头疼的就是写文档了，随着MarkDown写作工具的出现，写文档变得就简单很多，尤其是喜欢写博客的程序员，有了MarkDown写文档工具，大大提升了文档或者博客的编写效率，今天就来带大家了解一下MarkDown相关的知识，以及给大家准备目前最好用MarkDwon工具——Typora。希望对大家编写文档、博客提供一些帮助！
程序员必知的 89 个操作系统核心概念 2023-12-25 50363 浏览
1. 操作系统（Operating System，OS）：是管理计算机硬件与软件资源的系统软件，同时也是计算机系统的内核与基石。操作系统需要处理管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

程序员笔记 （六十二）Kafka C++客户端库librdkafka详解

相关资源

关注我们

程序员笔记（六十二）Kafka C++客户端库librdkafka详解