程序员笔记（七十三）使用Kafka Consumer

外向笑小鸭子 2024-01-12 14:19:34  51623 赞同 0 反对 0

分类：资源标签：运维

程序员笔记（七十三）使用Kafka Consumer

（一）如何消费数据

我们已经知道了如何发送数据到Kafka,既然有数据发送,那么肯定就有数据消费,消费者也是Kafka整个体系中不可缺少的一环

（二）push 还是 pull

Kafka Consumer采用的是主动拉取broker数据进行消费的。一般消息中间件存在推送(server推送数据给consumer)和拉取(consumer主动取服务器取数据)两种方式，这两种方式各有优劣。

如果是选择推送的方式最大的阻碍就是服务器不清楚consumer的消费速度，如果consumer中执行的操作又是比较耗时的，那么consumer可能会不堪重负,甚至会导致系统挂掉。

而采用拉取的方式则可以解决这种情况，consumer根据自己的状态来拉取数据,可以对服务器的数据进行延迟处理。但是这种方式也有一个劣势就是服务器没有数据的时候可能会一直轮询，不过还好Kafka在poll()有参数允许消费者请求在“长轮询”中阻塞，等待数据到达(并且可选地等待直到给定数量的字节可用以确保传输大小)。

（三）必须属性

上面代码中消费者必须的属性有4个,这里着重说一下group.id这个属性,kafka Consumer和Producer不一样,Consummer中有一个Consumer group(消费组)，由它来决定同一个Consumer group中的消费者具体拉取哪个partition的数据,所以这里必须指定group.id属性。

bootstrap.servers 连接Kafka集群的地址，多个地址以逗号分隔

key.deserializer 消息中key反序列化类,需要和Producer中key序列化类相对应

value.deserializer 消息中value的反序列化类,需要和Producer中Value序列化类相对应

group.id 消费者所属消费组的唯一标识

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

相关资源

2023程序员必备的工具大全 2023-12-23 49506 浏览
程序员生产力工具大全
你好程序员，你有以下误区么？ 2023-12-30 52358 浏览
关于技术，很多本科生都存在诸多误区。初学者总喜欢追随牛逼的技术，实在过于盲目，找准自己的定位最重要。
写给程序员的机器学习入门 (二) - pytorch 与矩阵计算入门（一） 2023-12-31 50442 浏览
pytorch 是目前世界上最流行的两个机器学习框架的其中之一，与 tensoflow 并峙双雄。它提供了很多方便的功能，例如根据损失自动微分计算应该怎样调整参数，提供了一系列的数学函数封装，还提供了一系列现成的模型，以及把模型组合起来进行训练的框架。pytorch 的前身是 torch，基于 lua，而 pytorch 基于 python，虽然它基于 python 但底层完全由 c++ 编写，支持自动并列化计算和使用 GPU 加速运算，所以它的性能非常好。
程序员必知的 89 个操作系统核心概念 2023-12-25 50363 浏览
1. 操作系统（Operating System，OS）：是管理计算机硬件与软件资源的系统软件，同时也是计算机系统的内核与基石。操作系统需要处理管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。
为什么说程序员的世界离不开GitHub呢？ 2023-12-29 51032 浏览
为什么说程序员的世界离不开GitHub呢？我们可以从以下几个方面来理解GitHub的魔力：
写给程序员的机器学习入门 (一) - 从基础说起（二） 2023-12-31 51330 浏览
接上一篇写给程序员的机器学习入门 (一) - 从基础说起（一）
程序员值得收藏提升自身能力的8个网站 2023-12-22 51877 浏览
今天给大家分享程序员值得收藏提升自身能力的8个网站
软件：Typora 非常全面使用教程，程序员写文档必备工具 2023-12-25 51506 浏览
对于程序员来说，可能最头疼的就是写文档了，随着MarkDown写作工具的出现，写文档变得就简单很多，尤其是喜欢写博客的程序员，有了MarkDown写文档工具，大大提升了文档或者博客的编写效率，今天就来带大家了解一下MarkDown相关的知识，以及给大家准备目前最好用MarkDwon工具——Typora。希望对大家编写文档、博客提供一些帮助！
盘点几个程序员实用的算法网站，你都用过吗？ 2023-12-21 51214 浏览
对于想成为一名程序员大佬的朋友来说，掌握算法是编写高性能代码的基础。由此可见算法对于一名优秀的程序员来说是非常重要的技术，今天给大家分享六个非常实用的算法学习网站，希望对大家学习算法知识能够提供一些参考！
写给程序员的机器学习入门 (一) - 从基础说起（一） 2023-12-31 50681 浏览
目前的机器学习入门大多要不门槛比较高，要不过于着重使用而忽视基础原理，所以我决定开一个新的系列针对程序员讲讲机器学习。这个系列会从机器学习的基础原理开始一直讲到如何应用，看懂这个系列需要一定的编程知识（主要会使用 python 语言），但不需要过多的数学知识，并且对于涉及到的数学知识会作出简单的介绍。

程序员笔记 （七十三）使用Kafka Consumer

相关资源

关注我们

程序员笔记（七十三）使用Kafka Consumer