程序员笔记（十六）Kafka使用场景

克里斯蒂亚诺诺 2024-01-12 13:44:40  50337 赞同 0 反对 0

分类：资源标签：运维

程序员笔记（十六）Kafka使用场景

Kafka使用场景

Kafka 以消息引擎闻名，因此它特别适合处理生产环境中的那些流式数据。以下就是Kafka在实际应用中的一些典型使用场景。

1消息传输

Kafka非常适合替代传统的消息总线(message bus)或消息代理(message broker)。传统的这类系统擅长于解耦生产者和消费者以及批量处理消息，而这些特点 Kafka 都具备。除此之外，Kafka 还具有更好的吞吐量特性，其内置的分区机制和副本机制既实现了高性能的消息传输，同时还达到了高可靠性和高容错性。因此 Kaka 特别适合用于实现一个超大量级消息处理应用。

2网站行为日志追踪

Kafka 最早就是用于重建用户行为数据追踪系统的。很多网站上的用户操作都会以消息的形式发送到 Kafka的某个对应的 topic 上。这些点击流蕴含了巨大的商业价值，事实上，目前就有很多创业公司使用机器学习或其他实时处理框架来帮助收集并分析用户的点击流数据。鉴于这种点击流数据量是很大的，Kafka超强的吞吐量特性此时就有了用武之地。

3审计数据收集

很多企业和组织都需要对关键的操作和运维进行监控和审计。这就需要从各个运维应用程序处实时汇总操作步骤信息进行集中式管理。在这种使用场景下，你会发现 Kafka 是非常适合的解决方案，它可以便捷地对多路消息进行实时收集，同时由于其持久化的特性，使得后续离线审计成为可能。

4日志收集

这可能是 Kafka 最常见的使用方式了一-日志收集汇总解决方案。每个企业都会产生大量的服务日志，这些日志分散在不同的机器上。我们可以使用 Kafka 对它们进行全量收集，并集中送往下游的分布式存储中(比如 HDFS等)。比起其他流的日志抽取框架(比如Apache

Flume)，Kafka 有更好的性能，而且提供了完备的可靠性解决方案，同时还保持了低延时的特点。

5 Event Sourcing

Event Sourcing实际上是领域驱动设计(Domain-Driven Design，DDD)的名词，它使用事件序列来表示状态变更，这种思想和 Kafka 的设计特性不谋而合。还记得吧，Kafka 也是用不可变更的消息序列来抽象化表示业务消息的，因此 Kafka特别适合作为这种应用的后端存储。

6流式处理

前面简要提到过，很多用户接触到 Kafka 都是因为它的消息引警功能。自 0.10.0.0版本开始，Kafka社区推出了一个全新的流式处理组件 Kafka Streams。这标志着Kafka正式进入流式处理框架俱乐部。相比老牌流式处理框架Apache StormApache Samza，或是最近风头正劲的Spark Streaming，抑或是Apache Flink，Kafka Streams 的竞争力如何?让我们拭目以待。

《 Apache Kafka实战》

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

相关资源

2023程序员必备的工具大全 2023-12-23 49506 浏览
程序员生产力工具大全
你好程序员，你有以下误区么？ 2023-12-30 52358 浏览
关于技术，很多本科生都存在诸多误区。初学者总喜欢追随牛逼的技术，实在过于盲目，找准自己的定位最重要。
写给程序员的机器学习入门 (二) - pytorch 与矩阵计算入门（一） 2023-12-31 50442 浏览
pytorch 是目前世界上最流行的两个机器学习框架的其中之一，与 tensoflow 并峙双雄。它提供了很多方便的功能，例如根据损失自动微分计算应该怎样调整参数，提供了一系列的数学函数封装，还提供了一系列现成的模型，以及把模型组合起来进行训练的框架。pytorch 的前身是 torch，基于 lua，而 pytorch 基于 python，虽然它基于 python 但底层完全由 c++ 编写，支持自动并列化计算和使用 GPU 加速运算，所以它的性能非常好。
程序员必知的 89 个操作系统核心概念 2023-12-25 50363 浏览
1. 操作系统（Operating System，OS）：是管理计算机硬件与软件资源的系统软件，同时也是计算机系统的内核与基石。操作系统需要处理管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。
为什么说程序员的世界离不开GitHub呢？ 2023-12-29 51032 浏览
为什么说程序员的世界离不开GitHub呢？我们可以从以下几个方面来理解GitHub的魔力：
写给程序员的机器学习入门 (一) - 从基础说起（二） 2023-12-31 51331 浏览
接上一篇写给程序员的机器学习入门 (一) - 从基础说起（一）
程序员值得收藏提升自身能力的8个网站 2023-12-22 51877 浏览
今天给大家分享程序员值得收藏提升自身能力的8个网站
软件：Typora 非常全面使用教程，程序员写文档必备工具 2023-12-25 51506 浏览
对于程序员来说，可能最头疼的就是写文档了，随着MarkDown写作工具的出现，写文档变得就简单很多，尤其是喜欢写博客的程序员，有了MarkDown写文档工具，大大提升了文档或者博客的编写效率，今天就来带大家了解一下MarkDown相关的知识，以及给大家准备目前最好用MarkDwon工具——Typora。希望对大家编写文档、博客提供一些帮助！
盘点几个程序员实用的算法网站，你都用过吗？ 2023-12-21 51215 浏览
对于想成为一名程序员大佬的朋友来说，掌握算法是编写高性能代码的基础。由此可见算法对于一名优秀的程序员来说是非常重要的技术，今天给大家分享六个非常实用的算法学习网站，希望对大家学习算法知识能够提供一些参考！
写给程序员的机器学习入门 (一) - 从基础说起（一） 2023-12-31 50682 浏览
目前的机器学习入门大多要不门槛比较高，要不过于着重使用而忽视基础原理，所以我决定开一个新的系列针对程序员讲讲机器学习。这个系列会从机器学习的基础原理开始一直讲到如何应用，看懂这个系列需要一定的编程知识（主要会使用 python 语言），但不需要过多的数学知识，并且对于涉及到的数学知识会作出简单的介绍。

程序员笔记 （十六）Kafka使用场景

相关资源

关注我们

程序员笔记（十六）Kafka使用场景