在Kafka中,如何让消费者从本地分区消费?

Hongji Chen

只是为了使场景简单。

消费者数量 == 分区数量 == Kafka 代理数量

如果将消费者部署在broker所在的同一台机器上,如何让每个消费者只在本地消费消息?目的是减少所有网络开销。

我认为如果每个消费者都可以知道他们机器上的 partition_id,我们就可以做到,但我不知道怎么做?或者有其他方向可以解决这个问题吗?

谢谢。

单元

bin/kafka-topics.sh --zookeeper [zk address] --describe --topic [topic_name]告诉您哪个代理托管每个分区的领导者。然后,您可以为每个消费者使用手动分区分配,以确保它从本地分区消费。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

kafka如何确定单个消费者组中的哪个消费者阅读消息?

来自分类Dev

Apache Nifi - 如何指定分区以从 Kafka 消费者中读取数据

来自分类Dev

Kafka分区到Kafka消费者/消费者组的映射

来自分类Dev

如何扩展Kafka的消费者?

来自分类Dev

如何找到kafka消费者的费率?

来自分类Dev

Tomcat 中的 Kafka 消费者关闭

来自分类Dev

Kafka 中的 LogCompaction 和消费者

来自分类Dev

kafka消费者如何选择消费最近的broker?

来自分类Dev

为什么kafka 0.8.2说每个分区都由一个消费者组中的一个消费者完全消费

来自分类Dev

Kafka 一消费者一分区

来自分类Dev

如果消费者组订阅了多个主题分区,kafka 如何决定先读取哪个?

来自分类Dev

在 Kafka 中,消费者在哪个 __consumer_offsets 分区上提交偏移量?

来自分类Dev

Kafka如何处理运行速度比其他消费者慢的消费者?

来自分类Dev

在生产者/消费者场景中,如何从消费者那里得到回应?

来自分类Dev

如何在 Azure 事件中心消费者 Java 代码中设置分区

来自分类Dev

消费者对主题分区的影响变慢

来自分类Dev

如何从特定主题中删除Kafka消费者组?

来自分类Dev

在Apache Kafka中延迟使用消费者的消息

来自分类Dev

删除Zookeeper中的kafka消费者组

来自分类Dev

如何卡夫卡消费者从多个分配的分区消费

来自分类Dev

卡夫卡消费者是否应该从所有分区中消费以获得完整的消息?

来自分类Dev

Kafka消费者再平衡算法

来自分类Dev

Apache kafka高级消费者-了解

来自分类Dev

Kafka Rest Proxy消费者创建

来自分类Dev

Spring Integration Kafka消费者

来自分类Dev

Springboot Kafka-消费者幂等

来自分类Dev

Spring Boot Kafka Listener与消费者

来自分类Dev

Kafka Rest Proxy消费者创建

来自分类Dev

Kafka Producer消费者API问题

Related 相关文章

  1. 1

    kafka如何确定单个消费者组中的哪个消费者阅读消息?

  2. 2

    Apache Nifi - 如何指定分区以从 Kafka 消费者中读取数据

  3. 3

    Kafka分区到Kafka消费者/消费者组的映射

  4. 4

    如何扩展Kafka的消费者?

  5. 5

    如何找到kafka消费者的费率?

  6. 6

    Tomcat 中的 Kafka 消费者关闭

  7. 7

    Kafka 中的 LogCompaction 和消费者

  8. 8

    kafka消费者如何选择消费最近的broker?

  9. 9

    为什么kafka 0.8.2说每个分区都由一个消费者组中的一个消费者完全消费

  10. 10

    Kafka 一消费者一分区

  11. 11

    如果消费者组订阅了多个主题分区,kafka 如何决定先读取哪个?

  12. 12

    在 Kafka 中,消费者在哪个 __consumer_offsets 分区上提交偏移量?

  13. 13

    Kafka如何处理运行速度比其他消费者慢的消费者?

  14. 14

    在生产者/消费者场景中,如何从消费者那里得到回应?

  15. 15

    如何在 Azure 事件中心消费者 Java 代码中设置分区

  16. 16

    消费者对主题分区的影响变慢

  17. 17

    如何从特定主题中删除Kafka消费者组?

  18. 18

    在Apache Kafka中延迟使用消费者的消息

  19. 19

    删除Zookeeper中的kafka消费者组

  20. 20

    如何卡夫卡消费者从多个分配的分区消费

  21. 21

    卡夫卡消费者是否应该从所有分区中消费以获得完整的消息?

  22. 22

    Kafka消费者再平衡算法

  23. 23

    Apache kafka高级消费者-了解

  24. 24

    Kafka Rest Proxy消费者创建

  25. 25

    Spring Integration Kafka消费者

  26. 26

    Springboot Kafka-消费者幂等

  27. 27

    Spring Boot Kafka Listener与消费者

  28. 28

    Kafka Rest Proxy消费者创建

  29. 29

    Kafka Producer消费者API问题

热门标签

归档