如何在读取/写入的同时从 kafka 代理移动数据

微风

我现在在集群中有 4 个 kafka 节点。kafka1 是旧的,拥有所有数据,它的控制器 kafka2,3,4 是新的,没有数据

数据正在向/从 kafka1 连续写入和读取

我可以这样做吗:

  1. 将 dns kafka1 更改为 kafka4(这是集群 - 数据写入正确吗?)
  2. 启动 kafka-reassign-partitions.sh 以将数据从 kafka1 移动到 kafka4 s
  3. 关闭 kafka1
  4. 将副本添加到主题

这是正确的吗?或者是更好的方法?

米凯尔豪斯

听起来虽然您现在有多个代理,但您的所有分区仍然只在旧代理上。

传播使用的最佳方法是使用kafka-reassign-partitions.sh您暗示的重新分配脚本这将允许您移动有关新经纪人的一些主题。

同时,您可以为主题添加副本。拥有多个副本可以提供保证,例如,在代理宕机的情况下,您仍然可以拥有在线副本。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

flink从kafka读取数据

来自分类Dev

将数据从HDFS写入Kafka

来自分类Dev

如何从flink访问/读取kafka主题数据?

来自分类Dev

在读取数据文件的同时,如何找到用户字符串输入的字谜?

来自分类Dev

Kafka源vs Avro源,用于使用水槽将数据读取和写入Kafka通道

来自分类Dev

如何在融合的 kafka C# 中读取 GenericRecord 特定数据

来自分类Dev

将流数据帧写入Kafka

来自分类Dev

使用python将avro数据写入kafka

来自分类Dev

事务如何在读取数据库的上下文中工作?

来自分类Dev

如何使用Kafka Consumer API中的密钥读取数据?

来自分类Dev

如何使用kafka-node从主题读取数据?

来自分类Dev

Storm从Java中的Kafka读取数据

来自分类Dev

无法使用Spark读取kafka主题数据

来自分类Dev

如何从数据库创建kafka事件?

来自分类Dev

如何在 Firestore 上读取/写入特定数据

来自分类Dev

从STDIN读取并立即使用数据(同时仍在读取)或使用zbar打开URL

来自分类Dev

如何同时从 PHP 脚本向 Android 设备写入和读取数据

来自分类Dev

如何在读取一个目录中的所有文件时识别数据的来源?

来自分类Dev

无法从 debezium-postgres 的 kafka-stream 读取 kafka-stream 数据

来自分类Dev

Kafka Connect 将数据写入不存在的主题

来自分类Dev

Apache Kafka如何与多个代理和单个代理一起使用

来自分类Dev

kafka代理配置动态更改

来自分类Dev

我可以从Kafka的被动段中读取数据吗?

来自分类Dev

如何知道流查询用于Kafka数据源的Kafka消费者组的名称?

来自分类Dev

如何确保所有消费者都能从Kafka读取所有数据

来自分类Dev

如何确保使用者仅读取Kafka中某个密钥的最新数据?

来自分类Dev

Apache Nifi - 如何指定分区以从 Kafka 消费者中读取数据

来自分类Dev

如何在flink中读取前N条kafka消息?

来自分类Dev

从同时写入的表中读取扳手数据

Related 相关文章

  1. 1

    flink从kafka读取数据

  2. 2

    将数据从HDFS写入Kafka

  3. 3

    如何从flink访问/读取kafka主题数据?

  4. 4

    在读取数据文件的同时,如何找到用户字符串输入的字谜?

  5. 5

    Kafka源vs Avro源,用于使用水槽将数据读取和写入Kafka通道

  6. 6

    如何在融合的 kafka C# 中读取 GenericRecord 特定数据

  7. 7

    将流数据帧写入Kafka

  8. 8

    使用python将avro数据写入kafka

  9. 9

    事务如何在读取数据库的上下文中工作?

  10. 10

    如何使用Kafka Consumer API中的密钥读取数据?

  11. 11

    如何使用kafka-node从主题读取数据?

  12. 12

    Storm从Java中的Kafka读取数据

  13. 13

    无法使用Spark读取kafka主题数据

  14. 14

    如何从数据库创建kafka事件?

  15. 15

    如何在 Firestore 上读取/写入特定数据

  16. 16

    从STDIN读取并立即使用数据(同时仍在读取)或使用zbar打开URL

  17. 17

    如何同时从 PHP 脚本向 Android 设备写入和读取数据

  18. 18

    如何在读取一个目录中的所有文件时识别数据的来源?

  19. 19

    无法从 debezium-postgres 的 kafka-stream 读取 kafka-stream 数据

  20. 20

    Kafka Connect 将数据写入不存在的主题

  21. 21

    Apache Kafka如何与多个代理和单个代理一起使用

  22. 22

    kafka代理配置动态更改

  23. 23

    我可以从Kafka的被动段中读取数据吗?

  24. 24

    如何知道流查询用于Kafka数据源的Kafka消费者组的名称?

  25. 25

    如何确保所有消费者都能从Kafka读取所有数据

  26. 26

    如何确保使用者仅读取Kafka中某个密钥的最新数据?

  27. 27

    Apache Nifi - 如何指定分区以从 Kafka 消费者中读取数据

  28. 28

    如何在flink中读取前N条kafka消息?

  29. 29

    从同时写入的表中读取扳手数据

热门标签

归档