验证Kafka主题中是否存在消息

维诺德(Vinod Jayachandran)

我希望避免向Kafka主题发送重复的消息。

实现它的理想方法是什么?

将Java客户端用于Apache Kafka,在调用KafkaProducer.send之前是否有必要验证消息是否存在

我指的是这个文件

马蒂亚斯·萨克斯(Matthias J.Sax)

当前(Kafka 0.10.1),无法使用Kafka进行一次精确的交付。无论您要采取什么解决方法,总会有空白,您最终可能会丢失邮件或重复邮件。

但是,Kafka将添加一个幂等生成器(计划用于0.10.2),这将使您避免重复写入。预计0.10.2发布日期为2017年开始

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

是否可以单独使用kafka主题中的每个消息?

来自分类Dev

如何从Kafka主题中检索最新消息

来自分类Dev

使用Kafka Magic工具在Kafka主题中搜索消息时的多个时间范围

来自分类Dev

JMS主题中缺少消息

来自分类Dev

根据主题名称验证主题是否存在

来自分类Dev

如果我要向其发送消息的分区的磁盘已满,Kafka是否会在同一主题中选择其他分区?

来自分类Dev

如何从kafka服务器获取主题中的所有消息

来自分类Dev

在Kafka主题中将回滚的消息保留多长时间

来自分类Dev

Kafka使用者不使用现有主题中的消息

来自分类Dev

消费者为什么重启后会从Kafka主题中读取所有消息?

来自分类Dev

Kafka 0.10 Java 消费者没有从主题中读取消息

来自分类Dev

Kafka是否支持主题或消息的优先级?

来自分类Dev

是否可以将Websocket消息发送到kafka主题?

来自分类Dev

在kafka主题中创建多个分区,并使用kafka-node将消息发布到所有分区

来自分类Dev

Microsoft的Service Bus是否为主题中的每个订阅复制消息?

来自分类Dev

使用Spark StreamingContext从Kafka主题中消费

来自分类Dev

Kafka:从保留“紧凑”的主题中删除邮件

来自分类Dev

从kafka主题中删除单个记录

来自分类Dev

在kafka主题中重新排队失败的记录

来自分类Dev

Wordpress主题中的PHP短标签验证

来自分类Dev

从Kafka客户端增加Kafka主题中的分区数量

来自分类Dev

Kafka主题更改是否并发?

来自分类Dev

在MQTT主题中保留一系列消息

来自分类Dev

从queue子中的队列/主题中读取消息

来自分类Dev

如何从特定主题中删除Kafka消费者组?

来自分类Dev

使用 Spark 从 Kafka 主题中的特定分区流式传输数据

来自分类Dev

尽管主题中有很多消息需要使用,但Kafka消费者仍停留在iterator.hasNext()上(实际上是暂停并恢复)

来自分类Dev

将UDP消息推送到Kafka主题

来自分类Dev

从Spark中的Kafka消息获取主题

Related 相关文章

  1. 1

    是否可以单独使用kafka主题中的每个消息?

  2. 2

    如何从Kafka主题中检索最新消息

  3. 3

    使用Kafka Magic工具在Kafka主题中搜索消息时的多个时间范围

  4. 4

    JMS主题中缺少消息

  5. 5

    根据主题名称验证主题是否存在

  6. 6

    如果我要向其发送消息的分区的磁盘已满,Kafka是否会在同一主题中选择其他分区?

  7. 7

    如何从kafka服务器获取主题中的所有消息

  8. 8

    在Kafka主题中将回滚的消息保留多长时间

  9. 9

    Kafka使用者不使用现有主题中的消息

  10. 10

    消费者为什么重启后会从Kafka主题中读取所有消息?

  11. 11

    Kafka 0.10 Java 消费者没有从主题中读取消息

  12. 12

    Kafka是否支持主题或消息的优先级?

  13. 13

    是否可以将Websocket消息发送到kafka主题?

  14. 14

    在kafka主题中创建多个分区,并使用kafka-node将消息发布到所有分区

  15. 15

    Microsoft的Service Bus是否为主题中的每个订阅复制消息?

  16. 16

    使用Spark StreamingContext从Kafka主题中消费

  17. 17

    Kafka:从保留“紧凑”的主题中删除邮件

  18. 18

    从kafka主题中删除单个记录

  19. 19

    在kafka主题中重新排队失败的记录

  20. 20

    Wordpress主题中的PHP短标签验证

  21. 21

    从Kafka客户端增加Kafka主题中的分区数量

  22. 22

    Kafka主题更改是否并发?

  23. 23

    在MQTT主题中保留一系列消息

  24. 24

    从queue子中的队列/主题中读取消息

  25. 25

    如何从特定主题中删除Kafka消费者组?

  26. 26

    使用 Spark 从 Kafka 主题中的特定分区流式传输数据

  27. 27

    尽管主题中有很多消息需要使用,但Kafka消费者仍停留在iterator.hasNext()上(实际上是暂停并恢复)

  28. 28

    将UDP消息推送到Kafka主题

  29. 29

    从Spark中的Kafka消息获取主题

热门标签

归档