偶尔发布到 kafka 的消息丢失

苏雷什·奈尔

嗨,我有一个自定义框架,它公开 API 以供发布和使用。我支持很多主题供用户发布和消费。这似乎工作正常,只是偶尔,在我将消息发布到主题后,我的消费者没有收到任何消息。这很奇怪,因为 kafka 已经启动并运行良好。在此错过的消息之前和之后的其他主题的其他消息工作正常。在此事件发生后,同一主题的消息也会发送给消费者。

如果有帮助,我每个主题只有一个分区。当我打开KafaServerLog/data目录并搜索特定主题时,在我的开发环境中,我每次都会看到条目,我发布和消费。但是,发生这种情况的问题(在客户端)日志文件是空的。我在这里错过了什么吗?

比特斯瓦斯基

Producer api 为您提供了一个回调,您可以使用它来跟踪生产者中偶尔出现的问题。示例代码如下所示:

try (Producer<String, String> producer = new KafkaProducer<>(producerProps)) {
    producer.send(new ProducerRecord<String, String>("My-topic", "message payload"), new Callback() {
        public void onCompletion(RecordMetadata metadata, Exception ex) {
            if (ex != null) {
                LOGGER.warn(String.format("Failed to produce record. Got Exception: %s", ex));
            } else {
                LOGGER.info("Sent record successfully");
            }             
        }
    });
}

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Kafka生产者将消息发布到辅助集群

来自分类Dev

Spring Boot Kafka消息消费者和丢失的消息

来自分类Dev

Kafka docs Producer可能会丢失消息

来自分类Dev

在kafka主题中创建多个分区,并使用kafka-node将消息发布到所有分区

来自分类Dev

spring-cloud-stream-kafka离线消费者消息丢失

来自分类Dev

Java Spring Kafka模板生产者在代理重新启动时丢失了消息

来自分类Dev

如果断电,我们会丢失kafka消息吗?

来自分类Dev

Apache kafka 消费者停止和启动之间丢失的消息

来自分类Dev

如果消费者保留消息的时间长于自动提交间隔时间,kafka 会丢失消息吗?

来自分类Dev

我们如何在Kafka发布/订阅中发布消息?

来自分类Dev

如何检测订户何时在发布者端发现/丢失了发布的消息?

来自分类Dev

什么是Kafka消息调整?

来自分类Dev

Kafka 流合并消息

来自分类Dev

Kafka Streams 检测丢失的记录

来自分类Dev

使用Kafka REST代理发布Avro消息会引发“将JSON转换为Avro失败”

来自分类Dev

将消息从一个Kafka主题复制到另一个Kafka主题

来自分类Dev

将消息从一个Kafka主题复制到另一个Kafka主题

来自分类Dev

将状态消息发布到Facebook?

来自分类Dev

使用Gatling将消息发布到ActiveMQ

来自分类Dev

如何从SQL Server发布消息到RabbitMQ?

来自分类Dev

未将EventBridge消息发布到SNS

来自分类Dev

将消息从 AWS SNS 发布到 SQS

来自分类Dev

使用onErrorResume使用Reactor Kafka处理发布到Kafka的有问题的有效负载

来自分类Dev

Kafka消息大小,激活压缩

来自分类Dev

如何使用kafka-console-producer将消息生成到所选分区?

来自分类Dev

Spring Kafka:如何在执行 seek() 后丢弃已由 poll() 检索到的消息?

来自分类Dev

kafka 客户端从 0.8.0 升级到 0.10.0.1 会不会有数据丢失?

来自分类Dev

Kafka-如果分区丢失,如何恢复?

来自分类Dev

生产者中的Kafka数据丢失

Related 相关文章

  1. 1

    Kafka生产者将消息发布到辅助集群

  2. 2

    Spring Boot Kafka消息消费者和丢失的消息

  3. 3

    Kafka docs Producer可能会丢失消息

  4. 4

    在kafka主题中创建多个分区,并使用kafka-node将消息发布到所有分区

  5. 5

    spring-cloud-stream-kafka离线消费者消息丢失

  6. 6

    Java Spring Kafka模板生产者在代理重新启动时丢失了消息

  7. 7

    如果断电,我们会丢失kafka消息吗?

  8. 8

    Apache kafka 消费者停止和启动之间丢失的消息

  9. 9

    如果消费者保留消息的时间长于自动提交间隔时间,kafka 会丢失消息吗?

  10. 10

    我们如何在Kafka发布/订阅中发布消息?

  11. 11

    如何检测订户何时在发布者端发现/丢失了发布的消息?

  12. 12

    什么是Kafka消息调整?

  13. 13

    Kafka 流合并消息

  14. 14

    Kafka Streams 检测丢失的记录

  15. 15

    使用Kafka REST代理发布Avro消息会引发“将JSON转换为Avro失败”

  16. 16

    将消息从一个Kafka主题复制到另一个Kafka主题

  17. 17

    将消息从一个Kafka主题复制到另一个Kafka主题

  18. 18

    将状态消息发布到Facebook?

  19. 19

    使用Gatling将消息发布到ActiveMQ

  20. 20

    如何从SQL Server发布消息到RabbitMQ?

  21. 21

    未将EventBridge消息发布到SNS

  22. 22

    将消息从 AWS SNS 发布到 SQS

  23. 23

    使用onErrorResume使用Reactor Kafka处理发布到Kafka的有问题的有效负载

  24. 24

    Kafka消息大小,激活压缩

  25. 25

    如何使用kafka-console-producer将消息生成到所选分区?

  26. 26

    Spring Kafka:如何在执行 seek() 后丢弃已由 poll() 检索到的消息?

  27. 27

    kafka 客户端从 0.8.0 升级到 0.10.0.1 会不会有数据丢失?

  28. 28

    Kafka-如果分区丢失,如何恢复?

  29. 29

    生产者中的Kafka数据丢失

热门标签

归档