在Apache Kafka中保留数据

内哈帕德瓦尔

几天前我才刚刚开始阅读有关Apache kafka的文章,所以我是该技术的新手。我有一些疑问/疑问,需要澄清。如:

  1. 根据配置:log.retention.hours我们可以在此处设置小时数。数据保留时间可以延长2年吗?

  2. 根据此链接,它说:

Kafka群集将所有已发布的消息(无论是否已被使用)保留一段可配置的时间。例如,如果日志保留时间设置为两天,则在消息发布后的两天内,该消息可供使用,之后将被丢弃以释放空间。Kafka的性能相对于数据大小实际上是恒定的,因此保留大量数据不是问题。

正如它已经说过的,Perfomance在数据大小方面实际上是恒定的那是否意味着我们可以尽可能多地存储数据?是否需要一些其他配置或监视器?

格温·夏皮拉(Gwen Shapira)

1)当然。log.retention.hours是一个整数。2年就是17520小时。远低于整数的最大值。

2)您可以存储尽可能多的数据,使其适合您所拥有的磁盘。请注意,如果您存储更多数据,虽然Kafka的性能不会降低,但尝试从磁盘上获取大量数据的使用者绝对会影响性能。为了获得最佳性能,请确保使用者在存储在内存中的同时读取相对较新的数据。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Apache Kafka保留所有数据

来自分类Dev

Apache Kafka保留所有数据

来自分类Dev

在迁移中保留数据

来自分类Dev

是否可以按保留时间过滤 Apache Kafka 消息?

来自分类Dev

使用 REST 通过 Apache Kafka 发送数据

来自分类Dev

Apache Camel不会在源文件夹中保留文件

来自分类Dev

Apache Camel不会在源文件夹中保留文件

来自分类Dev

Apache Spark:在GraphX中保留自定义类:不可序列化吗?

来自分类Dev

Apache Kafka主题分区

来自分类Dev

Apache Kafka:镜像与复制

来自分类Dev

关于Apache Kafka的说明

来自分类Dev

Apache Kafka - 分区

来自分类Dev

apache zookeeper kafka 路径

来自分类Dev

Apache Kafka:获取相关ID为0的主题元数据

来自分类Dev

如何配置Apache Kafka在指定时间发送数据?

来自分类Dev

如何使用 Apache NIFI 在 Kafka 集群中分发数据

来自分类Dev

Apache Kafka:较长的保留时间与快速读取最后一个值

来自分类Dev

Apache Kafka:较长的保留时间与快速读取最后一个值

来自分类Dev

在Redis中保留空的数据密钥

来自分类Dev

如何在Service Worker中保留数据

来自分类Dev

在Docker容器中保留弹性搜索数据

来自分类Dev

在Docker容器中保留数据文件

来自分类Dev

在不同的数据框中保留相同的ID

来自分类Dev

在核心数据中保留书签

来自分类Dev

核心数据未在IOS中保留

来自分类Dev

从Apache Flink查询数据

来自分类Dev

Apache Spark 数据框

来自分类Dev

Apache flink 数据集

来自分类Dev

如何在MySQL数据库中保存Apache Spark架构输出