Kafka Streams:RocksDB TTL

ラマン

デフォルトのTTLが無限大(正ではない)に設定されていることを理解しています。ただし、ストアに最大2日間データを保持する必要がある場合は、RocksDBConfigSetterインターフェイスの実装(options.setWalTtlSeconds(172800))でオーバーライドを実行できますか?または、Kafkaストリームの内部と競合しますか?

参照:https//docs.confluent.io/current/streams/developer-guide/config-streams.html#streams-developer-guide-rocksdb-config

マティアスJ.サックス

現在、これは不可能です。Kafka Streamsは、さまざまな技術的理由により、ハードコードされた方法でRocksDBのTTL機能を無効にします。このためのチケットもありますhttps//issues.apache.org/jira/browse/KAFKA-4212

知っておくと、ウィンドウストアを使用して、2日後に古いレコードを期限切れにすることができます。つまり、1ミリ秒のastream.groupByKey().windowedBy(...).reduce(...)TimeWindow、キーの最新の値を返すだけの「ダミー」リデュースを実行します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

DynamoDBの条件TTL

分類Dev

Kafka Streamsアプリを停止する

分類Dev

Kafka Streamsタスク割り当て

分類Dev

Kafka streams aggregate throwing Exception

分類Dev

Kafka Streams local state stores

分類Dev

Kafka Streams API:KStreamからKTable

分類Dev

Kafka Streams API:KStreamからKTable

分類Dev

Kafka Streams API:KStreamからKTable

分類Dev

Why Apache Kafka Streams uses RocksDB and if how is it possible to change it?

分類Dev

Apache Kafka StreamsがRocksDBを使用する理由と、それをどのように変更できるか?

分類Dev

How to add a cooldown/rate-limit to a stream in Kafka Streams?

分類Dev

Kafkaの特定のトピックのTTLを変更する方法

分類Dev

Kafka Streams:句読点とプロセス

分類Dev

Kafka Streams GlobalKTable sychronization to applications

分類Dev

Message pre-processing (topic - topic) - Kafka Connect API vs. Streams vs Kafka Consumer?

分類Dev

KAFKA STREAM:Lib RocksDBのUnsatisfiedLinkError

分類Dev

Kafka Streams: POJO serialization/deserialization

分類Dev

Kafka Streams:ConsumerRebalanceListenerの実装

分類Dev

Kafka Streams TimestampExtractor

分類Dev

Kafka Connect and Streams

分類Dev

Kafka Connect vs Streams for Sinks

分類Dev

Kafka Streams 1.1.0: Consumer Group Reprocessing Entire Log

分類Dev

Why is windowing now working for Kafka Streams?

分類Dev

Kafka Streams - missing source topic

分類Dev

Kafka Streams: How to ensure offset is committed after processing is completed

分類Dev

Kafka streams on spring, trouble with exactly once ACL: TransactionalIdAuthorizationException

分類Dev

NPE while deserializing avro messages in kafka streams

分類Dev

Kafka Streams:RocksDbを動的に構成する

分類Dev

Kafka Streams transform()状態ストア

Related 関連記事

  1. 1

    DynamoDBの条件TTL

  2. 2

    Kafka Streamsアプリを停止する

  3. 3

    Kafka Streamsタスク割り当て

  4. 4

    Kafka streams aggregate throwing Exception

  5. 5

    Kafka Streams local state stores

  6. 6

    Kafka Streams API:KStreamからKTable

  7. 7

    Kafka Streams API:KStreamからKTable

  8. 8

    Kafka Streams API:KStreamからKTable

  9. 9

    Why Apache Kafka Streams uses RocksDB and if how is it possible to change it?

  10. 10

    Apache Kafka StreamsがRocksDBを使用する理由と、それをどのように変更できるか?

  11. 11

    How to add a cooldown/rate-limit to a stream in Kafka Streams?

  12. 12

    Kafkaの特定のトピックのTTLを変更する方法

  13. 13

    Kafka Streams:句読点とプロセス

  14. 14

    Kafka Streams GlobalKTable sychronization to applications

  15. 15

    Message pre-processing (topic - topic) - Kafka Connect API vs. Streams vs Kafka Consumer?

  16. 16

    KAFKA STREAM:Lib RocksDBのUnsatisfiedLinkError

  17. 17

    Kafka Streams: POJO serialization/deserialization

  18. 18

    Kafka Streams:ConsumerRebalanceListenerの実装

  19. 19

    Kafka Streams TimestampExtractor

  20. 20

    Kafka Connect and Streams

  21. 21

    Kafka Connect vs Streams for Sinks

  22. 22

    Kafka Streams 1.1.0: Consumer Group Reprocessing Entire Log

  23. 23

    Why is windowing now working for Kafka Streams?

  24. 24

    Kafka Streams - missing source topic

  25. 25

    Kafka Streams: How to ensure offset is committed after processing is completed

  26. 26

    Kafka streams on spring, trouble with exactly once ACL: TransactionalIdAuthorizationException

  27. 27

    NPE while deserializing avro messages in kafka streams

  28. 28

    Kafka Streams:RocksDbを動的に構成する

  29. 29

    Kafka Streams transform()状態ストア

ホットタグ

アーカイブ