Apache Kafka StreamsがRocksDBを使用する理由と、それをどのように変更できるか?

SewerynHabdank-Wojewódzki:

Apache Kafka 0.9および0.10の新機能の調査中、KStreamsおよびKTablesを使用していました。Kafkaが内部でRocksDBを使用しているという興味深い事実があります。Introducing Kafka Streams:Stream Processing Made Simpleを参照してくださいRocksDBはJVM互換言語で記述されていないため、追加の共有ライブラリ(OSに依存)が必要なため、デプロイメントを慎重に処理する必要があります。

そしてここに簡単な質問があります:

  • Apache Kafka StreamsがRocksDBを使用する理由
  • どうすれば変更できますか?

答えを検索しようとしましたが、RocksDBが毎秒約数百万回のオペレーションの範囲で非常に高速であるという暗黙の理由しかわかりません。

一方、JavaでコーディングされているDBがいくつかあり、エンドツーエンドで、JNIを介さずにそれを実行できる場合もあります。

Matthias J. Sax:

RocksDBは、いくつかの(内部の)理由で使用されます(たとえば、既にそのパフォーマンスについて説明しました)。概念的には、Kafka StreamsはRocksDBを必要としません-これは内部キー値キャッシュとして使用され、同様の機能を提供する他のストアも機能します。

以下の@migunoからのコメント(言い換え):

純粋なインメモリキーバリューストアとは対照的に、RocksDBの重要な利点の1つは、ディスクに書き込むことができることです。したがって、Kafka Streamsは、使用可能なメインメモリよりも大きな状態をサポートできます。

上記の@migunoからのコメント:

参考:"RocksDB is not written in JVN compatible language, so it needs careful handling of the deployment, as it needs extra shared library (OS dependent)."Kafka Streamsのユーザーは何もインストールする必要はありません。

使用カフカストリームDSLを 0.10.2リリース(のように、KAFKA-3825)、それはカスタム状態店でプラグインすると、異なるキーと値のストアを使用することが可能です。

Kafka Streams Processor APIを使用StateStoreすると、インターフェースを介して独自のストアを実装し、トポロジ内のプロセッサノードに接続できます。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Apache Kafkaを完全にパージするにはどうすればよいですか?

分類Dev

Apache KafkaにXMLイベントを取得するにはどうすればよいですか?

分類Dev

Apache Kafkaサーバーへの接続が失われたときにSpringKafkaリスナーでマイクロサービスを停止するにはどうすればよいですか?

分類Dev

Apache Kafka-KTableの実装

分類Dev

Why Apache Kafka Streams uses RocksDB and if how is it possible to change it?

分類Dev

Apache Kafkaとの間のApache Camelルートによる中断例外

分類Dev

Spark Streaming Kafka Consumerで「java.io.NotSerializableException:org.apache.kafka.clients.consumer.ConsumerRecord」を修正するにはどうすればよいですか?

分類Dev

apache kafkaで、トピックを削除せずに_schemasトピックのコンテンツを削除するにはどうすればよいですか?

分類Dev

Apache Kafka、Amazon Glue、Amazon S3を使用してデータレイクを作成するにはどうすればよいですか?

分類Dev

apache kafkaまたはactivemqを使用する方が良いのは何ですか?

分類Dev

kafka.javaapi。*とorg.apache.kafka。*の違いは何ですか?

分類Dev

Apache Kafka vs Apache Storm

分類Dev

Apache Kafkaは何に使用しますか?

分類Dev

Apache Kafka Connect With Springboot

分類Dev

Apache Kafka1.0.0を使用したApacheFlink 1.4

分類Dev

Javaの代わりにpythonでApache Kafkaを使用することの欠点はありますか?

分類Dev

ホストマシンからDocker(bitnami)Apache Kafkaにメッセージを送信するにはどうすればよいですか?

分類Dev

Apache Kafka オフセットはどのように生成されますか?

分類Dev

Kafka Streams:RocksDbを動的に構成する

分類Dev

サーバー側とクライアントの両方で、vertxでapache kafkaをどのように使用しますか?

分類Dev

Apache Storm TridentとKafka Spoutの統合

分類Dev

Apache Storm TridentとKafka Spoutの統合

分類Dev

Apache Kafka 消費者/消費者の混乱

分類Dev

Spring 統合 - Kafka への Apache ActiveMQ

分類Dev

Apache Kafkaが使用される実際の使用例

分類Dev

Apache Kafkaで複数のトピックを削除する方法

分類Dev

kafkaでSpark:NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)

分類Dev

Kafka POM依存関係の問題-ClassNotFoundException:org.apache.kafka.test.TestCondition

分類Dev

org.apache.kafka.common.errors.NotLeaderForPartitionExceptionsを無視できますか?

Related 関連記事

  1. 1

    Apache Kafkaを完全にパージするにはどうすればよいですか?

  2. 2

    Apache KafkaにXMLイベントを取得するにはどうすればよいですか?

  3. 3

    Apache Kafkaサーバーへの接続が失われたときにSpringKafkaリスナーでマイクロサービスを停止するにはどうすればよいですか?

  4. 4

    Apache Kafka-KTableの実装

  5. 5

    Why Apache Kafka Streams uses RocksDB and if how is it possible to change it?

  6. 6

    Apache Kafkaとの間のApache Camelルートによる中断例外

  7. 7

    Spark Streaming Kafka Consumerで「java.io.NotSerializableException:org.apache.kafka.clients.consumer.ConsumerRecord」を修正するにはどうすればよいですか?

  8. 8

    apache kafkaで、トピックを削除せずに_schemasトピックのコンテンツを削除するにはどうすればよいですか?

  9. 9

    Apache Kafka、Amazon Glue、Amazon S3を使用してデータレイクを作成するにはどうすればよいですか?

  10. 10

    apache kafkaまたはactivemqを使用する方が良いのは何ですか?

  11. 11

    kafka.javaapi。*とorg.apache.kafka。*の違いは何ですか?

  12. 12

    Apache Kafka vs Apache Storm

  13. 13

    Apache Kafkaは何に使用しますか?

  14. 14

    Apache Kafka Connect With Springboot

  15. 15

    Apache Kafka1.0.0を使用したApacheFlink 1.4

  16. 16

    Javaの代わりにpythonでApache Kafkaを使用することの欠点はありますか?

  17. 17

    ホストマシンからDocker(bitnami)Apache Kafkaにメッセージを送信するにはどうすればよいですか?

  18. 18

    Apache Kafka オフセットはどのように生成されますか?

  19. 19

    Kafka Streams:RocksDbを動的に構成する

  20. 20

    サーバー側とクライアントの両方で、vertxでapache kafkaをどのように使用しますか?

  21. 21

    Apache Storm TridentとKafka Spoutの統合

  22. 22

    Apache Storm TridentとKafka Spoutの統合

  23. 23

    Apache Kafka 消費者/消費者の混乱

  24. 24

    Spring 統合 - Kafka への Apache ActiveMQ

  25. 25

    Apache Kafkaが使用される実際の使用例

  26. 26

    Apache Kafkaで複数のトピックを削除する方法

  27. 27

    kafkaでSpark:NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)

  28. 28

    Kafka POM依存関係の問題-ClassNotFoundException:org.apache.kafka.test.TestCondition

  29. 29

    org.apache.kafka.common.errors.NotLeaderForPartitionExceptionsを無視できますか?

ホットタグ

アーカイブ