Kafkaコンパクトトピックから単一のキー付きメッセージを読み取ることはできますか?

cbarlock

メッセージキーを知っている場合、Kafkaコンパクトトピックから単一のメッセージを読み取ることは可能ですか?
コンシューマーJavadocには、機能するように見えるものは何も見つかりませんでした。

OneCricketeer

Kafkaトピックはキーにインデックス付けされておらず、キーによってパーティション化されています。

はい、圧縮に関係なく単一のメッセージを読むことはできますが、特定のキーから始まるトピックを読むことはできず、オフセットのみを読むことができます。

キーを知っていると、パーティション見つけることができます(デフォルトのパーティショナーを使用していると仮定します)。

しかし、それが最善の方法です...パーティション全体をスキャンして、キーのオフセットを見つける必要があります


たとえば、kafkacatを使用して、キーとオフセットを印刷します

kafkacat -C -b kafka:9092 -t topic-name -p 0 -f "key: %k; offset: %o\n" | grep key-value

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Kafkaのパッシブセグメントからデータを読み取ることはできますか?

分類Dev

Kafkaトピックの特定のパーティションから読み取ることができますか?

分類Dev

RESTプロキシを使用してすべてのメッセージがKafkaトピックから読み取られたことを確認する

分類Dev

Kafkaは、トピックから読み取るメッセージの最大数を設定しました

分類Dev

Cloudflowはkafkaからのavroメッセージを読み取ることができません

分類Dev

spring-kafkaを使用して、特定のオフセットで特定のトピックとパーティションから古いkafkaメッセージを再送信(読み取り)する方法は?

分類Dev

Kafkaで、単一のkafkaトピックを作成し、複数のプロデューサーに書き込みさせることはできますか?

分類Dev

サーバーがクライアントからメッセージを読み取るときのOutOfMemoryException

分類Dev

kafkaトピックからの各メッセージを別々に消費することは可能ですか?

分類Dev

JAWS などのスクリーン リーダーは jGrowl メッセージを読み取ることができますか?

分類Dev

ソフトウェアRAIDアレイや別のコンピューターから単一のMDADMRAID 1ディスクを読み取ることはできますか?

分類Dev

datastax cassandraオブジェクトマッパーは、一度に1つのエンティティのみを読み取ることができます

分類Dev

メソッドの戻り値からコピーしてオブジェクトをインスタンス化することはできますか?

分類Dev

再起動後にコンシューマーがKafkaトピックからのすべてのメッセージを読み取るのはなぜですか?

分類Dev

MQTTで、単一のクライアントにメッセージを送信できますか?それともトピックだけですか?

分類Dev

自動モジュールは、Java 9でエクスポートされたパッケージ内の名前付きモジュールのクラスを読み取ることができますか?

分類Dev

Kafka 0.10.2(コマンドライン)でSSLを使用して認証を構成できません-プロデューサーとコンシューマーはトピックへの書き込みまたはトピックからの読み取りができません

分類Dev

Storm-kafka 0.8 plus、最新のオフセットから読み取ることはできますか?

分類Dev

apache nifiからkafkaトピックでAvroメッセージを生成し、kafkaストリームを使用してそれを読み取る方法は?

分類Dev

ロジックが基本的に同じであるときに、単体テストをコピーして貼り付けることはできますか?

分類Dev

Kafkaトピックからストリームを読み取るときに、Spark Structured Streamingにタイムアウトの問題がありますか?

分類Dev

指定されたオフセットから複数のパーティションを持つトピックから読み取るKafka単一コンシューマー

分類Dev

宣言のみから単純なコンストラクターを生成することはできますか?

分類Dev

プログラムは、二重にリンクされたリストから単一のデータを読み取ることができません

分類Dev

単一のコンシューマーを持つkafkaトピックのパーティション間でメッセージの順序を維持する方法はありますか?

分類Dev

テレグラムボットはチャネルのメッセージを読み取ることができますか

分類Dev

パッケージから関数のみをインポートすることはできますか?

分類Dev

Kafkaコンシューマーは、パーティション内のアクティブなセグメントからメッセージを読み取りますか?

分類Dev

単一のKafkaプロデューサーが複数のトピックへのメッセージを作成できますか?

Related 関連記事

  1. 1

    Kafkaのパッシブセグメントからデータを読み取ることはできますか?

  2. 2

    Kafkaトピックの特定のパーティションから読み取ることができますか?

  3. 3

    RESTプロキシを使用してすべてのメッセージがKafkaトピックから読み取られたことを確認する

  4. 4

    Kafkaは、トピックから読み取るメッセージの最大数を設定しました

  5. 5

    Cloudflowはkafkaからのavroメッセージを読み取ることができません

  6. 6

    spring-kafkaを使用して、特定のオフセットで特定のトピックとパーティションから古いkafkaメッセージを再送信(読み取り)する方法は?

  7. 7

    Kafkaで、単一のkafkaトピックを作成し、複数のプロデューサーに書き込みさせることはできますか?

  8. 8

    サーバーがクライアントからメッセージを読み取るときのOutOfMemoryException

  9. 9

    kafkaトピックからの各メッセージを別々に消費することは可能ですか?

  10. 10

    JAWS などのスクリーン リーダーは jGrowl メッセージを読み取ることができますか?

  11. 11

    ソフトウェアRAIDアレイや別のコンピューターから単一のMDADMRAID 1ディスクを読み取ることはできますか?

  12. 12

    datastax cassandraオブジェクトマッパーは、一度に1つのエンティティのみを読み取ることができます

  13. 13

    メソッドの戻り値からコピーしてオブジェクトをインスタンス化することはできますか?

  14. 14

    再起動後にコンシューマーがKafkaトピックからのすべてのメッセージを読み取るのはなぜですか?

  15. 15

    MQTTで、単一のクライアントにメッセージを送信できますか?それともトピックだけですか?

  16. 16

    自動モジュールは、Java 9でエクスポートされたパッケージ内の名前付きモジュールのクラスを読み取ることができますか?

  17. 17

    Kafka 0.10.2(コマンドライン)でSSLを使用して認証を構成できません-プロデューサーとコンシューマーはトピックへの書き込みまたはトピックからの読み取りができません

  18. 18

    Storm-kafka 0.8 plus、最新のオフセットから読み取ることはできますか?

  19. 19

    apache nifiからkafkaトピックでAvroメッセージを生成し、kafkaストリームを使用してそれを読み取る方法は?

  20. 20

    ロジックが基本的に同じであるときに、単体テストをコピーして貼り付けることはできますか?

  21. 21

    Kafkaトピックからストリームを読み取るときに、Spark Structured Streamingにタイムアウトの問題がありますか?

  22. 22

    指定されたオフセットから複数のパーティションを持つトピックから読み取るKafka単一コンシューマー

  23. 23

    宣言のみから単純なコンストラクターを生成することはできますか?

  24. 24

    プログラムは、二重にリンクされたリストから単一のデータを読み取ることができません

  25. 25

    単一のコンシューマーを持つkafkaトピックのパーティション間でメッセージの順序を維持する方法はありますか?

  26. 26

    テレグラムボットはチャネルのメッセージを読み取ることができますか

  27. 27

    パッケージから関数のみをインポートすることはできますか?

  28. 28

    Kafkaコンシューマーは、パーティション内のアクティブなセグメントからメッセージを読み取りますか?

  29. 29

    単一のKafkaプロデューサーが複数のトピックへのメッセージを作成できますか?

ホットタグ

アーカイブ