Kafkaトピックからの最後のメッセージのみを読む

naifmeh

Kafkaトピックを介してビデオストリームを送信し、各メッセージの消費の間にいくつかの処理を実行しようとしています。この処理には約20ミリ秒かかるため、100フレーム後、結果として遅延が発生します。このレイテンシーは検出できますが、レイテンシーが検出された瞬間から、コンシューマーに最新の送信済みフレームからの読み取りを強制できる必要があります。これにより、多くのフレームがスキップされることを認識しています。

librdkafkaをベースにしたcppkafkaを使用しています。

答えのほとんどが私の問題とは異なるか、他の言語のAPIにのみ存在する概念を使用しているため、正しい道に進むためのリードを見つけることができません。

この問題について何か考えはありますか?

一部のプログラマーの男

単純な、ある種の野蛮な方法は、キュー内のフレーム数を確認することです。特定の上限しきい値を超えている場合は、下限しきい値(この場合は1つ)に達するまで、フレームを「消費」して破棄する(つまり、処理をまったく行わない)タイトループを実行します。

そのタイトなループが完了すると、キューの通常の処理を再開します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

特定のトピックからKafka消費者の最後のn個のメッセージを取得する

分類Dev

Kafkaは、トピックから読み取るメッセージの最大数を設定しました

分類Dev

WebSocketに接続するときにakka-stream-kafkaを使用してkafkaトピックから最後のメッセージを取得する

分類Dev

Kafkaコンパクトトピックから単一のキー付きメッセージを読み取ることはできますか?

分類Dev

RESTプロキシを使用してすべてのメッセージがKafkaトピックから読み取られたことを確認する

分類Dev

カフカトピックから最後のメッセージを取得する方法はありますか?

分類Dev

Kafka Consumer Group:新しいメッセージのみを読む

分類Dev

Sparkのkafkaメッセージからトピックを取得する

分類Dev

Kafkaトピックから最新のメッセージを取得する方法

分類Dev

Spark StructuredStreamingのKafkaメッセージから改行区切りのjsonを読む

分類Dev

あるKafkaトピックから別のkafkaトピックへのメッセージの複製

分類Dev

再起動後にコンシューマーがKafkaトピックからのすべてのメッセージを読み取るのはなぜですか?

分類Dev

別のMavenプロジェクトからメッセージプロパティを読み込む

分類Dev

kafkaトピックに送信された最後のメッセージを取得する

分類Dev

Kafka トピックから利用可能なすべてのメッセージが消費された後、メッセージのリストを含む Future をどのように返しますか?

分類Dev

アセットからAndroidにシェーダーを読み込む-最後に追加のシンボル?

分類Dev

特定のオフセットでkafkaトピックからメッセージを取得する方法

分類Dev

最後に成功したメッセージからKafkaトピックを再生します

分類Dev

kafkaトピックからのすべてのメッセージを消費し、その後ポーリングを停止する方法はありますか?

分類Dev

spring-kafkaを使用して、特定のオフセットで特定のトピックとパーティションから古いkafkaメッセージを再送信(読み取り)する方法は?

分類Dev

グループのコミットされたオフセットに関係なく、トピックの最後から読む方法

分類Dev

kafkaサーバーからトピック内のすべてのメッセージを取得する方法

分類Dev

GMAILAPIを使用して最後の20件のメッセージを読む

分類Dev

Apache Kafkaでコンシューマーの最後に読み取られたメッセージオフセットを追跡しているのは誰ですか?

分類Dev

Confluent-1つのkafkaトピックからのAvroメッセージを複数のkafkaトピックに分割する

分類Dev

Kafkaからのメッセージのストリームを読みながらAvroメッセージを処理する方法は?

分類Dev

Apache Kafka 0.9 JavaAPIトピックの最初からすべてのメッセージを消費する

分類Dev

Kafka 0.10Javaコンシューマーがトピックからのメッセージを読んでいない

分類Dev

kafkaトピックからの各メッセージを別々に消費することは可能ですか?

Related 関連記事

  1. 1

    特定のトピックからKafka消費者の最後のn個のメッセージを取得する

  2. 2

    Kafkaは、トピックから読み取るメッセージの最大数を設定しました

  3. 3

    WebSocketに接続するときにakka-stream-kafkaを使用してkafkaトピックから最後のメッセージを取得する

  4. 4

    Kafkaコンパクトトピックから単一のキー付きメッセージを読み取ることはできますか?

  5. 5

    RESTプロキシを使用してすべてのメッセージがKafkaトピックから読み取られたことを確認する

  6. 6

    カフカトピックから最後のメッセージを取得する方法はありますか?

  7. 7

    Kafka Consumer Group:新しいメッセージのみを読む

  8. 8

    Sparkのkafkaメッセージからトピックを取得する

  9. 9

    Kafkaトピックから最新のメッセージを取得する方法

  10. 10

    Spark StructuredStreamingのKafkaメッセージから改行区切りのjsonを読む

  11. 11

    あるKafkaトピックから別のkafkaトピックへのメッセージの複製

  12. 12

    再起動後にコンシューマーがKafkaトピックからのすべてのメッセージを読み取るのはなぜですか?

  13. 13

    別のMavenプロジェクトからメッセージプロパティを読み込む

  14. 14

    kafkaトピックに送信された最後のメッセージを取得する

  15. 15

    Kafka トピックから利用可能なすべてのメッセージが消費された後、メッセージのリストを含む Future をどのように返しますか?

  16. 16

    アセットからAndroidにシェーダーを読み込む-最後に追加のシンボル?

  17. 17

    特定のオフセットでkafkaトピックからメッセージを取得する方法

  18. 18

    最後に成功したメッセージからKafkaトピックを再生します

  19. 19

    kafkaトピックからのすべてのメッセージを消費し、その後ポーリングを停止する方法はありますか?

  20. 20

    spring-kafkaを使用して、特定のオフセットで特定のトピックとパーティションから古いkafkaメッセージを再送信(読み取り)する方法は?

  21. 21

    グループのコミットされたオフセットに関係なく、トピックの最後から読む方法

  22. 22

    kafkaサーバーからトピック内のすべてのメッセージを取得する方法

  23. 23

    GMAILAPIを使用して最後の20件のメッセージを読む

  24. 24

    Apache Kafkaでコンシューマーの最後に読み取られたメッセージオフセットを追跡しているのは誰ですか?

  25. 25

    Confluent-1つのkafkaトピックからのAvroメッセージを複数のkafkaトピックに分割する

  26. 26

    Kafkaからのメッセージのストリームを読みながらAvroメッセージを処理する方法は?

  27. 27

    Apache Kafka 0.9 JavaAPIトピックの最初からすべてのメッセージを消費する

  28. 28

    Kafka 0.10Javaコンシューマーがトピックからのメッセージを読んでいない

  29. 29

    kafkaトピックからの各メッセージを別々に消費することは可能ですか?

ホットタグ

アーカイブ