特定のレコードについてKafkaトピックをクエリするエレガントな方法はありますか？私が構築しているRESTAPIはIDを取得し、KafkaトピックでそのIDに関連付けられたレコードを検索する必要があります。1つのアプローチは、カスタムコンシューマーを介してトピック内のすべてのレコードをチェックし、一致するものを探すことですが、大量のレコードを読み取るオーバーヘッドを回避したいと思います。Kafkaには高速の組み込みフィルタリング機能がありますか？
Kafkaでレコードを検索する（単純化しすぎる）唯一の高速な方法は、パーティションとオフセットを使用することです。新しいプロデューサークラスは、futuresを介して、メッセージが書き込まれたパーティションとオフセットを返すことができます。これらの2つの値を使用して、メッセージを非常にすばやく取得できます。
したがって、パーティションとオフセットからIDを作成すると、高速クエリを実装できます。そうでなければ、それほど多くはありません。これは、オブジェクトのIDがデータモデルの一部ではなく、Kafkaが認識できるコードによって生成されることを意味します。
多分それはあなたのために働くかもしれません、多分それはそうではありません。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加