Kafkaクライアントを0.8.0から0.10.0.1にアップグレードすることを計画していますが、コンシューマーでは0.8.0バージョンのオフセットはzookeeperに保存され、バージョン0.10.0.1のブローカーに保存されるので、同じものでコンシューマーを開始すると0.10.0.1のバージョン0.8.0以降のグループおよびクライアントIDは、古いコンシューマーが消費を停止した場所から新しいコンシューマーがメッセージをフェッチします。データの損失が発生する場合は、オフセットを飼育係からブローカーに移行してから、新しいコンシューマーを開始してみてください。
0.10のzookeeperにオフセットを保存し続けることができます。実際、クライアントバイナリをアップグレードしたばかりの場合、オフセットコミットの動作に変更はありません。データとオフセットの移行について考え始める必要があるのは、アプリケーションで新しいコンシューマーAPIの使用に移行するときです。ここで、古いAPIに基づいて古いアプリケーションインスタンスを停止し、zookeeperに保存されているオフセットを確認してから、そのオフセットからデータの損失または重複について新しいコンシューマーAPIの実装を開始する必要があります。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加