AmazonMSKでKafkaConnectアダプターを使用するにはどうすればよいですか?AWSのドキュメントによると、Kafka connectをサポートしていますが、アダプターのセットアップ方法と使用方法についてはドキュメント化されていません。
AFAIK Amazon MSKはマネージドコネクタを提供していないため、自分で実行する必要があります。これは、Kafka Connectワーカープロセス(JVM)を実行し、実行する1つ以上のコネクター構成を提供することによって行われます。
Kafka Connectワーカーの観点からは、接続するために必要なのはKafkaクラスターだけです。それがMSKであるかオンプレミスであるかは問題ではありません。それは、最終的にはその下にある「単なる」消費者/生産者だからです。
ライブデモなど、詳細については、https://rmoff.dev/bbuzz19-kafka-connectをご覧ください。
クラウドでホストされるKafkaプラットフォーム(この場合はConfluent Cloud)を使用するようにKafka Connectを構成する例については、この記事を参照してください。
クラウドのマネージドコネクタに興味がある場合は、ConfluentCloudで提供されているコネクタを確認してください。
免責事項:私はConfluentで働いています:)
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加