Kafka Connect with Amazon MSK

ミリガンクキショアバルマ

AmazonMSKでKafkaConnectアダプターを使用するにはどうすればよいですか?AWSのドキュメントによると、Kafka connectをサポートしていますが、アダプターのセットアップ方法と使用方法についてはドキュメント化されていません。

ロビンモファット

AFAIK Amazon MSKはマネージドコネクタを提供していないため、自分で実行する必要があります。これは、Kafka Connectワーカープロセス(JVM)を実行し、実行する1つ以上のコネクター構成を提供することによって行われます。

Kafka Connectワーカーの観点からは、接続するために必要なのはKafkaクラスターだけです。それがMSKであるかオンプレミスであるかは問題ではありません。それは、最終的にはその下にある「単なる」消費者/生産者だからです。

ライブデモなど、詳細については、https//rmoff.dev/bbuzz19-kafka-connectをご覧ください。

クラウドでホストされるKafkaプラットフォーム(この場合はConfluent Cloud)を使用するようにKafka Connectを構成する例については、この記事を参照してください


クラウドのマネージドコネクタに興味がある場合は、ConfluentCloudで提供されているコネクタ確認してください

免責事項:私はConfluentで働いています:)

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

AmazonKinesisとAWSManage Service Kafka(MSK)-(オンプレミスから接続)

分類Dev

Kafka Connect Logstash

分類Dev

Kafka Connect with CockroachDB

分類Dev

Kafka Connect and Streams

分類Dev

Apache Kafka Connect With Springboot

分類Dev

Is it possible to specify a kafka topic in a Kafka Connect config?

分類Dev

Kafka Connect SMT to add Kafka header fields

分類Dev

Kafka Connect AWS Lambda Sink

分類Dev

Kafka Connect vs Streams for Sinks

分類Dev

SaramaはAmazon MSKバージョン2.3.1のメッセージを生成できません

分類Dev

Amazon MSKトピックをS3に直接ダンプする方法はありますか?

分類Dev

Unable to Connect to Jenkins Server (Amazon Linux AMI)

分類Dev

Unable to Connect to Jenkins Server (Amazon Linux AMI)

分類Dev

What if debezium source connector of kafka connect fails to produce to kafka

分類Dev

Kafka Connect実装エラー

分類Dev

Kafka-Connect vs Filebeat&Logstash

分類Dev

Kafka Authentication Producer Unable to Connect Producer

分類Dev

Connect Confluent with already existing three kafka brokers

分類Dev

Kafka Connect Distributed mode The group coordinator is not available

分類Dev

How to create connectors for Kafka-connect on Kubernetes?

分類Dev

Cannot connect to KAFKA running on Azure App Service

分類Dev

Kafka Connect JDBC db.timezone config

分類Dev

Docker-ized Consul, Zookeeper and Kafka in Amazon-ECS

分類Dev

Running Zeppelin on an external EC2 to connect to an Amazon EMR

分類Dev

Unable to connect to MSSQL server on Amazon RDS using NAT instance

分類Dev

Connect to Amazon ec2 Instance without specifying .pem file

分類Dev

Amazon EC2 Connect To Amazon Aurora MySQL, Spring Boot App

分類Dev

Kafka Connectのjmx_prometheus_javaagent構成?

分類Dev

Partition By Multiple Nested Fields in Kafka Connect HDFS Sink

Related 関連記事

  1. 1

    AmazonKinesisとAWSManage Service Kafka(MSK)-(オンプレミスから接続)

  2. 2

    Kafka Connect Logstash

  3. 3

    Kafka Connect with CockroachDB

  4. 4

    Kafka Connect and Streams

  5. 5

    Apache Kafka Connect With Springboot

  6. 6

    Is it possible to specify a kafka topic in a Kafka Connect config?

  7. 7

    Kafka Connect SMT to add Kafka header fields

  8. 8

    Kafka Connect AWS Lambda Sink

  9. 9

    Kafka Connect vs Streams for Sinks

  10. 10

    SaramaはAmazon MSKバージョン2.3.1のメッセージを生成できません

  11. 11

    Amazon MSKトピックをS3に直接ダンプする方法はありますか?

  12. 12

    Unable to Connect to Jenkins Server (Amazon Linux AMI)

  13. 13

    Unable to Connect to Jenkins Server (Amazon Linux AMI)

  14. 14

    What if debezium source connector of kafka connect fails to produce to kafka

  15. 15

    Kafka Connect実装エラー

  16. 16

    Kafka-Connect vs Filebeat&Logstash

  17. 17

    Kafka Authentication Producer Unable to Connect Producer

  18. 18

    Connect Confluent with already existing three kafka brokers

  19. 19

    Kafka Connect Distributed mode The group coordinator is not available

  20. 20

    How to create connectors for Kafka-connect on Kubernetes?

  21. 21

    Cannot connect to KAFKA running on Azure App Service

  22. 22

    Kafka Connect JDBC db.timezone config

  23. 23

    Docker-ized Consul, Zookeeper and Kafka in Amazon-ECS

  24. 24

    Running Zeppelin on an external EC2 to connect to an Amazon EMR

  25. 25

    Unable to connect to MSSQL server on Amazon RDS using NAT instance

  26. 26

    Connect to Amazon ec2 Instance without specifying .pem file

  27. 27

    Amazon EC2 Connect To Amazon Aurora MySQL, Spring Boot App

  28. 28

    Kafka Connectのjmx_prometheus_javaagent構成?

  29. 29

    Partition By Multiple Nested Fields in Kafka Connect HDFS Sink

ホットタグ

アーカイブ