使用cp-kafka-connect-base为雪花-kafka-connector构建组合的docker映像,以在kafka connect集群上部署

加文·威尔逊

(代表客户提交)

..................................

我们正在kubernetes上使用kafka connect集群(helm图表)。

但是,要安装插件,建议使用本地连接器扩展“ cp-kafka-connect-base”提供的映像。此处提供更多说明:https//docs.confluent.io/current/connect/managing/extending.html#create-a-docker-image- contains-local-connectors

我无法通过雪花卡夫卡连接器执行此操作。

有建议的解决方法吗?

PS:

对于PoC,我在本地计算机上运行了kafka connect,并在工作正常的plugins目录中添加了雪花kafka-connector jar文件。但是需要此docker映像进行生产部署。

迈克·多诺万

您是否尝试过使用Docker挂载外部卷并映射了Snowflake Connector jar的存储位置:https : //docs.confluent.io/current/installation/docker/operations/external-volumes.html#

例如:

导航到〜/ cp-docker-images / examples / cp-all-in-one

在文本编辑器中打开docker-compose.yml

将最后一行(如下)添加到文件中,并保存

  connect:
    image: confluentinc/kafka-connect-datagen:latest
    build:
      context: .
      dockerfile: Dockerfile
    hostname: connect
    container_name: connect
    depends_on:
      - zookeeper
      - broker
      - schema-registry
    ports:
      - "8083:8083"
    volumes:
      - ~/my-location:/etc/kafka-connect/jar

并修改connect插件路径以读取如下内容:

 CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components,/etc/kafka-connect/jars"

卷:这将本地目录映射到Docker中的逻辑文件系统位置。因此,当它启动时,可以通过/ etc / kafka-connect / jars映射从我的Mac上的〜/ my-location(或您在此处输入的任何内容)中读取

Connect插件路径:您可以看到我们只是将/ etc / kafka-connect / jars添加为已知位置,然后让Kafka Connect查找要加载的新连接器。

希望这可以帮助。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

Related 相关文章

热门标签

归档