(代表客户提交)
..................................
我们正在kubernetes上使用kafka connect集群(helm图表)。
但是,要安装插件,建议使用本地连接器扩展“ cp-kafka-connect-base”提供的映像。此处提供更多说明:https://docs.confluent.io/current/connect/managing/extending.html#create-a-docker-image- contains-local-connectors
我无法通过雪花卡夫卡连接器执行此操作。
有建议的解决方法吗?
PS:
对于PoC,我在本地计算机上运行了kafka connect,并在工作正常的plugins目录中添加了雪花kafka-connector jar文件。但是需要此docker映像进行生产部署。
您是否尝试过使用Docker挂载外部卷并映射了Snowflake Connector jar的存储位置:https : //docs.confluent.io/current/installation/docker/operations/external-volumes.html#
例如:
导航到〜/ cp-docker-images / examples / cp-all-in-one
在文本编辑器中打开docker-compose.yml
将最后一行(如下)添加到文件中,并保存
connect:
image: confluentinc/kafka-connect-datagen:latest
build:
context: .
dockerfile: Dockerfile
hostname: connect
container_name: connect
depends_on:
- zookeeper
- broker
- schema-registry
ports:
- "8083:8083"
volumes:
- ~/my-location:/etc/kafka-connect/jar
并修改connect插件路径以读取如下内容:
CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components,/etc/kafka-connect/jars"
卷:这将本地目录映射到Docker中的逻辑文件系统位置。因此,当它启动时,可以通过/ etc / kafka-connect / jars映射从我的Mac上的〜/ my-location(或您在此处输入的任何内容)中读取
Connect插件路径:您可以看到我们只是将/ etc / kafka-connect / jars添加为已知位置,然后让Kafka Connect查找要加载的新连接器。
希望这可以帮助。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句