logstashdockerコンテナからkafkadockerコンテナに接続できません

geoandri

logstash dockerコンテナーからkafka dockerコンテナーに接続しようとしていますが、常に次のメッセージが表示されます。

 Connection to node 0 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.

私のdocker-compose.ymlファイルは

version: '3.2'

services:
  elasticsearch:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./elasticsearch/config/elasticsearch.yml
        target: /usr/share/elasticsearch/config/elasticsearch.yml
        read_only: true
      - type: volume
        source: elasticsearch
        target: /usr/share/elasticsearch/data
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      ES_JAVA_OPTS: "-Xmx256m -Xms256m"
      ELASTIC_PASSWORD: changeme
    networks:
      - elk
    depends_on:
      - kafka

  logstash:
    build:
      context: logstash/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./logstash/config/logstash.yml
        target: /usr/share/logstash/config/logstash.yml
        read_only: true
      - type: bind
        source: ./logstash/pipeline
        target: /usr/share/logstash/pipeline
        read_only: true
    ports:
      - "5000:5000"
      - "9600:9600"
    links:
      - kafka
    environment:
      LS_JAVA_OPTS: "-Xmx256m -Xms256m"
    networks:
      - elk
    depends_on:
      - elasticsearch

  kibana:
    build:
      context: kibana/
      args:
        ELK_VERSION: $ELK_VERSION
    volumes:
      - type: bind
        source: ./kibana/config/kibana.yml
        target: /usr/share/kibana/config/kibana.yml
        read_only: true
    ports:
      - "5601:5601"
    networks:
      - elk
    depends_on:
      - elasticsearch

  zookeeper:
    image: strimzi/kafka:0.11.3-kafka-2.1.0
    container_name: zookeeper
    command: [
      "sh", "-c",
      "bin/zookeeper-server-start.sh config/zookeeper.properties"
    ]
    ports:
      - "2181:2181"
    networks:
      - elk
    environment:
      LOG_DIR: /tmp/logs

  kafka:
    image: strimzi/kafka:0.11.3-kafka-2.1.0
    command: [
      "sh", "-c",
      "bin/kafka-server-start.sh config/server.properties --override listeners=$${KAFKA_LISTENERS} --override advertised.listeners=$${KAFKA_ADVERTISED_LISTENERS} --override zookeeper.connect=$${KAFKA_ZOOKEEPER_CONNECT}"
    ]
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    networks:
      - elk
    environment:
      LOG_DIR: "/tmp/logs"
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181

networks:
  elk:
    driver: bridge

volumes:
  elasticsearch:

そして私のlogstash.confファイルは

input {
    kafka{
        bootstrap_servers => "kafka:9092"
        topics => ["logs"]
    }
}

## Add your filters / logstash plugins configuration here

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
        user => "elastic"
        password => "changeme"
    }
}

すべてのコンテナは正常に実行されており、コンテナの外部でKafkaトピックにメッセージを送信できます。

ロビンモファット

クライアントから解決できるホスト名に基づいてリスナーを定義する必要があります。リスナーがlocalhostクライアント(logstash)の場合localhost、それを独自のコンテナーから解決しようとするため、エラーが発生します。

私はこれについてここで詳細に書いていますが、本質的にあなたはこれを必要とします:

KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092, PLAINTEXT://kafka:29092
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092, PLAINTEXT://kafka:29092

次に、Dockerネットワーク上の任意のコンテナkafka:29092がそれに到達するために使用するため、logstashconfigは次のようになります。

bootstrap_servers => "kafka:29092"

ホストマシン自体のクライアントは引き続きを使用しますlocalhost:9092

これは、Docker Composeで実際に動作していることをここで確認できます:https//github.com/confluentinc/demo-scene/blob/master/build-a-streaming-pipeline/docker-compose.yml#L40

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

DockerコンテナからSQLServerに接続できません

分類Dev

Dockerコンテナから別のコンテナに接続できません。接続拒否

分類Dev

アプリコンテナからredisコンテナに接続できません

分類Dev

アプリコンテナからpostgresDBDockerコンテナに接続できません

分類Dev

別のコンテナからPostgresコンテナに接続できません

分類Dev

GolangコンテナからPostgresのDockerコンテナに接続できません

分類Dev

ConduktorをKafkaDockerコンテナに接続します

分類Dev

別のDockerコンテナからRedisに接続できません

分類Dev

別のDockerコンテナからRedisに接続できません

分類Dev

Dockerコンテナから外部SQLServerに接続できません

分類Dev

Dockerコンテナ内からmysqlに接続できません

分類Dev

Docker:SpringbootコンテナはPostgreSqlコンテナに接続できません

分類Dev

UWSGIコンテナをNGINXコンテナに接続できません[Docker]

分類Dev

PHPコンテナがMySQLコンテナに接続できません

分類Dev

dockerwordpressコンテナがmysqlコンテナに接続できません

分類Dev

Kafkadockerコンテナは仮想マシンで実行できません

分類Dev

コンテナDockerでmongoに接続できません

分類Dev

mongoでDockerコンテナに接続できません

分類Dev

名前でmongodockerコンテナに接続できません

分類Dev

DockerコンテナでGoServerに接続できません

分類Dev

GCEDockerコンテナにSSHで接続できません

分類Dev

mongoコンテナに接続できません

分類Dev

mongodbコンテナホストに接続できません

分類Dev

DockerコンテナにSSH接続できません

分類Dev

DockerコンテナにSSH接続できません

分類Dev

OSXのDockerコンテナに接続できません

分類Dev

Dockermysqlはコンテナに接続できません

分類Dev

CassandraDockerコンテナに接続できません

分類Dev

Dockerコンテナは相互に接続できません

Related 関連記事

  1. 1

    DockerコンテナからSQLServerに接続できません

  2. 2

    Dockerコンテナから別のコンテナに接続できません。接続拒否

  3. 3

    アプリコンテナからredisコンテナに接続できません

  4. 4

    アプリコンテナからpostgresDBDockerコンテナに接続できません

  5. 5

    別のコンテナからPostgresコンテナに接続できません

  6. 6

    GolangコンテナからPostgresのDockerコンテナに接続できません

  7. 7

    ConduktorをKafkaDockerコンテナに接続します

  8. 8

    別のDockerコンテナからRedisに接続できません

  9. 9

    別のDockerコンテナからRedisに接続できません

  10. 10

    Dockerコンテナから外部SQLServerに接続できません

  11. 11

    Dockerコンテナ内からmysqlに接続できません

  12. 12

    Docker:SpringbootコンテナはPostgreSqlコンテナに接続できません

  13. 13

    UWSGIコンテナをNGINXコンテナに接続できません[Docker]

  14. 14

    PHPコンテナがMySQLコンテナに接続できません

  15. 15

    dockerwordpressコンテナがmysqlコンテナに接続できません

  16. 16

    Kafkadockerコンテナは仮想マシンで実行できません

  17. 17

    コンテナDockerでmongoに接続できません

  18. 18

    mongoでDockerコンテナに接続できません

  19. 19

    名前でmongodockerコンテナに接続できません

  20. 20

    DockerコンテナでGoServerに接続できません

  21. 21

    GCEDockerコンテナにSSHで接続できません

  22. 22

    mongoコンテナに接続できません

  23. 23

    mongodbコンテナホストに接続できません

  24. 24

    DockerコンテナにSSH接続できません

  25. 25

    DockerコンテナにSSH接続できません

  26. 26

    OSXのDockerコンテナに接続できません

  27. 27

    Dockermysqlはコンテナに接続できません

  28. 28

    CassandraDockerコンテナに接続できません

  29. 29

    Dockerコンテナは相互に接続できません

ホットタグ

アーカイブ