Apache Kafka Producer配置错误

乔山

根据生产者配置的文档,参考Apache Kafka的0.9.0.0版本:

http://kafka.apache.org/documentation.html#producerconfigs

我需要使用以下属性来指定代理列表:

props.put("bootstrap.servers", "localhost:9092")

这是我的制作人课程:

  def main(args: Array[String]) {
    //val conf = new SparkConf().setAppName("VPP metrics producer")
    //val sc = new SparkContext(conf)

    val props: Properties = new Properties()
      props.put("bootstrap.servers", "localhost:9092")
      props.put("key.serializer", "kafka.serializer.StringEncoder")
      props.put("value.serializer", "kafka.serializer.StringEncoder")

    val config = new ProducerConfig(props)
    val producer = new Producer[String, String](config)

    1 to 10000 foreach {
      case i => 
        val jsonStr = getRandomTsDataPoint().toJson.toString()
        println(s"sending message $i to kafka")
        producer.send(new KeyedMessage[String, String]("test_topic", jsonStr))
        println(s"sent message $i to kafka")
    }
  }

这是我的依赖项:

object Dependencies {
  val resolutionRepos = Seq(
    "Spray Repository" at "http://repo.spray.cc/"
  )

  object V {
    val spark     = "1.6.0"
    val kafka     = "0.9.0.0"
    val jodaTime  = "2.7"
    val sprayJson = "1.3.2"
    // Add versions for your additional libraries here...
  }

  object Libraries {
    val sparkCore   = "org.apache.spark"           %% "spark-core"            % V.spark 
    val kafka       = "org.apache.kafka"           %% "kafka"                 % V.kafka
    val jodaTime    = "joda-time"                  % "joda-time"              % V.jodaTime
    val sprayJson   = "io.spray"                   %% "spray-json"            % V.sprayJson
  }
}

如您所见,我正在使用0.9.0.0版本的Apache Kafka。当我尝试运行我的Producer类时,出现以下错误:

Joes-MacBook-Pro:spark-kafka-producer joe$ java -cp target/scala-2.11/spark-example-project-0.1.0-SNAPAHOT.jar com.eon.vpp.MetricsProducer
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Missing required property 'metadata.broker.list'
    at scala.Predef$.require(Predef.scala:219)
    at kafka.utils.VerifiableProperties.getString(VerifiableProperties.scala:177)
    at kafka.producer.ProducerConfig.<init>(ProducerConfig.scala:66)
    at kafka.producer.ProducerConfig.<init>(ProducerConfig.scala:56)
    at com.eon.vpp.MetricsProducer$.main(MetricsProducer.scala:45)
    at com.eon.vpp.MetricsProducer.main(MetricsProducer.scala)

为什么是这样?我什至验证了jar文件的内容,它使用的是Apache Kafka的0.9.0.0版本!(kafka_2.11-0.9.0.0.jar)

码斗牛

Spark 1.6.0当前不支持Kafka 0.9。您将必须等到Spark 2.0.0。检查此问题:https : //issues.apache.org/jira/browse/SPARK-12177

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Apache Camel Kafka:如何在Producer配置上设置属性“ delivery.request.ms”

来自分类Dev

Apache Spark Streaming kafka 集成错误 JAVA

来自分类Dev

Apache Flink:IDE 执行中的 Kafka Producer 未按预期工作

来自分类Dev

Kafka Producer-找不到org.apache.kafka.common.serialization.StringSerializer

来自分类Dev

Kafka Producer导致org.apache.kafka.common.network.InvalidReceiveException:无效的接收

来自分类Dev

Kafka Producer-找不到org.apache.kafka.common.serialization.StringSerializer

来自分类Dev

将Apache Java Kafka的Spring Java配置替换为XML

来自分类Dev

如何配置Apache Kafka在指定时间发送数据?

来自分类Dev

如何在Maven项目中将依赖项org.apache.kafka.clients.producer.Producer解析为apache kafka的Java生产者

来自分类Dev

在Kafka上运行Apache Beam时的依赖性错误

来自分类Dev

kafka-apache flink 执行 log4j 错误

来自分类Dev

Kafka Utils错误的类路径:org.apache.kafka.common.utils.Utils

来自分类Dev

火花kafka流式传输错误-“ java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils

来自分类Dev

Apache中的配置错误

来自分类Dev

Apache配置错误?

来自分类Dev

Apache Kafka主题分区

来自分类Dev

Apache Kafka:镜像与复制

来自分类Dev

关于Apache Kafka的说明

来自分类Dev

Apache Kafka - 分区

来自分类Dev

apache zookeeper kafka 路径

来自分类Dev

Java Apache Kafka Producer元数据更新程序和重试逻辑

来自分类Dev

引起:java.io.NotSerializableException:org.apache.kafka.clients.producer.KafkaProducer

来自分类Dev

Kafka OutboundChannel的春季配置错误

来自分类Dev

Apache配置错误需要全部

来自分类Dev

在Apache Kafka中保留数据

来自分类Dev

您将Apache Kafka用于什么?

来自分类Dev

Apache Ignite Kafka连接问题

来自分类Dev

Apache Kafka 和持久订阅

来自分类Dev

Apache kafka 无效的接收大小

Related 相关文章

  1. 1

    Apache Camel Kafka:如何在Producer配置上设置属性“ delivery.request.ms”

  2. 2

    Apache Spark Streaming kafka 集成错误 JAVA

  3. 3

    Apache Flink:IDE 执行中的 Kafka Producer 未按预期工作

  4. 4

    Kafka Producer-找不到org.apache.kafka.common.serialization.StringSerializer

  5. 5

    Kafka Producer导致org.apache.kafka.common.network.InvalidReceiveException:无效的接收

  6. 6

    Kafka Producer-找不到org.apache.kafka.common.serialization.StringSerializer

  7. 7

    将Apache Java Kafka的Spring Java配置替换为XML

  8. 8

    如何配置Apache Kafka在指定时间发送数据?

  9. 9

    如何在Maven项目中将依赖项org.apache.kafka.clients.producer.Producer解析为apache kafka的Java生产者

  10. 10

    在Kafka上运行Apache Beam时的依赖性错误

  11. 11

    kafka-apache flink 执行 log4j 错误

  12. 12

    Kafka Utils错误的类路径:org.apache.kafka.common.utils.Utils

  13. 13

    火花kafka流式传输错误-“ java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils

  14. 14

    Apache中的配置错误

  15. 15

    Apache配置错误?

  16. 16

    Apache Kafka主题分区

  17. 17

    Apache Kafka:镜像与复制

  18. 18

    关于Apache Kafka的说明

  19. 19

    Apache Kafka - 分区

  20. 20

    apache zookeeper kafka 路径

  21. 21

    Java Apache Kafka Producer元数据更新程序和重试逻辑

  22. 22

    引起:java.io.NotSerializableException:org.apache.kafka.clients.producer.KafkaProducer

  23. 23

    Kafka OutboundChannel的春季配置错误

  24. 24

    Apache配置错误需要全部

  25. 25

    在Apache Kafka中保留数据

  26. 26

    您将Apache Kafka用于什么?

  27. 27

    Apache Ignite Kafka连接问题

  28. 28

    Apache Kafka 和持久订阅

  29. 29

    Apache kafka 无效的接收大小

热门标签

归档