ExceptionInInitializerError Spark Streaming Kafka

キャシー

簡単なアプリケーションでSparkStreamingをKafkaに接続しようとしています。このアプリケーションは、Sparkのドキュメントの例で作成しました。実行しようとすると、次のような例外が発生します。

Exception in thread "main" java.lang.ExceptionInInitializerError
    at org.apache.spark.streaming.dstream.InputDStream.<init>(InputDStream.scala:80)
    at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.<init>(DirectKafkaInputDStream.scala:59)
    at org.apache.spark.streaming.kafka010.KafkaUtils$.createDirectStream(KafkaUtils.scala:147)
    at org.apache.spark.streaming.kafka010.KafkaUtils$.createDirectStream(KafkaUtils.scala:124)
    at producer.KafkaProducer$.main(KafkaProducer.scala:36)
    at producer.KafkaProducer.main(KafkaProducer.scala)
Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.4
    at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64)
    at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
    at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:751)
    at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)

これが私のコードです:

object KafkaProducer {

  def main(args: Array[String]) {

    val spark = SparkSession
      .builder()
      .appName("KafkaSparkStreaming")
      .master("local[*]")
      .getOrCreate()

    val ssc = new StreamingContext(spark.sparkContext, Seconds(3))
    val topics = Array("topic1", "topic2")

    def kafkaParams = Map[String, Object](
      "bootstrap.servers" -> "localhost:9092",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "group.id" -> "1",
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean)
    )

    val lines = KafkaUtils.createDirectStream[String, String](
      ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
    )
    lines.map(_.key())

    ssc.start()
    ssc.awaitTermination()

問題が構成にあるのか、コード自体にあるのかわかりません。build.sbtファイルは次のようになります。

scalaVersion := "2.11.4"

resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"

libraryDependencies ++= Seq(
  "org.apache.kafka" %% "kafka" % "1.1.0",
  "org.apache.spark" %% "spark-core" % "2.3.0",
  "org.apache.spark" %% "spark-sql" % "2.3.0",
  "org.apache.spark" %% "spark-streaming" % "2.3.0",
  "org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.3.0"
)

何が悪いのかわからないので、助けていただければ幸いです。

epcpu

直面した例外のスタックトレースをたどると、主な問題は次のとおりです。

原因:com.fasterxml.jackson.databind.JsonMappingException:互換性のないJacksonバージョン:2.9.4

実際のところ

Spark 2.1.0には、推移的な依存関係としてcom.fasterxml.jackson.coreが含まれています。したがって、libraryDependenciesに含める必要はありません。

同様の問題とその解決策について、ここ詳しく説明します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Spark Kafka Streaming Issue

分類Dev

Kafka topic partitions to Spark streaming

分類Dev

Spark Structured Streaming with Kafka version 2

分類Dev

Spark Streaming + Kafka統合0.8.2.1

分類Dev

Spark 1.6 Streaming consumer reading in kafka offset stuck at createDirectStream

分類Dev

How to read from specific Kafka partition in Spark structured streaming

分類Dev

Spark Streaming Kafka java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.StringDeserializer

分類Dev

spark-streaming-kafka-0-10 auto.offset.reset is always set to none

分類Dev

Kafka + Spark Streaming-パーティション間の公平性?

分類Dev

How to fix "java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord" in Spark Streaming Kafka Consumer?

分類Dev

spark streaming throughput monitoring

分類Dev

Spark Streaming textFileStream COPYING

分類Dev

Dstream Spark Streaming

分類Dev

spark-streaming-kafka-0-10auto.offset.resetは常にnoneに設定されます

分類Dev

Kafka Spark Streaming LocationStrategiesjavaクラス定義が見つかりません例外

分類Dev

Apache Kafka streaming KTable changelog

分類Dev

Understanding Spark Structured Streaming Parallelism

分類Dev

Spark Streaming standalone app and dependencies

分類Dev

Parallelism of Streams in Spark Streaming Context

分類Dev

Spark Streamingで最初からKafkaトピックのレコードを読み取る方法は?

分類Dev

SparkStreaming&Kafka:値reduceByKeyはorg.apache.spark.streaming.dstream.DStream [Any]のメンバーではありません

分類Dev

Spark Structed Streamingは、kafkaからネストされたjsonを読み取り、フラット化します

分類Dev

Sparkkafkaストリーミングエラー-"java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils

分類Dev

kafkaでspark-streamingジョブを実行すると、NoSuchMethodErrorが発生します

分類Dev

Spark Arrow Streaming = Arrow Streaming + Spark Structured Streamingはありますか?

分類Dev

spark-streaming: how to output streaming data to cassandra

分類Dev

Spark Streaming Kafka Consumerで「java.io.NotSerializableException:org.apache.kafka.clients.consumer.ConsumerRecord」を修正するにはどうすればよいですか?

分類Dev

write an RDD into HDFS in a spark-streaming context

分類Dev

Spark streaming data sharing between batches

Related 関連記事

  1. 1

    Spark Kafka Streaming Issue

  2. 2

    Kafka topic partitions to Spark streaming

  3. 3

    Spark Structured Streaming with Kafka version 2

  4. 4

    Spark Streaming + Kafka統合0.8.2.1

  5. 5

    Spark 1.6 Streaming consumer reading in kafka offset stuck at createDirectStream

  6. 6

    How to read from specific Kafka partition in Spark structured streaming

  7. 7

    Spark Streaming Kafka java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.StringDeserializer

  8. 8

    spark-streaming-kafka-0-10 auto.offset.reset is always set to none

  9. 9

    Kafka + Spark Streaming-パーティション間の公平性?

  10. 10

    How to fix "java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord" in Spark Streaming Kafka Consumer?

  11. 11

    spark streaming throughput monitoring

  12. 12

    Spark Streaming textFileStream COPYING

  13. 13

    Dstream Spark Streaming

  14. 14

    spark-streaming-kafka-0-10auto.offset.resetは常にnoneに設定されます

  15. 15

    Kafka Spark Streaming LocationStrategiesjavaクラス定義が見つかりません例外

  16. 16

    Apache Kafka streaming KTable changelog

  17. 17

    Understanding Spark Structured Streaming Parallelism

  18. 18

    Spark Streaming standalone app and dependencies

  19. 19

    Parallelism of Streams in Spark Streaming Context

  20. 20

    Spark Streamingで最初からKafkaトピックのレコードを読み取る方法は?

  21. 21

    SparkStreaming&Kafka:値reduceByKeyはorg.apache.spark.streaming.dstream.DStream [Any]のメンバーではありません

  22. 22

    Spark Structed Streamingは、kafkaからネストされたjsonを読み取り、フラット化します

  23. 23

    Sparkkafkaストリーミングエラー-"java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils

  24. 24

    kafkaでspark-streamingジョブを実行すると、NoSuchMethodErrorが発生します

  25. 25

    Spark Arrow Streaming = Arrow Streaming + Spark Structured Streamingはありますか?

  26. 26

    spark-streaming: how to output streaming data to cassandra

  27. 27

    Spark Streaming Kafka Consumerで「java.io.NotSerializableException:org.apache.kafka.clients.consumer.ConsumerRecord」を修正するにはどうすればよいですか?

  28. 28

    write an RDD into HDFS in a spark-streaming context

  29. 29

    Spark streaming data sharing between batches

ホットタグ

アーカイブ