无法运行Spark CassandraTest示例

尝试编写自己的Spark应用程序时,我开始遇到此问题,最后退而去,只是尝试使示例运行-我一直无法做到。

我跑了bin/run-example CassandraTest localhost localhost 9160,遇到以下错误。(我bin/run-example CassandraTest localhost 9160在那之前了,但是得到了ArrayOutOfBoundsException,所以我只是把东西放到了第一位)

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
at org.apache.cassandra.hadoop.AbstractColumnFamilyInputFormat.getSplits(AbstractColumnFamilyInputFormat.java:113)
at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:90)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)
at org.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)
at org.apache.spark.rdd.FlatMappedRDD.getPartitions(FlatMappedRDD.scala:30)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)
at org.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)
at org.apache.spark.Partitioner$.defaultPartitioner(Partitioner.scala:59)
at org.apache.spark.rdd.PairRDDFunctions.reduceByKey(PairRDDFunctions.scala:370)
at org.apache.spark.examples.CassandraTest$.main(CassandraTest.scala:100)
at org.apache.spark.examples.CassandraTest.main(CassandraTest.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我的配置:

  • spark-1.0.0-bin-hadoop2(二进制发行版,带有示例源,但没有sbt或构建文件)。我没有对该文件夹中的任何文件进行任何更改。
  • 在一个单独的过程中运行cassandra 1.2.16(sudo bin/cassandra start从我下载的未压缩二进制包开始使用)。我也尝试过1.2.6和2.0.6。
  • OSX 10.9上的Oracle Java 7

我希望有人可以帮助我,这样我就可以克服这个错误,并开始在Cassandra中使用Spark。

马斯格

您在这里有两个版本的hadoop。一种是带有二进制发行版Spark的软件包,另一种是嵌入在Cassandra中的软件包:org.apache.cassandra.hadoop...

您需要同时匹配两个版本才能拥有一个正常的系统。我不确定Cassandra支持哪个hadoop版本,但是鉴于您spark-1.0.0-bin-hadoop2遇到的问题,我建议您尝试Hadoop v1的Spark发行版。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

无法运行Spark CassandraTest示例

来自分类Dev

无法从Python运行Apache Spark的Pi示例

来自分类Dev

在简单的示例上无法从Spark ML运行RandomForestClassifier

来自分类Dev

无法运行LodePNG示例

来自分类Dev

转到示例将无法运行

来自分类Dev

无法运行Java JPA示例?

来自分类Dev

javascript示例代码无法运行

来自分类Dev

Spark示例程序运行非常慢

来自分类Dev

Spark 1.2.1,python avro示例未运行

来自分类Dev

无法运行JProfiler的TestProgram脱机示例

来自分类Dev

无法运行“ ANY”反应本机示例项目

来自分类Dev

无法使用SBT运行简单的Akka示例

来自分类Dev

Qt示例无法在Ubuntu上运行

来自分类Dev

MEDIAPIPE无法通过示例运行hello world

来自分类Dev

无法运行简单的提升网站示例

来自分类Dev

终端中的示例程序无法运行

来自分类Dev

无法运行Unity 8 openclipart范围示例

来自分类Dev

无法运行android示例代码'bitmapfun'

来自分类Dev

我无法正确运行cocoalibspotify的示例代码

来自分类Dev

dart backy-无法运行基本示例

来自分类Dev

无法运行观察者模式示例

来自分类Dev

无法运行Whoosh'quickstart'示例(FileNotFoundError)

来自分类Dev

Python 3.5 Windows无法运行Rodeo示例?

来自分类Dev

我无法运行 inet 3.4.0 模拟示例

来自分类Dev

无法编译/运行 Rascal 示例代码

来自分类Dev

无法运行 ReactJS 的 Hello World 示例

来自分类Dev

在IntelliJ Idea中运行Apache Spark示例应用程序

来自分类Dev

如何在Intellij IDEA中运行Spark示例程序

来自分类Dev

在 Yarn 上运行 Spark 官方 python 机器学习示例失败