Scala中的Spark Streaming代码中的错误

萨尔塔克

我正在Scala中使用Spark Streaming,在那里我正在处理Twitter数据。我有以下代码:

val ssc = new StreamingContext(new SparkConf(), Seconds(5))
val tweets = TwitterUtils.createStream(ssc, None)

val user = tweets.map(x=> x.getText())
val lang = tweets.map(x=> x.getLang())

我收到以下错误:

[error] /home/user/Lab1.1/Twitterstats.scala:103: value getLang is not a member of twitter4j.Status
[error]                 val lang = tweets.map(x=> x.getLang())
[error]                                             ^
[error] one error found

上面的代码有什么问题?有人可以帮忙吗。

鲁迪·弗博文

spark-streaming-twitter使用Twitter4jgetLang()因为版本仅支持3.0.6Twitter4J如果您使用的是1.5.2(或更低版本)的spark-streaming-twitter,则将无法调用,getLang()因为它使用的twitter4j的3.0.3版本1.6.0版本开始,作为功能支持4.0.4版本getLang()

因此,您可以将spark-streaming-twitter升级1.6.0或更高版本。或者,您可以使用另一个3rd party库来检测您的推文的语言。

(可能重复

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在Spark Scala中旋转

来自分类Dev

在Spark Scala中合并

来自分类Dev

Spark Scala中的映射

来自分类Dev

在Scala IDE中运行简单的Spark代码

来自分类Dev

Scala代码在Spark中引发异常

来自分类Dev

Scala代码中的Stackoverflow错误

来自分类Dev

在Scala Spark中嵌套RDD

来自分类Dev

Scala / Spark中的比例矩阵

来自分类Dev

Spark(Scala)中的数据扩展

来自分类Dev

在Scala Spark中并置UDF

来自分类Dev

Spark Scala中的数据转换

来自分类Dev

Spark Scala中的aggregateByKey的语法

来自分类Dev

在Spark Scala中定义UDF

来自分类Dev

替换 spark scala 中的元素

来自分类Dev

spark Scala 中的分区函数

来自分类Dev

Spark Scala 中的模式匹配

来自分类Dev

如何在spark / scala的getOrElse()中添加更多代码逻辑?

来自分类Dev

spark-在scala源代码中定义数据框的位置

来自分类Dev

在Bash脚本中执行Apache Spark(Scala)代码

来自分类Dev

错误的Spark Streaming中重载了方法值createDirectStream

来自分类Dev

在Scala中了解Spark中的功能文档

来自分类常见问题

在Spark Scala中重命名DataFrame的列名

来自分类Dev

如何使用Scala在Spark中创建SQLContext?

来自分类Dev

在Scala Spark中找不到reduceByKey方法

来自分类Dev

Scala Spark中的分布式地图

来自分类Dev

Scala Apache Spark中DStream的输出内容

来自分类Dev

如何使用Scala在Spark中处理日期?

来自分类Dev

在Spark / Scala中组合字符串

来自分类常见问题

在Scala中执行Spark SQL执行