将数据集转换为红色时任务无法序列化的异常
zubug55
我有看起来像下面的数据集：
dataset.show(10)
| features|
+-----------+
|[14.378858]|
|[14.388442]|
|[14.384361]|
|[14.386358]|
|[14.390068]|
|[14.423256]|
|[14.425567]|
|[14.434074]|
|[14.437667]|
|[14.445997]|
+-----------+
only showing top 10 rows
但是，当我尝试将其转换DataSet为RDD使用.rdd如下所示：
val myRDD = dataset.rdd
我收到如下异常：
Task not serializable: java.io.NotSerializableException: scala.runtime.LazyRef
Serialization stack:
- object not serializable (class: scala.runtime.LazyRef, value: LazyRef thunk)
- element of array (index: 2)
- array (class [Ljava.lang.Object;, size 3)
- field (class: java.lang.invoke.SerializedLambda, name: capturedArgs, type: class [Ljava.lang.Object;)
- object (class java.lang.invoke.SerializedLambda, SerializedLambda[capturingClass=class org.apache.spark.sql.catalyst.expressions.ScalaUDF, functionalInterfaceMethod=scala/Function1.apply:(Ljava/lang/Object;)Ljava/lang/Object;, implementation=invokeStatic org/apache/spark/sql/catalyst/expressions/ScalaUDF.$anonfun$f$2:(Lscala/Function1;Lorg/apache/spark/sql/catalyst/expressions/Expression;Lscala/runtime/LazyRef;Lorg/apache/spark/sql/catalyst/InternalRow;)Ljava/lang/Object;, instantiatedMethodType=(Lorg/apache/spark/sql/catalyst/InternalRow;)Ljava/lang/Object;, numCaptured=3])
- writeReplace data (class: java.lang.invoke.SerializedLambda)
我该如何解决？
拉姆·加迪亚拉姆
java.io.NotSerializableException: scala.runtime.LazyRef
明确指示运行时版本不匹配问题。您还没有提到您的Spark版本...
这是降级到scala 2.11的scala版本问题，应该可以使用
从此URL https://mvnrepository.com/artifact/org.apache.spark/spark-core中查看此版本表，并适当更改您的Scala版本。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
将序列化表格的数据转换为json对象
- 2
Avro序列化异常-无法将java.time.Instant强制转换为java.lang.Long
- 3
org.apache.spark.SparkException：将流写入 Blob 存储时任务不可序列化
- 4
使用IgniteRDD时出现“任务无法序列化”异常
- 5
Rust反序列化：将字节向量转换为uuid的哈希集
- 6
序列化数组为“ TypeError：无法将数组转换为文本的工厂女孩”
- 7
jQuery-如何将div内容转换为序列化数据
- 8
序列化，将实体转换为普通对象
- 9
将序列化数组转换为PSQL数组，错误
- 10
序列化：将字节转换为字节？
- 11
PHP 将 CSV 转换为序列化数组
- 12
将二进制序列化转换为人类可读的序列化
- 13
无法反序列化对象。无法将 java.lang.String 类型的值转换为 long
- 14
类可序列化时，任务无法序列化
- 15
尝试序列化avro记录时无法将B强制转换为java.nio.ByteBuffer
- 16
在 Apache Spark Scala org.apache.spark.SparkException 中解析数据：尝试使用 textinputformat.record.delimiter 时任务不可序列化错误
- 17
无法将 json 转换为数据集、数据表
- 18
Twitter Spark流过滤：任务不可序列化异常
- 19
C＃Json反序列化异常（“将值“ id”转换为类型'Eng_Tab.JsonData'时出错。路径'[0]'，第1行，位置5”。）
- 20
尝试存储会话数据时出现“无法序列化会话状态”异常
- 21
将不等形数组的列表转换为Tensorflow 2数据集：ValueError：无法将非矩形Python序列转换为Tensor
- 22
JSON转换为JSON数组无法反序列化当前JSON对象
- 23
Documentdb无法反序列化存储过程响应或将其转换为我定义的类型
- 24
Grails无法接收序列化数据
- 25
如何将序列化表单转换为具有标签列表的json格式
- 26
将基类转换为Java中反序列化集合的继承类
- 27
如何将Redis Value []转换为反序列化对象c＃？
- 28
将uint64_t转换为序列化的无符号字符[8]
- 29
将Java枚举转换为Scala枚举以进行json4s序列化
我来说两句