在spark中,java序列化是默认设置,如果kryo如此高效,则为什么不将其设置为默认设置。使用kryo是否有一些弊端,或者在什么情况下应该使用kryo或Java序列化?
这是来自文档的评论:
与Java序列化(通常多达10倍)相比,Kryo显着更快,更紧凑,但是Kryo不支持所有Serializable类型,并且需要您预先注册要在程序中使用的类才能获得最佳性能。
因此默认情况下不使用它,因为:
java.io.Serializable
开箱即用,并非所有人都支持-如果您有扩展的自定义类,Serializable
则除非已注册,否则仍然无法使用Kryo序列化。根据文档注意:
Spark自动为Twitter chill库的AllScalaRegistrar中涵盖的许多常用Scala核心类包括Kryo序列化器。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句