我想在开发环境(Eclipse)上尝试使用多个执行程序并行运行Spark应用程序。看来Spark引擎会序列化所有任务,并使用一个执行程序运行它们。
是否可以选择在Eclipse中并行运行两个或多个任务spark.master=local?
spark.master=local
使用spark.master="local[n]"wheren是要分配给spark或"*"所有内核的内核数。
spark.master="local[n]"
n
"*"
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
点击生成二维码
我来说两句