如何在Spark集群中配置执行器的内存。另外，如何配置每个工作程序节点的执行程序数？
有什么方法可以知道有多少执行者的内存可以自由缓存或保留新的RDD。
配置Spark执行程序内存-提交作业时使用参数spark.executor.memory或键--executor-memory
配置每个节点的执行程序数量取决于用于Spark的调度程序。如果使用YARN和Mesos，则无法对此进行控制，您只需设置执行程序的数量即可。如果是Spark Standalone集群，则可以调整SPARK_WORKER_INSTANCES参数
您可以在Spark驱动程序的WebUI中检查可用内存量。请参阅此处如何设置Apache Spark执行器内存，以了解为什么它不等于您设置的执行器总内存
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句