我正在运行Spark 1.2.0。我注意到我下面有一堆旧的应用程序日志/var/lib/spark/work，似乎还没有清理干净。有哪些清理这些问题的最佳实践？cronjob？看起来较新的Spark版本具有某种更清洁的功能。
存在三个SPARK_WORKER_OPTS以支持工作程序应用程序文件夹清除，此处将其复制以供spark doc进一步参考：
spark.worker.cleanup.enabled，默认值为false，启用定期清理worker /应用程序目录。请注意，这仅影响独立模式，因为YARN的工作原理有所不同。仅清除已停止的应用程序的目录。spark.worker.cleanup.interval，默认值为1800，即30分钟，以秒为单位控制工作间隔，该间隔以秒为单位来清理工作人员清理本地计算机上的旧应用程序工作目录。spark.worker.cleanup.appDataTtl，默认值为7 * 24 * 3600（7天），每个工作人员上保留应用程序工作目录的秒数。这是生存时间，应取决于您拥有的可用磁盘空间量。应用程序日志和jar将下载到每个应用程序工作目录。随着时间的推移，工作目录会迅速填满磁盘空间，尤其是如果您非常频繁地运行作业时。本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句