首先，我假设我们已经在SPARK_HOME设置了~/Desktop/spark-2.0.0。基本上，我想使用Cronjob运行我的PySpark脚本（例如crontab -e）。我的问题是如何添加环境路径以使Spark脚本与Cronjob一起使用。这是我的示例脚本，example.py
import os
from pyspark import SparkConf, SparkContext
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '~/Desktop/spark-2.0.0'
conf = SparkConf().setAppName('example').setMaster('local[8]')
sc = SparkContext(conf=conf)
if __name__ == '__main__':
ls = range(100)
ls_rdd = sc.parallelize(ls, numSlices=10)
ls_out = ls_rdd.map(lambda x: x+1).collect()
f = open('test.txt', 'w')
for item in ls_out:
f.write("%s\n" % item) # save list to test.txt
我的bash脚本run_example.sh如下
rm test.txt
~/Desktop/spark-2.0.0/bin/spark-submit \
--master local[8] \
--driver-memory 4g \
--executor-memory 4g \
example.py
在这里，我想使用运行run_example.sh每分钟crontab。但是，我在运行时不知道如何自定义路径crontab -e。到目前为止，我仅看到此Gitbook链接。我的Cronjob编辑器中有类似的内容，但是还没有运行我的代码。
#!/bin/bash
# add path to cron (this line is the one I don't know)
PATH=/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:$HOME/anaconda/bin
# run script every minutes
* * * * * source run_example.sh
提前致谢！
您可以做的是，在您的.bashrc文件中的原始位置添加以下行。
export PATH=/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:$HOME/anaconda/bin
那么您可以在crontab中有以下条目
* * * * * source ~/.bashrc;sh run_example.sh
该行将首先执行您的.bashrc文件，该文件将设置PATH值，然后将执行run_example.sh
或者，您可以仅在run_example.sh中设置PATH，
export PATH=/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:$HOME/anaconda/bin
rm test.txt
~/Desktop/spark-2.0.0/bin/spark-submit \
--master local[8] \
--driver-memory 4g \
--executor-memory 4g \
example.py
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句