无法理解Spark如何让python在Yarn上运行?ProcessBuilder如何处理zip文件?

不是phd的phd

步骤是:

1.构建Spark时将所有python文件打包到pyspark.zip中。

2.spark-submit到Yarn,将pyspark.zip分发到所有机器。

3.Spark Worker找到pyspark.zip并处理其中的python文件。

但是这里这里的代码表明,它仅将zip文件的路径放入ProcessBuilder的环境中。而且我还没有找到解压缩pyspark.zip的代码。

所以我想知道ProcessBuilder如何解压缩pyspark.zip吗?或者,Spark Worker如何在pyspark.zip中运行python文件?

不是phd的phd

实际上,如果您键入python -h,它将显示

Other environment variables:
PYTHONPATH   : ':'-separated list of directories prefixed to the default module search path.  The result is sys.path.

而且ProcessBuilder可以使用该zip而不解压缩它。

另外,一个zip文件可以直接在Python中导入,您无需解压缩。

List commands = new java.util.ArrayList<String>();
commands.add("python");
commands.add("-m");
commands.add("test");//test.py in test.zip
ProcessBuilder pb = new ProcessBuilder();
pb.command(commands);
Map workerEnv = pb.environment();
workerEnv.put("PYTHONPATH", "/path/to/test.zip");
Process worker = pb.start();

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

无法理解 xargs 如何处理 unicode 文字

来自分类Dev

无法理解如何处理错误并继续订阅 RXJS

来自分类Dev

无法理解如何运行pyomo脚本

来自分类Dev

如何处理无法在ubuntu上删除的文件夹?

来自分类Dev

如何处理被拖到jar上的文件?

来自分类Dev

如何处理文件?

来自分类Dev

无法理解jCuda cuLaunchKernel如何工作?

来自分类Dev

无法理解如何循环循环

来自分类Dev

无法理解如何摆脱goto

来自分类Dev

无法理解如何调用此函数

来自分类Dev

无法理解如何制作 SOAP 请求

来自分类Dev

无法理解这是如何工作的

来自分类Dev

无法理解如何编写 Junit 测试

来自分类Dev

如何在 YARN 和 HDP 上运行 Spark 2.2?

来自分类Dev

无法理解如何从ejabberd http请求处理程序中提取帖子数据

来自分类Dev

HDFS中的文件如何处理Spark分区?

来自分类Dev

GHC运行时如何处理文件I / O?

来自分类Dev

在YARN中部署时,Apache Spark如何处理系统故障?

来自分类Dev

无法理解此正则表达式如何在输入字符串上运行?

来自分类Dev

无法理解YAML文件

来自分类Dev

Synology上的加密文件被盗后会如何处理?

来自分类Dev

如何处理文件路径?

来自分类Dev

Apache Spark如何处理python多线程问题?

来自分类Dev

如何运行.zip文件

来自分类Dev

我无法理解如何在treeView1中标识节点是文件还是目录?

来自分类Dev

如何使用log4j登录到在YARN上运行的Spark应用程序中的本地文件系统?

来自分类Dev

无法理解循环Python

来自分类Dev

无法理解python代码

来自分类Dev

如何处理Python Social Auth上的异常