ヤーンマスターモードのpysparkで簡単に使用できるアーカイブ（基本的にはバンドルされたconda環境+アプリケーション）があります。
PYSPARK_PYTHON=./pkg/venv/bin/python3 \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./pkg/venv/bin/python3 \
--master yarn \
--deploy-mode cluster \
--archives hdfs:///package.tgz#pkg \
app/MyScript.py
これは期待どおりに機能しますが、ここでは驚くことではありません。
MyScript.pyがpackage.tgz内にある場合、どうすればこれを実行できますか。私のローカルファイルシステムではありませんか？
コマンドの最後の行をたとえばに置き換えたいと思います。./pkg/app/MyScript.pyしかし、その後、スパークは不平を言います：java.io.FileNotFoundException: File file:/home/blah/pkg/app/MyScript.py does not exist。
もちろん、最初に抽出して、hdfsに個別に配置することもできます...回避策はありますが、すべてが1つの素敵な場所にあるので、使用したいと思います。
関連する場合、これはCDH上のspark 2.4.0、python3.7です。
私が理解しているように、できません。Pythonスクリプトをに提供する必要がありますspark-submit。
ただし、非常に短いスクリプトを使用--py-filesして、残りのコードのZIPまたはEGGを配布することができます。
# go.py
from my.app import run
run()
# my/app.py
def run():
print("hello")
myディレクトリを含むZIPファイルを作成し、短いエントリポイントスクリプトで送信できます。 spark-submit --py-files my.zip go.py
必要にgo.py応じて、インポートして実行するモジュールとメソッドを指示する引数を受け入れるジェネリックを作成できます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加