を使用してsparkアプリケーションにカスタムプロパティを読み込もうとしています:-
command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar
ただし、次の例外が発生します。-
スレッド "main" java.lang.IllegalArgumentExceptionの例外:無効なプロパティファイル 's3://spark-config-test/myprops.conf' '。org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)at org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile(AbstractCommandBuilder.java:284)at org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig (AbstractCommandBuilder.java:264)org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:233)at org
これはS3からファイルをロードする正しい方法ですか?
S3からプロパティファイルを直接ロードすることはできません。代わりに、プロパティファイルをマスターノードのどこかにダウンロードしてから、そのノードのローカルパスを参照するsparkジョブを送信する必要があります。command-runner.jarを使用してawscliユーティリティを実行することにより、ダウンロードを実行できます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加