EMRSparkアプリケーションに小道具ファイルをロードする

サンチャイ

を使用してsparkアプリケーションにカスタムプロパティを読み込もうとしています:-

command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar

ただし、次の例外が発生します。-

スレッド "main" java.lang.IllegalArgumentExceptionの例外:無効なプロパティファイル 's3://spark-config-test/myprops.conf' '。org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)at org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile(AbstractCommandBuilder.java:284)at org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig (AbstractCommandBuilder.java:264)org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:233)at org

これはS3からファイルをロードする正しい方法ですか?

ライアン・ウィドマイヤー

S3からプロパティファイルを直接ロードすることはできません。代わりに、プロパティファイルをマスターノードのどこかにダウンロードしてから、そのノードのローカルパスを参照するsparkジョブを送信する必要があります。command-runner.jarを使用してawscliユーティリティを実行することにより、ダウンロードを実行できます。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

javaagentをemrsparkアプリケーションに渡す方法は?

分類Dev

WebAPIを使用してIonicアプリケーションにファイルをアップロードする

分類Dev

AndroidアプリケーションからFirebaseStorageにファイルをアップロードする

分類Dev

アップロードしたファイルをWebアプリケーションに保存する場所

分類Dev

Electron アプリケーションで html ファイルを動的にロードする

分類Dev

Java Web アプリケーションの起動時に csv ファイルをロードする

分類Dev

アプリケーションレールからxlsファイルをダウンロードする4

分類Dev

AndroidアプリケーションからPiratedBoxにファイルをアップロードします

分類Dev

Gradleアプリケーションプラグインに追加ファイルをデプロイする

分類Dev

アプリケーションローダーのアップロードファイルを作成するにはどうすればよいですか?

分類Dev

Androidアプリケーションに複数のファイルプロバイダーを追加する

分類Dev

モーダルなしでサーバーにmvc4Webアプリケーションをアップロードするファイル

分類Dev

MeanJSアプリケーションでファイルのダウンロードを実装する方法

分類Dev

URLからファイルをダウンロードするアプリケーション

分類Dev

Spring Bootアプリケーションのビルドプロファイル/構成を管理する

分類Dev

Laravel-ローカルホスト上の別のアプリケーションにファイルをアップロードする方法は?

分類Dev

Spring 3MVCアプリケーションのファイルアップロードにウイルススキャンを実装する方法

分類Dev

POSTを使用してFlaskアプリケーションにファイルをアップロードするときの308リダイレクト

分類Dev

javafxのアプリケーション内でhtmlファイルをロードする方法

分類Dev

warパッケージをビルドした後にJavaアプリケーションでプロパティファイルを追加/編集する方法

分類Dev

外部アプリケーションからAzure仮想マシンにファイルをアップロードする任意の方法

分類Dev

外部アプリケーションからAzure仮想マシンにファイルをアップロードする任意の方法

分類Dev

FTPサーバーからローカルWindowsアプリケーションのグリッドビューにファイルを表示する方法

分類Dev

アップロードしたファイルをサーブレットアプリケーションに保存するための推奨される方法

分類Dev

アプリケーションコンテキストは常にwarファイルをサーバーにロードする必要がありますか

分類Dev

Webアプリケーションをexeファイルに変換する

分類Dev

OSからJavaアプリケーションにファイルをドラッグアンドドロップする(Swing)

分類Dev

SpringブートアプリケーションからAWSS3にログファイルを保存する

分類Dev

SpringブートアプリケーションからAWSS3にログファイルを保存する

Related 関連記事

  1. 1

    javaagentをemrsparkアプリケーションに渡す方法は?

  2. 2

    WebAPIを使用してIonicアプリケーションにファイルをアップロードする

  3. 3

    AndroidアプリケーションからFirebaseStorageにファイルをアップロードする

  4. 4

    アップロードしたファイルをWebアプリケーションに保存する場所

  5. 5

    Electron アプリケーションで html ファイルを動的にロードする

  6. 6

    Java Web アプリケーションの起動時に csv ファイルをロードする

  7. 7

    アプリケーションレールからxlsファイルをダウンロードする4

  8. 8

    AndroidアプリケーションからPiratedBoxにファイルをアップロードします

  9. 9

    Gradleアプリケーションプラグインに追加ファイルをデプロイする

  10. 10

    アプリケーションローダーのアップロードファイルを作成するにはどうすればよいですか?

  11. 11

    Androidアプリケーションに複数のファイルプロバイダーを追加する

  12. 12

    モーダルなしでサーバーにmvc4Webアプリケーションをアップロードするファイル

  13. 13

    MeanJSアプリケーションでファイルのダウンロードを実装する方法

  14. 14

    URLからファイルをダウンロードするアプリケーション

  15. 15

    Spring Bootアプリケーションのビルドプロファイル/構成を管理する

  16. 16

    Laravel-ローカルホスト上の別のアプリケーションにファイルをアップロードする方法は?

  17. 17

    Spring 3MVCアプリケーションのファイルアップロードにウイルススキャンを実装する方法

  18. 18

    POSTを使用してFlaskアプリケーションにファイルをアップロードするときの308リダイレクト

  19. 19

    javafxのアプリケーション内でhtmlファイルをロードする方法

  20. 20

    warパッケージをビルドした後にJavaアプリケーションでプロパティファイルを追加/編集する方法

  21. 21

    外部アプリケーションからAzure仮想マシンにファイルをアップロードする任意の方法

  22. 22

    外部アプリケーションからAzure仮想マシンにファイルをアップロードする任意の方法

  23. 23

    FTPサーバーからローカルWindowsアプリケーションのグリッドビューにファイルを表示する方法

  24. 24

    アップロードしたファイルをサーブレットアプリケーションに保存するための推奨される方法

  25. 25

    アプリケーションコンテキストは常にwarファイルをサーバーにロードする必要がありますか

  26. 26

    Webアプリケーションをexeファイルに変換する

  27. 27

    OSからJavaアプリケーションにファイルをドラッグアンドドロップする(Swing)

  28. 28

    SpringブートアプリケーションからAWSS3にログファイルを保存する

  29. 29

    SpringブートアプリケーションからAWSS3にログファイルを保存する

ホットタグ

アーカイブ