私はグーグルからの例に従っています。
私の古いコードでは、次のようにジョブを送信しています：
Configuration conf = HBaseConfiguration.create();
Job job = Job.getInstance(conf, "word count");
job.setJobName("");
job.setJarByClass(getClass()); // class that contains mapper and reducer
job.setMapSpeculativeExecution(false);
job.setCombinerClass(<JobCombiner>.class);
job.setReducerClass(<JobReducer>.class);
job.setReduceSpeculativeExecution(false);
// some additional configs
job.submit();
このジョブをdataprocに移行するにはどうすればよいですか？私はこの答えに従っています- 関連するGSバケットのjarファイルとクラスを使用して、Google DataProc Javaクライアントを使用してスパークジョブを送信するにはどうすればよいですか？SparkJobの代わりに、HaoopJobを使用します。しかし、ここでの主な問題は、jarおよびメインクラスファイルを送信する必要があることです。既存のJobクラスを移行してdataprocでジョブを実行する方法はありますか？
そのコードがあれば、mapreduce jarを直接実行できるはずです。
Hadoopジョブは、通常はコード自体ではなく、各ノードに存在するxml構成ファイルからクラスター用に構成されます
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加