これが些細なことである場合は申し訳ありませんが、私はSparkを初めて使用します。Mavenを使用してコードからWindows上にApacheSparkを構築しました。Cygwinを使用してビルドしましたが、正常に機能しました。sbinディレクトリからコマンド（./start-master.sh）を使用して起動できなくなりました。
以下のエラーが発生します：org.apache.spark.deploy.master.Masterの起動に失敗しました：
Error: Could not find or load main class org.apache.spark.launcher.Main
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host
クラスパスでspark-launcher_2.10-1.5.1.jarを探していることは理解していますが、スクリプトでクラスパスまたはlibディレクトリを定義している場所を特定できません。
たとえば、Gimbyが述べたように、実行可能な配布の構築手順に従うことができます。
./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn
Patrick McGloinが述べたように、たとえば次のように、Windows自体でSparkクラスターを開始することもできます。
spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077
詳細については、SparkスタンドアロンモードとWindowsマシンでSparkクラスターをセットアップする方法をご覧ください。
最後に、OPが述べたように、彼は親ディレクトリに新しいカスタムスパークtarファイルを作成する実行可能なディストリビューションを構築することができました。（S）彼はこのファイルを取得し、別のディレクトリで解凍し、binサブディレクトリに移動して、scala-shellを起動することができました。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加