Spark-Shellを実行するときに問題が発生します。毎回次のエラーメッセージが表示されます。
必要なエグゼキュータメモリ（1024 + 384 MB）が、このクラスタの最大しきい値（1024 MB）を超えています！
問題を解決するために次の手順を実行しましたが、結果はありませんでした。
奇妙なことに、サービスの再起動後、スパークシェルは1回だけ機能します。この後、spark-shellが正しいexecutor-memoryをロードしません。毎回1GBから始まります
誰かが私が問題を解決するのを手伝ってくれることを願っています。
敬具
hbenner89
私は同じ問題に直面し、エグゼキュータメモリを512MBに減らして動作しました。プログラムには512MBで十分であると想定しています。
spark-submit --proxy-user spark --master yarn --deploy-mode client --name pi --conf "spark.app.id=pi" --driver-memory 512M --executor-memory 512M pi.py
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加