Spark가 마스터에서 슬레이브로 자동으로 JAR 파일 (스파크 애플리케이션 포함)을 제공하지 않는 것이 정상입니까? 이전 버전 (그리고 Amazon Webservices에서 사용됨)에서는 작동했습니다! 이 기능은 버전 1.2.2 이후로 변경되었거나 공용 DNS 주소가없는 클러스터로 인해 문제가 발생합니까 ??? 아니면이 "jar 자동 복사"기능이 AWS 클러스터에서만 작동합니까?
여기 내 제출 전화 :
./spark-submit --class prototype.Test --master spark://192.168.178.128:7077 --deploy-mode cluster ~/test.jar
정보 : --jars 매개 변수로 나열된 파일은 작업자에게 "복사"됩니다.
그것은 내 잘못이었습니다! -> 드라이버 프로세스가 마스터 노드에서 실행되도록 계획된 표준 클러스터 사용에 매개 변수 --deploy-mode를 사용하지 마십시오.
Spark 설명서 참조 : https://spark.apache.org/docs/latest/submitting-applications.html
--deploy-mode : 작업자 노드 (클러스터)에 드라이버를 배포할지 아니면 외부 클라이언트 (클라이언트)로 로컬로 배포할지 여부 (기본값 : 클라이언트) [...]
일반적인 배포 전략은 작업자 머신과 물리적으로 같은 위치에있는 게이트웨이 머신에서 애플리케이션을 제출하는 것입니다 (예 : 독립형 EC2 클러스터의 마스터 노드). 이 설정에서는 클라이언트 모드가 적합합니다. 클라이언트 모드에서 드라이버는 클러스터에 대한 클라이언트 역할을하는 spark-submit 프로세스 내에서 직접 시작됩니다. 애플리케이션의 입력과 출력은 콘솔에 연결됩니다. 따라서이 모드는 REPL (예 : Spark 셸)과 관련된 응용 프로그램에 특히 적합합니다. [...]
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다