Apache Spark 및 Drill AWS 클러스터에서 AWS 클러스터 인스턴스 유형을 최적화하는 방법은 무엇입니까?

Spark에 얼마나 익숙한 지 모르겠지만 핵심 사용에 대해 알아야 할 몇 가지 사항이 있습니다.

• 클러스터 모드에서만 드라이버 프로세스에 사용할 코어 수를 설정할 수 있습니다. 그건 1 기본적으로.
• 각 실행기에서 사용할 코어 수를 설정할 수도 있습니다. YARN 및 독립형 모드 전용입니다. YARN 모드에서는 1이고 독립 실행 형 모드에서는 작업자에서 사용 가능한 모든 코어입니다. 독립 실행 형 모드에서이 매개 변수를 설정하면 해당 작업자에 충분한 코어가있는 경우 애플리케이션이 동일한 작업자에서 여러 실행기를 실행할 수 있습니다. 그렇지 않으면 애플리케이션 당 하나의 실행 프로그램 만 각 작업자에서 실행됩니다.

이제 두 가지 질문에 모두 답하십시오.

마스터 및 코어에 i 마이크로 인스턴스를 사용하면 성능에 영향을 줍니까?

• 예, 드라이버는 작업을 예약하고 때때로 데이터를 수집하기 위해 최소한의 리소스가 필요합니다. 성능면에서 AWS에서 Ganglia를 사용하여 수행 할 수있는 사용 사례에 따라 사용 사례에 따라 벤치마킹해야합니다.

Spark는 각 시스템에서 여러 코어를 사용합니까?

• 예 Spark는 각 컴퓨터에서 여러 코어를 사용합니다.

당신은 또한 읽을 수있는 이 관련된 어떤 인스턴스 유형이 스파크에 대한 AWS EMR 클러스터 바람직하다 .

Spark의 지원은 AWS에서 거의 새로운 기능이지만 일반적으로 다른 모든 Spark 클러스터 설정과 비슷합니다.

Spark 공식 설명서 안내서와 함께 AWS EMR 개발자 안내서-EMR 인스턴스 계획 장 을 읽어 보는 것이 좋습니다.