GoogleHadoopFileSystem을 hadoop 파일 시스템으로 캐스팅 할 수 없습니까?

짧은 대답

실제로 IsolatedClientLoader와 관련이 있으며 근본 원인을 추적하고 수정 사항을 확인했습니다. 이 문제를 추적하기 위해 https://issues.apache.org/jira/browse/SPARK-9206 을 제출 했으며 간단한 수정으로 내 포크에서 깨끗한 Spark tarball을 성공적으로 빌드했습니다 : https://github.com/apache/spark / 풀 / 7549

몇 가지 단기 옵션이 있습니다.

1. 지금은 Spark 1.3.1을 사용하세요.
2. bdutil 배포에서 HDFS를 기본 파일 시스템 ( --default_fs=hdfs)으로 사용합니다. gs://HDFS가 중간 데이터 및 스테이징 파일에 사용된다는 것만으로도 작업에서 경로 를 직접 지정할 수 있습니다. 하지만이 모드에서 원시 Hive를 사용하는 경우 약간의 비 호환성이 있습니다.
3. val sqlContext = new org.apache.spark.sql.SQLContext(sc)HiveContext 기능이 필요하지 않은 경우 HiveContext 대신 원시 를 사용하십시오 .
4. git clone https://github.com/dennishuo/spark./make-distribution.sh --name my-custom-spark --tgz --skip-java-test -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-thriftserverbdutil에서 지정할 수있는 새로운 tarball을 얻기 위해 실행 합니다 spark_env.sh.

긴 답변

우리는 단지 매니페스트 것을 확인했습니다 fs.default.name그리고 fs.defaultFSA와 설정 gs://에 관계없이에서 경로를로드하려고 여부의 경로 parquetFile("gs://...")나 parquetFile("hdfs://..."), 때 fs.default.name와 fs.defaultFSHDFS 경로로 설정되어, 모두 HDFS에서와 GCS에서 데이터를로드 잘 작동합니다. 이것은 현재 Spark 1.4 이상에만 해당되며 Spark 1.3.1 이전 버전에는 없습니다.

회귀는 https://github.com/apache/spark/commit/9ac8393663d759860c67799e000ec072ced76493 에 도입 된 것으로 보이며 실제로 이전 관련 클래스 로딩 문제인 SPARK-8368을 수정합니다 . 수정 자체는 일반적인 경우에 맞지만 사용할 클래스 로더를 결정하는 데 사용되는 IsolatedClientLoader.isSharedClass 메소드 가 있으며 앞서 언급 한 커밋과 상호 작용하여 GoogleHadoopFileSystem 클래스 로딩을 중단합니다.

해당 파일의 다음 줄에는 com.google.*Guava 및 실제로 공유 라이브러리로로드되는 protobuf 종속성으로 인해 "공유 클래스" 아래 에있는 모든 항목이 포함되어 있지만 안타깝게도 GoogleHadoopFileSystem은이 경우에서와 같이 "하이브 클래스"로로드되어야합니다 org.apache.hadoop.hdfs.DistributedFileSystem. 우리는 불행하게도 com.google.*패키지 네임 스페이스를 공유합니다 .

protected def isSharedClass(name: String): Boolean =
  name.contains("slf4j") ||
  name.contains("log4j") ||
  name.startsWith("org.apache.spark.") ||
  name.startsWith("scala.") ||
  name.startsWith("com.google") ||
  name.startsWith("java.lang.") ||
  name.startsWith("java.net") ||
  sharedPrefixes.exists(name.startsWith)

...

/** The classloader that is used to load an isolated version of Hive. */
protected val classLoader: ClassLoader = new URLClassLoader(allJars, rootClassLoader) {
  override def loadClass(name: String, resolve: Boolean): Class[_] = {
    val loaded = findLoadedClass(name)
    if (loaded == null) doLoadClass(name, resolve) else loaded
  }

  def doLoadClass(name: String, resolve: Boolean): Class[_] = {
    ...
    } else if (!isSharedClass(name)) {
      logDebug(s"hive class: $name - ${getResource(classToPath(name))}")
      super.loadClass(name, resolve)
    } else {
      // For shared classes, we delegate to baseClassLoader.
      logDebug(s"shared class: $name")
      baseClassLoader.loadClass(name)
    }
  }
}

다음 행을 추가하여 확인할 수 있습니다 ${SPARK_INSTALL}/conf/log4j.properties.

log4j.logger.org.apache.spark.sql.hive.client=DEBUG

출력 결과는 다음과 같습니다.

...
15/07/20 20:59:14 DEBUG IsolatedClientLoader: hive class: org.apache.hadoop.hdfs.DistributedFileSystem - jar:file:/home/hadoop/spark-install/lib/spark-assembly-1.4.1-hadoop2.6.0.jar!/org/apache/hadoop/hdfs/DistributedFileSystem.class
...
15/07/20 20:59:14 DEBUG IsolatedClientLoader: shared class: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem
java.lang.RuntimeException: java.lang.ClassCastException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem cannot be cast to org.apache.hadoop.fs.FileSystem