다음과 같이 스파크 셸을 사용하여 스파크 데이터 프레임을 orc-file로 저장했습니다.
jdbcDF.write.format("orc").partitionBy("ID").save("applicationsPartitioned")
이제 데이터가 windows \ system32 \ applicationsPartitioned에 있음을 알았습니다.
오크 파일을 올바르게 제거하려면 어떻게해야합니까? 스파크를 종료하고 디렉토리를 직접 제거 할 수 있지만이 디렉토리에 대해 일부 메타 데이터가 저장되어 있습니까?
수동으로 수행해야하지만 하둡 파일 시스템을 사용하여 수행 할 수 있습니다.
예를 들면 :
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
fs.delete(new Path(path), recursive)
이것은 OS와 파일 시스템을 독립적으로 만들 것입니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다