我已经遍历了将aWS EMR上运行的spark连接到s3存储桶的依赖项上的所有线程，但是我的问题似乎稍有不同。在我看到的所有其他讨论中，s3和s3a协议具有相同的依赖性。不知道为什么一个为我工作而另一个却没有。当前，在本地模式下运行spark，s3a可以很好地完成工作，但是我的理解是s3是在EMR上运行的受支持（由于它依赖于HDFS块存储）。对于S3协议，我缺少什么？
spark.read.format("csv").load("s3a://mybucket/testfile.csv").show()
//this works, displays the df
与
spark.read.format("csv").load("s3://mybucket/testfile.csv").show()
/*
java.io.IOException: No FileSystem for scheme: s3
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:547)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:545)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.immutable.List.foreach(List.scala:392)
at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
at scala.collection.immutable.List.flatMap(List.scala:355)
at org.apache.spark.sql.execution.datasources.DataSource.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:545)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:359)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:223)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
... 51 elided
*/
Apache Hadoop提供以下文件系统客户端，用于读取和写入Amazon S3：
S3（URI方案：s3）-由S3支持的基于块的文件系统的Apache Hadoop实现。
S3A（URI方案：s3a）-S3A使用亚马逊的库与S3进行交互。S3A支持访问大于5 GB且最大5TB的文件，并提供性能增强和其他改进。
S3N（URI方案：s3n）-用于在S3上读写常规文件的本机文件系统。s3n支持最大5GB的对象
参考：
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句