spark读取csv中的Windows文件

地质调查局

我正在使用数据块在 Python 中进行练习

我正在尝试通过以下方式加载 Windows 文件:

diamonds = spark.read.csv('file:///C:/abc.csv', header="true", inferSchema="true")

我确定我的文件在 C:/abc.csv 但系统总是返回这个错误:

u'Path does not exist file:/C:/abc.csv;'

如何在windows系统中加载文件?

化名

1. 将完整路径定义为变量 - 如果是本地路径,则每个路径都应以驱动器开头

# remove the 'file' string and use 'r' or 'u' prefix to indicate raw/unicore string format
# Option 1
PATH = r'C:\abc.csv'  # raw string
# Option 2
PATH = u'C:\\abc.csv' # unicode string

2. 将路径变量设置为您的 spark 调用

diamonds = spark.read.csv(PATH, header="true", inferSchema="true")

本质上,您的文件路径是错误的。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在Spark中读取CSV文件时出错-Scala

来自分类Dev

将读取文件的架构存储到Spark Scala中的csv文件中

来自分类Dev

在Go中读取CSV文件

来自分类Dev

在vbscript中读取csv文件

来自分类Dev

在Perl中读取CSV文件

来自分类Dev

在C中读取.CSV文件

来自分类Dev

在MFC中读取.csv文件

来自分类Dev

从包中读取CSV文件

来自分类Dev

读取.csv文件中的几行

来自分类Dev

在 Cplex 中读取 CSV 文件

来自分类Dev

在spark中读取文件时存储文件

来自分类Dev

在Spark 2.0中读取本地Parquet文件

来自分类Dev

在Spark 2.0中读取本地Parquet文件

来自分类Dev

无法在 spark scala 中读取 conf 文件

来自分类Dev

在使用option(“ dateFormat”)读取SPARK中的数据框时,如何处理csv文件中的不同日期格式?

来自分类Dev

Spark Scala 使用 s3a 读取 csv 文件

来自分类Dev

Spark 无法读取 CSV 文件并转换为数据集

来自分类Dev

将 CSV 文件上传到 MongoDB | 从 CSV 文件中读取

来自分类Dev

在Python中从CSV文件读取数据

来自分类Dev

在javascript中读取本地csv文件?

来自分类Dev

单独读取csv文件中的列名

来自分类Dev

在AngularJs中读取和解析CSV文件

来自分类Dev

在OpenCV Java中读取CSV文件

来自分类Dev

读取R中的压缩.csv文件

来自分类Dev

在Android中读取大型.csv文件

来自分类Dev

读取csv文件中的特定行,python

来自分类Dev

在R中读取大的csv文件

来自分类Dev

在链接列表Java中读取CSV文件

来自分类Dev

如何从R中的url读取csv文件?