Databricks spark-csv检查空文件

亚历克斯别洛夫

我正在尝试使用以下代码将TSV文件读入DataFrame对象:

SQLContext sqlContext = new SQLContext(javaSparkContext);
Map<String, String> sqlContextOptions = new HashMap<>();
sqlContextOptions.put("header", "true");
sqlContextOptions.put("delimiter", "\t");
DataFrame df = sqlContext.read()
        .format("com.databricks.spark.csv")
        .options(sqlContextOptions)
        .load(path);

现在,如果遇到空文件,该代码将引发UnsupportedOperationException。我想处理空文件,但我不想假定此异常将始终意味着空文件。检查给定文件是否为空的最佳实践是什么?

苏珊娜·波茨(Susannah Potts)

我没有看到path明确定义的内容,但是我假设它是一个包含文件路径的字符串。如果是这样,您可以在一个BufferedReader对象中打开它,并检查是否可以读取它。

BufferedReader br = new BufferedReader(new FileReader(path));     
if (br.readLine() == null) {
    // handle empty file...
} else {
    //do something...
}

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Databricks spark-csv检查空文件

来自分类Dev

从Spark Databricks文件系统填充属性对象

来自分类Dev

通过RStudio加载com.databricks.spark.csv

来自分类Dev

Databricks Spark Conf

来自分类Dev

使用spark-submit运行时无法加载com.databricks.spark.csv

来自分类Dev

使用spark-submit运行时无法加载com.databricks.spark.csv

来自分类Dev

Spark REST API:无法找到数据源:com.databricks.spark.csv

来自分类Dev

以编程方式将 Databricks spark-csv 添加到 Spark 1.6.2 客户端

来自分类Dev

在PySpark中,SparkSession和Databricks的用于导入CSV文件的Spark-CSV模块有什么区别?

来自分类Dev

在SnappyData v.0.5.2中找不到内置提供程序com.databricks.spark.csv

来自分类Dev

Azure Databricks:如何在Databricks群集中添加Spark配置

来自分类Dev

Databricks包com.databricks.spark.xml出现编码问题

来自分类Dev

Databricks Spark CREATE TABLE 需要永远处理 100 万个小型 XML 文件

来自分类Dev

spark-avro databricks软件包

来自分类Dev

在Azure Databricks中编写Spark数据框

来自分类Dev

使用 spark databricks 平台从 URL 读取数据

来自分类Dev

Databricks文件存储= 0

来自分类Dev

Databricks中的SAS文件

来自分类Dev

从Azure Databricks读取Excel文件

来自分类Dev

java.lang.NoClassDefFoundError:com / databricks / spark / avro / package $

来自分类Dev

将数据从Google BigQuery加载到Spark(在Databricks上)

来自分类Dev

Spark SQL如何在Databricks中创建表

来自分类Dev

通过.Net UI在Databricks上运行Spark SQL查询

来自分类Dev

Databricks Spark UDF无法在过滤的数据帧上运行

来自分类Dev

使用Databricks中的Spark API连接到ADLS

来自分类Dev

Azure Databricks:使用Spark SQL进行地理空间查询

来自分类Dev

Databricks Apache Spark 1.4:任务不可序列化(Scala)

来自分类Dev

Spark / Databricks 代码无法识别日期字段错误

来自分类Dev

无法在Databricks上运行spark.eventLog.enabled true和spark.eventLog.dir

Related 相关文章

  1. 1

    Databricks spark-csv检查空文件

  2. 2

    从Spark Databricks文件系统填充属性对象

  3. 3

    通过RStudio加载com.databricks.spark.csv

  4. 4

    Databricks Spark Conf

  5. 5

    使用spark-submit运行时无法加载com.databricks.spark.csv

  6. 6

    使用spark-submit运行时无法加载com.databricks.spark.csv

  7. 7

    Spark REST API:无法找到数据源:com.databricks.spark.csv

  8. 8

    以编程方式将 Databricks spark-csv 添加到 Spark 1.6.2 客户端

  9. 9

    在PySpark中,SparkSession和Databricks的用于导入CSV文件的Spark-CSV模块有什么区别?

  10. 10

    在SnappyData v.0.5.2中找不到内置提供程序com.databricks.spark.csv

  11. 11

    Azure Databricks:如何在Databricks群集中添加Spark配置

  12. 12

    Databricks包com.databricks.spark.xml出现编码问题

  13. 13

    Databricks Spark CREATE TABLE 需要永远处理 100 万个小型 XML 文件

  14. 14

    spark-avro databricks软件包

  15. 15

    在Azure Databricks中编写Spark数据框

  16. 16

    使用 spark databricks 平台从 URL 读取数据

  17. 17

    Databricks文件存储= 0

  18. 18

    Databricks中的SAS文件

  19. 19

    从Azure Databricks读取Excel文件

  20. 20

    java.lang.NoClassDefFoundError:com / databricks / spark / avro / package $

  21. 21

    将数据从Google BigQuery加载到Spark(在Databricks上)

  22. 22

    Spark SQL如何在Databricks中创建表

  23. 23

    通过.Net UI在Databricks上运行Spark SQL查询

  24. 24

    Databricks Spark UDF无法在过滤的数据帧上运行

  25. 25

    使用Databricks中的Spark API连接到ADLS

  26. 26

    Azure Databricks:使用Spark SQL进行地理空间查询

  27. 27

    Databricks Apache Spark 1.4:任务不可序列化(Scala)

  28. 28

    Spark / Databricks 代码无法识别日期字段错误

  29. 29

    无法在Databricks上运行spark.eventLog.enabled true和spark.eventLog.dir

热门标签

归档