我正在使用 partitionBy() 按某个 ID 对数据集/数据帧进行分区。但是，当文件被写入时，它会创建一个目录，该目录的名称和列的值由“=”符号分隔。
Seq<String> partitionCols = JavaConversions.asScalaBuffer(Arrays.asList("alert_pas_documentid"));
fnDatasetWithDocumentID.write().mode("overwrite").partitionBy(partitionCols).json("/user/creando/cdx/alert_pas/");
如何避免获取列名和“=”符号。这是创建的示例目录。
/user/creando/cdx/inv_devices/inv_devices_documentid=700001_596970dba94c040001381a71_700001
您可以在写入之前重新分区数据集，而不是与作者重新分区，即：
Seq<Column> partitionCols = ...
fnDatasetWithDocumentID.repartition(partitionCols).write().mode("overwrite").json("/user/creando/cdx/alert_pas/");
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句