我想在使用SparkSQL从镶木地板文件加载的每个DataFrame中添加一列，以添加文件路径的子字符串，然后使其成为单个DataFrame。
例如，在加载时.../subfolder1/my_parquet_file1.parquet，.../subfolder2/my_parquet_file2.parquet我想要以下最终DataFrame：
col1 | col2 | subfolder
------------------------
aaa | bbb | subfolder1
ccc | ddd | subfolder1
eee | fff | subfolder2
ggg | hhh | subfolder2
以下代码允许将所有文件加载到路径列表中：
sqlContext.read.schema(schema).parquet(paths: _*)
但是通过直接拥有最终的DataFrame，我无法根据每行的来源添加子文件夹。
有没有一种方法可以在不顺序加载每个文件的情况下执行此操作？
尝试这个 -
val df = spark.read
.parquet(
getClass.getResource("/parquet/day/day1/part-00000-4ece3595-e410-4301-aefd-431cd1debf91-c000.snappy.parquet")
.getPath,
getClass.getResource("/parquet/day/day2/part-00000-4ece3595-e410-4301-aefd-431cd1debf91-c000.snappy.parquet")
.getPath
)
df.show(false)
df.printSchema()
/**
* +------+
* |price |
* +------+
* |123.15|
* |123.15|
* +------+
*
* root
* |-- price: decimal(5,2) (nullable = true)
*/
df.withColumn("subfolder", element_at(split(input_file_name(), "/"), -2))
.show(false)
/**
* +------+---------+
* |price |subfolder|
* +------+---------+
* |123.15|day1 |
* |123.15|day2 |
* +------+---------+
*/
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句