在Pyspark中，我想将数据框另存为json文件，但格式如下
说这是我的数据框
>>> rdd1.show()
+----------+-----+
| f1| f2|
+----------+-----+
|AAAAAAAAAA|99999|
| BBBBBBBBB|99999|
| CCCCCCCCC|99999|
+----------+-----+
如果我将上述数据框另存为json文件，则输出如下
>>>rdd1.coalesce(1).write.json("file:///test_directory/sample4")
{"f1":"AAAAAAAAAA","f2":"99999"}
{"f1":"BBBBBBBBB","f2":"99999"}
{"f1":"CCCCCCCCC","f2":"99999"}
但我想要它像下面
[{"f1":"AAAAAAAAAA","f2":"99999"},{"f1":"BBBBBBBBB","f2":"99999"},{"f1":"CCCCCCCCC","f2":"99999"}]
我已经尝试过option（“ multiLine”，“ true”）和lineSep =“，”似乎都不起作用，这些选项仅适用于读取而不是写入。请为这个问题提出解决方案
to_json与collect_list函数一起使用并写为.text()。
Example:
df.show()
#+-----+-----+
#| f1| f2|
#+-----+-----+
#|AAAAA| 9999|
#| BBB|99999|
#| CCCC| 9999|
#+-----+-----+
from pyspark.sql.functions import *
df.agg(to_json(collect_list(struct(col("f1"),col("f2")))).alias("d")).\
write.\
mode("overwrite").\
text("<path>")
#output
#[{"f1":"AAAAA","f2":"9999"},{"f1":"BBB","f2":"99999"},{"f1":"CCCC","f2":"9999"}]
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句