我想在 spark(scala) 中解析 json 文件。接下来我要保存txt文件..保存在HDFS中的Json文件。
如何使用 scala 解析 json 文件？
json 文件示例）metadata.json
{"ID": "ABCDEFG", "product": "computer", "review": "good"}
{"ID": "ZXCVBND", "product": "computer", "review": "bad"}
我想解析 ID 并查看。解析后==>
ABCDEFG :: good
ZXCVBND :: bad
看起来很简单 - 从 json 读取数据，使用 Spark sql 创建查询，并将数据保存到 hdfs：
val df = spark.read.json("json/in/hdfs/data.json")
df.show()
val myDF = spark.read.json(path)
myDF.printSchema()//for debug purposes
myDF.createOrReplaceTempView("myData")
val selectedDF = spark.sql("SELECT id, parse FROM myData")
.map(attributes => attributes(0) + " :: " + attributes(1))
selectedDF.write().fomat("json").saveAsTextFile("hdfs://...")
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句