我有一个包含多个记录的文本文件,例如:
aaaaa
bbbbb
ccccc
我想在每个记录的前面添加一个字符串(例如“ record:”),所以每个记录都将像这样:
record:aaaaa
record:bbbbb
record:ccccc
我有读取此文本文件并为此文件创建RDD的代码:
val aRdd = sc.textFile("/tmp/myFile")
如何使用Spark将字符串添加到此RDD中的每个记录?非常感谢。
通过使用RDD.map
:
val rddWithRecord = sc.textFile("/tmp/myFile").map(currentWord => s"record:$currentWord")
rddWithRecord.print()
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句