排序文本文件中的值集合，并使用pyspark将排序后的值保存回文本文件中
羊
我正在尝试对具有以下输入法格式的记录的文本文件进行排序：
b1 xy
a2 pq
这是我的pySpark代码：
distFile = sc.textFile(input.txt)
words = distFile.map(lambda x: [x[:2],x[2:]])
words.saveAsTextFile("output")
这就是我作为输出内容所得到的
输出/ part-00000
[u'a2', u'pq']
[u'b1', u'xy']
我想要的内容是：
a2 pq
b1 xy
我究竟做错了什么？
当我使用时我也会得到垃圾值 words.saveAsPickleFile("output")
阿尔贝托·邦桑托（Alberto Bonsanto）
您需要将所有内容合并strings为一个。类似于：
rdd = sc.parallelize([("Roger", "Andrew"),
("Melissa", "Goldsmith")])
words = rdd.map(lambda (n, ln): n + " " + ln)
words.repartition(1).saveAsTextFile("output")
结果如下：
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
在python中的文本文件中对值进行排序
- 2
组织和排序文本文件中的数据
- 3
排序文本文件的行
- 4
如何使用文本文件中的数字对python中的文本文件进行排序
- 5
使用Python对文本文件中特定索引的值进行排序
- 6
从文本文件中检索值
- 7
检查文本文件中的值
- 8
解析文本文件中的值
- 9
文本文件排序
- 10
按出现频率排序文本文件
- 11
重新排序文本文件-Python
- 12
如何按每行中的值对存储在文本文件中的条目进行排序
- 13
使用grep忽略文本文件中给出的值
- 14
如何使用文本文件中的值进行计算
- 15
在文本文件中搜索和排序
- 16
在Python中对文本文件进行排序
- 17
在Java中对文本文件行进行排序
- 18
使用PowerShell将文本附加到文本文件中的某些值
- 19
将打印值保存到文本文件 python 中
- 20
如何将 TextBoxes 值保存到多行文本文件中
- 21
使用标题值将列添加到文本文件（文件中的多个标题）
- 22
使用标题值将列添加到文本文件（文件中的多个标题）
- 23
排序导入的文本文件？
- 24
排序导入的文本文件？
- 25
将Matlab输出保存在文本文件中
- 26
将程序输出保存在文本文件中
- 27
将变量保存在文本文件中
- 28
使用批处理将文本文件中的变量替换为固定值
- 29
使用文本文件中的var
我来说两句