我想使用Pyspark将RDD分成相等长度的n个部分
如果RDD是这样的
data = range(0,20)
d_rdd = sc.parallelize(data)
d_rdd.glom().collect()
[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9], [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]]
我想将任意两个随机数组合在一起，例如
[[0,4],[6,11],[5,18],[3,14],[17,9],[12,8],[2,10],[1,15],[13,19],[7,16]]
两种方法：
在使用parallelize时设置分区num ，并使用功能distinct（）
data = range(0,20)
d_rdd = sc.parallelize(data, 10).distinct()
d_rdd.glom().collect()
使用repartition（）和distinct（）
data = range(0,20)
d_rdd = sc.parallelize(data).repartition(10).distinct()
d_rdd.glom().collect()
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句