我有一个类型为Array [RDD [(String,Set [String])]]的RDD数组,其中每个RDD是键和值的元组。键是字符串,值是Set [String],我想合并/合并具有相同键的Set。我试图在斯卡拉这样做,但没有喜悦。你能帮我一下吗。
e.g.
RDD["A",Set("1","2")]
RDD["A",Set("3","4")]
RDD["B",Set("1","2")]
RDD["B",Set("3","4")]
RDD["C",Set("1","2")]
RDD["C",Set("3","4")]
After transformation:
RDD["A",Set("1","2","3","4")]
RDD["B",Set("1","2","3","4")]
RDD["C",Set("1","2","3","4")]
如果单个RDD
as输出是可以的(真的看不出有任何理由要制作许多只包含1条记录的RDD),则可以将您的Array
of简化RDD
为单个RDD
,然后执行以下操作groupByKey
:
arr.reduce( _ ++ _ )
.groupByKey
.mapValues(_.flatMap(identity))
实例:
scala> val x = sc.parallelize( List( ("A", Set(1,2)) ) )
scala> val x2 = sc.parallelize( List( ("A", Set(3,4)) ) )
scala> val arr = Array(x,x2)
arr: Array[org.apache.spark.rdd.RDD[(String, scala.collection.immutable.Set[Int])]] = Array(ParallelCollectionRDD[0] at parallelize at <console>:27, ParallelCollectionRDD[1] at parallelize at <console>:27)
scala> arr.reduce( _ ++ _ ).groupByKey.mapValues(_.flatMap(identity)).foreach(println)
(A,List(1, 2, 3, 4))
@Edit:我发现这不是一个好主意,建议您重新考虑一下,但是您可以通过从上方获取所有键并多次过滤RDD来获得所需的结果:
val sub = arr.reduce( _ ++ _ ).groupByKey.mapValues(_.flatMap(identity))
val keys = sub.map(_._1).collect()
val result = for(k <- keys) yield sub.filter(_._1 == k)
result: Array[org.apache.spark.rdd.RDD[(String, Iterable[Int])]]
每个RDD
都有一个元组,真的不认为它非常有用,性能很好。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句