当应用诸如之类的函数时reduceByKey
,除了元组的第一个元素外,是否有其他方法可以指定键?
我当前的解决方案是使用map
函数以正确的顺序重新排列元组,因为我假设此附加操作是以计算为代价的,对吗?
要使用reduceByKey
,您需要一个键值,RDD[K,V]
其中whereK
是将要使用的键。如果您有一个RDD[V]
,则需要先执行map
以指定密钥。
myRdd.map(x => (x, 1))
如果您已经有了一个RDD[K,V]
钥匙,而钥匙不是您想要的...您需要另一个map
。没有其他方法可以解决此问题。例如,如果要在键和值之间切换,可以执行以下操作:
myPairRdd.map(_.swap)
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句