Spark中的键值对顺序

埃拉斯夫

当应用诸如之类的函数时reduceByKey,除了元组的第一个元素外,是否有其他方法可以指定键?

我当前的解决方案是使用map函数以正确的顺序重新排列元组,因为我假设此附加操作是以计算为代价的,对吗?

巴尔杜兹

要使用reduceByKey,您需要一个键值,RDD[K,V]其中whereK是将要使用的键。如果您有一个RDD[V],则需要先执行map以指定密钥。

myRdd.map(x => (x, 1))

如果您已经有了一个RDD[K,V]钥匙,而钥匙不是您想要的...您需要另一个map没有其他方法可以解决此问题。例如,如果要在键和值之间切换,可以执行以下操作:

myPairRdd.map(_.swap)

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Spark 中的聚合键值对

来自分类Dev

以输入中给出的相同顺序读取键值对中的 json 文件

来自分类Dev

Spark Streaming中的顺序处理

来自分类Dev

mongoDb中键值的顺序

来自分类Dev

按键值顺序排序

来自分类Dev

mongoDb中键值的顺序

来自分类Dev

按键值顺序排序

来自分类Dev

如何使用Spark的地图转换在Scala中返回多个键值对?

来自分类Dev

使用Apache Spark从HDFS序列文件中创建键值对

来自分类Dev

如何使用Spark的map转换在Scala中返回多个键值对?

来自分类Dev

根据Spark数据框中的键值进行过滤

来自分类Dev

如何在 Spark/Scala 数据导入中处理嵌套的键值对

来自分类Dev

Spark中的groupByKey是否保留原始顺序?

来自分类Dev

在Spark中按交替顺序分组

来自分类Dev

Spark:更改键值对的Key

来自分类Dev

从数据库中检索后,firestore映射键值对会随机更改顺序

来自分类Dev

在HashMap中添加新的键值对时,插入顺序在什么情况下会改变?

来自分类Dev

在HashMap中添加新的键值对时,插入顺序在什么情况下会改变?

来自分类Dev

顺序RDD处理中的功能性方法[Apache Spark]

来自分类Dev

重新分区更改Spark中数据帧的行顺序

来自分类Dev

在dataproc / gcp中顺序执行多个spark作业

来自分类Dev

如何合并数据框以保持Spark或Python中的顺序

来自分类Dev

相同键值的QMultiHash迭代器顺序

来自分类Dev

如何找到Spark流中具有最小值的键值对?

来自分类Dev

展平 _metadata 并从 ES 中提取 Spark scala 中的 _id 键值

来自分类Dev

获取总和并选择最大键值对,而无需在 spark scala 中并行化

来自分类Dev

spark 是否按字母顺序在内部重新排列数据框中字段的顺序?

来自分类Dev

SPARK 动作顺序

来自分类Dev

如何获取键值数组中的键值

Related 相关文章

  1. 1

    Spark 中的聚合键值对

  2. 2

    以输入中给出的相同顺序读取键值对中的 json 文件

  3. 3

    Spark Streaming中的顺序处理

  4. 4

    mongoDb中键值的顺序

  5. 5

    按键值顺序排序

  6. 6

    mongoDb中键值的顺序

  7. 7

    按键值顺序排序

  8. 8

    如何使用Spark的地图转换在Scala中返回多个键值对?

  9. 9

    使用Apache Spark从HDFS序列文件中创建键值对

  10. 10

    如何使用Spark的map转换在Scala中返回多个键值对?

  11. 11

    根据Spark数据框中的键值进行过滤

  12. 12

    如何在 Spark/Scala 数据导入中处理嵌套的键值对

  13. 13

    Spark中的groupByKey是否保留原始顺序?

  14. 14

    在Spark中按交替顺序分组

  15. 15

    Spark:更改键值对的Key

  16. 16

    从数据库中检索后,firestore映射键值对会随机更改顺序

  17. 17

    在HashMap中添加新的键值对时,插入顺序在什么情况下会改变?

  18. 18

    在HashMap中添加新的键值对时,插入顺序在什么情况下会改变?

  19. 19

    顺序RDD处理中的功能性方法[Apache Spark]

  20. 20

    重新分区更改Spark中数据帧的行顺序

  21. 21

    在dataproc / gcp中顺序执行多个spark作业

  22. 22

    如何合并数据框以保持Spark或Python中的顺序

  23. 23

    相同键值的QMultiHash迭代器顺序

  24. 24

    如何找到Spark流中具有最小值的键值对?

  25. 25

    展平 _metadata 并从 ES 中提取 Spark scala 中的 _id 键值

  26. 26

    获取总和并选择最大键值对,而无需在 spark scala 中并行化

  27. 27

    spark 是否按字母顺序在内部重新排列数据框中字段的顺序?

  28. 28

    SPARK 动作顺序

  29. 29

    如何获取键值数组中的键值

热门标签

归档