JavaPairRDD将键值转换为键列表

SrtoPeixet

我有一个包含(Key,Value)的JavaPairRDD,我想按Keys分组,并使“第二列”成为列出该键的所有值的列表。我当前正在使用该groupby()函数,该函数可以正确执行键连接,但是会将我的值转换为Long的Iterable。这是,

Key1 Iterable<Long>
Key2 Iterable<Long>
...

有什么方法可以强制此函数使用Longs列表而不是Iterable对象?

Key1 List<Long>
Key2 List<Long>
...

我读了一些有关称为函数的内容,combineByKey()但我认为这不是用例。可能我需要使用reduceByKey,但是我没有看到它。应该是这样的:

myRDD.reduceByKey((a,b) -> new ArrayList<Long>()) //and add b to a 

最后,我想组合值以获得键n List<Long>RDD。感谢您的时间。

黑主教

您可以尝试如下操作:

JavaPairRDD <String, List<long>> keyValuePairs = rdd.map(t -> {
    return new Tuple2(t._1, Arrays.asList(new long[]{t._2}));
}).reduceByKey((a, b) -> {
    a.addAll(b);
    return a;
});

首先,您映射以将值转换为多头列表。然后reduceByKey并使用addAllarraylist上的方法合并列表

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将键值数据框转换为列表

来自分类Dev

将键值列表转换为数据框

来自分类Dev

将具有重复键的键值的列表快速转换为字典

来自分类Dev

如何将JavaPairRDD转换为HashMap

来自分类Dev

如何在Ruby中将键值对的列表转换为哈希,以便将具有重复键的值存储在数组中?

来自分类Dev

将多值字典键转换为列表

来自分类Dev

将RDD转换为键值对RDD,其中的值在列表中

来自分类Dev

Python将列表转换为具有键值的字典

来自分类Dev

如何将键值对列表转换为动态对象

来自分类Dev

尝试将OrderedDict列表转换为Dictionary键值Python

来自分类Dev

如何将键值对列表转换为动态对象

来自分类Dev

Python将列表转换为具有多个键值的字典

来自分类Dev

如何使用`AngularJS`将键值对转换为数组列表?

来自分类Dev

如何将 Json 列表转换为键值对象

来自分类Dev

将数组转换为键值对

来自分类Dev

在保持“键”的同时将列表转换为子列表

来自分类Dev

在保持“键”的同时将列表转换为子列表

来自分类Dev

Spark:将JavaRDD <Tuple2>转换为JavaPairRDD <>

来自分类Dev

将 JavaRDD<List<String>> 转换为 JavaPairRDD<String, Integer>

来自分类Dev

Python列表推导将dict列表转换为具有dict键值对子集的元组列表

来自分类Dev

番石榴:将列表转换为以索引为键的地图

来自分类Dev

Elixir:使用整数键将列表转换为地图

来自分类Dev

将列表转换为地图并过滤空键

来自分类Dev

如何将JSON转换为带点符号的键列表

来自分类Dev

Python:将元组列表转换为JSON值键对

来自分类Dev

如何将键,值表转换为列表lua

来自分类Dev

使用自己生成的键将嵌套列表转换为字典

来自分类Dev

将列表转换为地图并使用Terraform中的计数键

来自分类Dev

将列表值转换为字典作为键和值

Related 相关文章

  1. 1

    将键值数据框转换为列表

  2. 2

    将键值列表转换为数据框

  3. 3

    将具有重复键的键值的列表快速转换为字典

  4. 4

    如何将JavaPairRDD转换为HashMap

  5. 5

    如何在Ruby中将键值对的列表转换为哈希,以便将具有重复键的值存储在数组中?

  6. 6

    将多值字典键转换为列表

  7. 7

    将RDD转换为键值对RDD,其中的值在列表中

  8. 8

    Python将列表转换为具有键值的字典

  9. 9

    如何将键值对列表转换为动态对象

  10. 10

    尝试将OrderedDict列表转换为Dictionary键值Python

  11. 11

    如何将键值对列表转换为动态对象

  12. 12

    Python将列表转换为具有多个键值的字典

  13. 13

    如何使用`AngularJS`将键值对转换为数组列表?

  14. 14

    如何将 Json 列表转换为键值对象

  15. 15

    将数组转换为键值对

  16. 16

    在保持“键”的同时将列表转换为子列表

  17. 17

    在保持“键”的同时将列表转换为子列表

  18. 18

    Spark:将JavaRDD <Tuple2>转换为JavaPairRDD <>

  19. 19

    将 JavaRDD<List<String>> 转换为 JavaPairRDD<String, Integer>

  20. 20

    Python列表推导将dict列表转换为具有dict键值对子集的元组列表

  21. 21

    番石榴:将列表转换为以索引为键的地图

  22. 22

    Elixir:使用整数键将列表转换为地图

  23. 23

    将列表转换为地图并过滤空键

  24. 24

    如何将JSON转换为带点符号的键列表

  25. 25

    Python:将元组列表转换为JSON值键对

  26. 26

    如何将键,值表转换为列表lua

  27. 27

    使用自己生成的键将嵌套列表转换为字典

  28. 28

    将列表转换为地图并使用Terraform中的计数键

  29. 29

    将列表值转换为字典作为键和值

热门标签

归档