Amazon EMR 上的作业链?

费德里科·庞兹

我需要做 2 个链接的 M/R 作业,所以我需要使用第一个作业的输出作为第二个作业的输入。

我怎样才能在 EMR 上做到这一点?

网络玩家一号

您可以添加多个作业作为步骤。并使用 S3 存储中间结果。第二个mapreduce作业可以从S3读取中间结果,继续完成工作。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在Amazon EMR上安装PIG 0.14

来自分类Dev

如何在Amazon EMR上为Hadoop流作业加载其他JAR

来自分类Dev

如何在Amazon EMR上查找Spark Master URL

来自分类Dev

在Amazon EMR上运行Pig Word Count脚本出现错误

来自分类Dev

Amazon EMR框架在MapReduce作业中使用之前是否从S3复制数据

来自分类Dev

Amazon EMR在为Apache-Flink提交作业时遇到可恢复的Hadoop错误

来自分类Dev

如何在Amazon EMR上编辑并重新启动终止的集群?

来自分类Dev

为什么在Amazon EMR上使用更多计算机时我的Pig UDF不能更快?

来自分类Dev

在Amazon EMR上使用Java中的HBase时遇到问题

来自分类Dev

如何在代码中的Amazon EMR引导操作上安装自定义包?

来自分类Dev

Amazon EMR - 特定 EMR 版本的应用程序列表?

来自分类Dev

从ID Amazon EMR获取集群对象

来自分类Dev

Amazon EMR Application Master Web UI?

来自分类Dev

Tomcat无法在Amazon EMR上访问

来自分类Dev

从ID Amazon EMR获取集群对象

来自分类Dev

Amazon EMR Application Master Web UI?

来自分类Dev

如何在Amazon EMR中安装sqoop?

来自分类Dev

如何使在Amazon EMR上运行的Pyspark脚本识别boto3模块?它说找不到模块

来自分类Dev

从S3读取内容时,为什么我的LZO索引在Amazon的EMR上花费这么长时间?

来自分类Dev

从Eclipse在AWS-EMR上运行MapReduce作业

来自分类Dev

EMR上的Apache Giraph

来自分类Dev

EMR 上的 Oozie 示例

来自分类Dev

在Amazon EMR中创建Spark集群时出错

来自分类Dev

Amazon EMR:Pyspark具有奇怪的依赖性问题

来自分类Dev

Amazon EMR隧道飞艇和Jupyter笔记本

来自分类Dev

Amazon EMR Spark集群:输出/结果不可见

来自分类Dev

如何在Amazon EMR的Pig中使用Python流式UDF

来自分类Dev

将spark-avro jar引导到Amazon EMR集群

来自分类Dev

如何通过Ruby连接到Amazon EMR Hive?

Related 相关文章

  1. 1

    在Amazon EMR上安装PIG 0.14

  2. 2

    如何在Amazon EMR上为Hadoop流作业加载其他JAR

  3. 3

    如何在Amazon EMR上查找Spark Master URL

  4. 4

    在Amazon EMR上运行Pig Word Count脚本出现错误

  5. 5

    Amazon EMR框架在MapReduce作业中使用之前是否从S3复制数据

  6. 6

    Amazon EMR在为Apache-Flink提交作业时遇到可恢复的Hadoop错误

  7. 7

    如何在Amazon EMR上编辑并重新启动终止的集群?

  8. 8

    为什么在Amazon EMR上使用更多计算机时我的Pig UDF不能更快?

  9. 9

    在Amazon EMR上使用Java中的HBase时遇到问题

  10. 10

    如何在代码中的Amazon EMR引导操作上安装自定义包?

  11. 11

    Amazon EMR - 特定 EMR 版本的应用程序列表?

  12. 12

    从ID Amazon EMR获取集群对象

  13. 13

    Amazon EMR Application Master Web UI?

  14. 14

    Tomcat无法在Amazon EMR上访问

  15. 15

    从ID Amazon EMR获取集群对象

  16. 16

    Amazon EMR Application Master Web UI?

  17. 17

    如何在Amazon EMR中安装sqoop?

  18. 18

    如何使在Amazon EMR上运行的Pyspark脚本识别boto3模块?它说找不到模块

  19. 19

    从S3读取内容时,为什么我的LZO索引在Amazon的EMR上花费这么长时间?

  20. 20

    从Eclipse在AWS-EMR上运行MapReduce作业

  21. 21

    EMR上的Apache Giraph

  22. 22

    EMR 上的 Oozie 示例

  23. 23

    在Amazon EMR中创建Spark集群时出错

  24. 24

    Amazon EMR:Pyspark具有奇怪的依赖性问题

  25. 25

    Amazon EMR隧道飞艇和Jupyter笔记本

  26. 26

    Amazon EMR Spark集群:输出/结果不可见

  27. 27

    如何在Amazon EMR的Pig中使用Python流式UDF

  28. 28

    将spark-avro jar引导到Amazon EMR集群

  29. 29

    如何通过Ruby连接到Amazon EMR Hive?

热门标签

归档