在非并行问题上运行 Map/Reduce?

艾丽西亚·多伊

我一直在阅读有关 Map Reduce 的大量资料,但我有以下问题似乎找不到答案:

  • 你能在非并行问题上运行 Map/Reduce 吗?
左连接

你当然可以。有很多应用程序可以使用 map-reduce 框架运行某些东西。例如Qubole如果您提交简单的 shell 命令,例如"java -version"Qubole启动 map-reduce 作业并在 mapper 上运行您的命令。自己检查一下。在这种情况下,map-reduce 框架会打扰资源管理、任务协调、重试、日志记录、监控状态等。

同样,如果您尝试sqoop import使用 --m1 参数执行,它将使用单个映射器查询源数据库并将数据加载到 hdfs 中,而不进行拆分。在这种情况下,MapReduce 将无助于并行化,但它会决定在何处运行它、重试、记录等,您可以使用相同的 hadoop 作业或纱线命令终止作业。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

运行 Mapreduce 问题

来自分类Dev

并行执行mapreduce作业

来自分类Dev

如何检查mapreduce是否并行运行?

来自分类Dev

Mapreduce并行副本与HTTP线程

来自分类Dev

如何使AWS弹性MapReduce Hive命令并行运行

来自分类Dev

MongoDB MapReduce复合密钥问题

来自分类Dev

MongoDB MapReduce复合密钥问题

来自分类Dev

迭代MapReduce(Twister)运行异常

来自分类Dev

hadoop:无法运行mapreduce作业

来自分类Dev

Hadoop MapReduce-如何提高并行度

来自分类Dev

Amazon Elastic Mapreduce:引导操作问题?

来自分类Dev

C语言中的MapReduce分区问题

来自分类Dev

无法在hadoop 2.4.0上运行MapReduce作业

来自分类Dev

运行MapReduce程序时发生ClassNotFound异常

来自分类Dev

在hadoop和mapreduce上运行R脚本

来自分类Dev

从Web应用程序运行MapReduce作业

来自分类Dev

运行MapReduce程序时发生ClassNotFound异常

来自分类Dev

使用MapReduce并行查询HBase的行键列表

来自分类Dev

使用MapReduce并行查询HBase的行键列表

来自分类Dev

非规范化vs父引用vs MapReduce

来自分类Dev

Java:执行Hadoop MapReduce有一些问题

来自分类Dev

从Eclipse在AWS-EMR上运行MapReduce作业

来自分类Dev

ConnectException:在Hadoop中运行mapreduce时,连接被拒绝

来自分类Dev

可以同时运行多少个Mapreduce作业

来自分类Dev

如何在模块中运行appengine mapreduce作业?

来自分类Dev

运行mapreduce程序时出现“ Java堆空间不足”错误

来自分类Dev

MapReduce Job(用python编写)在EMR上运行缓慢

来自分类Dev

运行hadoop mapreduce示例时系统重新引导

来自分类Dev

猪为什么要运行多个mapreduce过程?