我一直在阅读有关 Map Reduce 的大量资料,但我有以下问题似乎找不到答案:
你当然可以。有很多应用程序可以使用 map-reduce 框架运行某些东西。例如Qubole
。如果您提交简单的 shell 命令,例如"java -version"
,Qubole
启动 map-reduce 作业并在 mapper 上运行您的命令。自己检查一下。在这种情况下,map-reduce 框架会打扰资源管理、任务协调、重试、日志记录、监控状态等。
同样,如果您尝试sqoop import
使用 --m1 参数执行,它将使用单个映射器查询源数据库并将数据加载到 hdfs 中,而不进行拆分。在这种情况下,MapReduce 将无助于并行化,但它会决定在何处运行它、重试、记录等,您可以使用相同的 hadoop 作业或纱线命令终止作业。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句