我正在尝试在oozie上运行MapReduce作业，该作业将HBase表快照作为其输入。目前，我可以做到这一点（不使用oozie工作流），通过org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil它可以为我提供一种方法initTableSnapshotMapperJob()。
oozie中是否有类似的选项，我可以在其中指定HBase SNAPSHOT作为地图缩小作业的输入。如果不是，还有哪些其他选择？
您可以为此使用Uber jar。Oozie允许直接调度uber jar，而无需配置Mapper和Reducer：
<action name="mr-node">
<map-reduce>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>oozie.mapreduce.uber.jar</name>
<value>${nameNode}/user/${wf:user()}/my-uber-jar.jar</value>
</property>
</configuration>
</map-reduce>
<ok to="end"/>
<error to="fail"/>
</action>
在执行此操作之前，请确保在oozie -site.xml中将oozie.action.mapreduce.uber.jar.enable属性设置为true。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句