在Hadoop中,我们可以在map / reduce任务中增加计数器,如下所示:
...
context.getCounter(MyCountersEnum.SomeCounter).increment(1);
...
比您可以在日志中找到它们的值。
作业完成后如何从代码访问它们?
什么是Hadoop API读取计数器值?
我刚刚在这里找到答案。
您需要一个工作对象来访问计数器:
Counters counters = job.getCounters();
Counter counter = counters.findCounter(MyCountersEnum.SomeCounter);
System.out.println(counter.getDisplayName() + ": " + counter.getValue());
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句