我一直在玩Cloudera VM 4.7中的Hadoop 2.0。我正在尝试以文档描述如何使用的cleanup方法打印出5个最常用的单词。但是它根本不会被调用。
public static class Reduce extends MapReduceBase implements
Reducer<Text, IntWritable, Text, IntWritable> {
private java.util.Map<String, Integer> top5 = new HashMap<String, Integer>(5);
public void reduce(Text key, Iterator<IntWritable> values,
OutputCollector<Text, IntWritable> output, Reporter reporter)
throws IOException {
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
reporter.getCounter(statistics.UNIQUE_TERMS).increment(1);
if (sum < 5) {
reporter.getCounter(statistics.LT5_TERM).increment(1);
}
if (this.top5.size() < 5) {
top5.put(key.toString(), sum);
} else {
for (Entry<String, Integer> e : this.top5.entrySet()) {
if (sum > e.getValue()) {
this.top5.remove(e.getKey());
this.top5.put(key.toString(), sum);
break;
}
}
}
output.collect(key, new IntWritable(sum));
}
protected void cleanup(org.apache.hadoop.mapreduce.Reducer.Context context) throws IOException, InterruptedException {
System.out.println(this.top5);
}
}
我如何使方法像预期的那样运行？
编辑：此问题也适用于setup方法和映射器中。
您需要将@Override注释添加到您的cleanup方法。
另外，如果您使用的是旧的API，则必须检查Mapper接口是否扩展了该Closable接口-该接口定义了close方法（而不是使用cleanup作为新的mapreduce API映射器的方法）
@Override
public void close() {
}
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句