Hadoop Map Reduce让addInputPath使用特殊的文件名

巴拉克·凯德姆(Barak Kedem)

嘿,这更多是一个Java问题,但它与Hadoop有关。

我在Map Reduce Java Job中的代码上有这一行:

 JobConf conf= new JobConf(WordCount.class);
 conf.setJobName("Word Count");
       .............
       .............
       .............
 FileInputFormat.addInputPath(conf, new Path(args[0]));

而不是“提供”包含许多文件的目录,我该如何设置特定的文件名?

尤吉斯

从《 Hadoop:权威指南》这本书中:

输入路径是通过在FileInputFormat上调用静态addInputPath()方法指定的,它可以是单个文件,目录(在这种情况下,输入形成该目录中的所有文件)或文件模式。顾名思义,可以多次调用addInputPath()来使用来自多个路径的输入。

因此,要回答您的问题,您应该仅可以将路径传递到特定的单个文件,并且它将用作唯一输入(只要您不对其他一些路径进行更多的addInputPath()调用)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Hadoop Map Reduce哈希程序

来自分类Dev

Hadoop Map-Reduce编程

来自分类Dev

hadoop map reduce程序中如何在映射器代码中获取输入文件名

来自分类Dev

运行Hadoop Map-Reduce作业

来自分类Dev

hadoop map-reduce:如何部署非jar文件

来自分类Dev

Hadoop Map Reduce读取文本文件

来自分类Dev

何时在Hadoop Map-Reduce中使用NLineInputFormat?

来自分类Dev

如何在scala中编写hadoop map reduce程序

来自分类Dev

用于大数据分析的Hadoop Map Reduce框架

来自分类Dev

Hadoop Map-reduce编程语法错误

来自分类Dev

如何在hadoop map reduce中写avro输出?

来自分类Dev

如何为Hadoop的Map-reduce作业设置配置?

来自分类Dev

复合密钥正在更改,Hadoop Map-Reduce?

来自分类Dev

Hadoop,成功完成Map Reduce作业,但没有输出

来自分类Dev

Hadoop Map Reduce-如何将分组与排序分开?

来自分类Dev

在Map Reduce作业Hadoop中将文件中的数据用作哈希映射

来自分类Dev

使用hadoop和Java命令执行map-reduce作业之间有什么区别

来自分类Dev

在Map-reduce Hadoop的Mapper类的run方法中使用上下文对象?

来自分类Dev

如何在Hadoop Reduce中获取当前文件名

来自分类Dev

在将“ hadoop-eclipse-plugin-2.5.2.jar”放在/ eclipse / plugins中后,为什么找不到“ hadoop map / reduce”?

来自分类Dev

减少Hadoop中的Map Flow

来自分类Dev

Hadoop Map Reduce测试-自定义记录读取器

来自分类Dev

Hadoop 2:为什么每个 map 或 reduce 任务都有两个 linux 进程?

来自分类Dev

用于日志分析的 Map Reduce 作业不在 Hadoop 2.7.3 伪分布式模式下运行

来自分类Dev

我可以在hadoop-PIG中对Map结构使用“ filter by”吗?

来自分类Dev

将文件名参数传递给Dataproc Hadoop作业

来自分类Dev

阐明Map任务并减少hadoop中的任务?

来自分类Dev

hadoop map减少作业无输出

来自分类Dev

Hadoop中Map功能的输入拆分

Related 相关文章

  1. 1

    Hadoop Map Reduce哈希程序

  2. 2

    Hadoop Map-Reduce编程

  3. 3

    hadoop map reduce程序中如何在映射器代码中获取输入文件名

  4. 4

    运行Hadoop Map-Reduce作业

  5. 5

    hadoop map-reduce:如何部署非jar文件

  6. 6

    Hadoop Map Reduce读取文本文件

  7. 7

    何时在Hadoop Map-Reduce中使用NLineInputFormat?

  8. 8

    如何在scala中编写hadoop map reduce程序

  9. 9

    用于大数据分析的Hadoop Map Reduce框架

  10. 10

    Hadoop Map-reduce编程语法错误

  11. 11

    如何在hadoop map reduce中写avro输出?

  12. 12

    如何为Hadoop的Map-reduce作业设置配置?

  13. 13

    复合密钥正在更改,Hadoop Map-Reduce?

  14. 14

    Hadoop,成功完成Map Reduce作业,但没有输出

  15. 15

    Hadoop Map Reduce-如何将分组与排序分开?

  16. 16

    在Map Reduce作业Hadoop中将文件中的数据用作哈希映射

  17. 17

    使用hadoop和Java命令执行map-reduce作业之间有什么区别

  18. 18

    在Map-reduce Hadoop的Mapper类的run方法中使用上下文对象?

  19. 19

    如何在Hadoop Reduce中获取当前文件名

  20. 20

    在将“ hadoop-eclipse-plugin-2.5.2.jar”放在/ eclipse / plugins中后,为什么找不到“ hadoop map / reduce”?

  21. 21

    减少Hadoop中的Map Flow

  22. 22

    Hadoop Map Reduce测试-自定义记录读取器

  23. 23

    Hadoop 2:为什么每个 map 或 reduce 任务都有两个 linux 进程?

  24. 24

    用于日志分析的 Map Reduce 作业不在 Hadoop 2.7.3 伪分布式模式下运行

  25. 25

    我可以在hadoop-PIG中对Map结构使用“ filter by”吗?

  26. 26

    将文件名参数传递给Dataproc Hadoop作业

  27. 27

    阐明Map任务并减少hadoop中的任务?

  28. 28

    hadoop map减少作业无输出

  29. 29

    Hadoop中Map功能的输入拆分

热门标签

归档