Windows上没有Hadoop集群的MRUnit

Srivatsan Nallazhagappan 发表于 Dev

Srivatsan Nallazhagappan

我正在寻找是否可以在没有hadoop设置的情况下在Windows中运行hadoop Mapreduce单元测试的方法。MRUnit是否作为Java Maven项目在Eclipse的Windows（无cygwin）上运行？

谢谢Srivatsan Nallazhagappan

保罗·萨姆索塔

您可以运行独立MRUnit测试。您所需要的只是pom中的一些依赖项。我只是做了一个快速的小测试，而这是运行成功测试所需的唯一依赖项。只是带有硬编码值的简单测试。没有cywin，没有hadoop设置，只有依赖项。

<dependencies>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.7.0_25</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>1.0.0</version>
        <classifier>hadoop2</classifier>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

至于没有cygwin的安装程序，这也是可能的。请访问此站点以及该站点，以获取有关构建和安装不带cywin的Windows的hadoop的帮助。

另外一个有用的工具是Eclipse的hadoop插件。您可以在此处查看编译版本。它很容易使用。您可以在此处获得有关如何使用它的帮助

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。