如何在 Cloudera 上的 Oozie 工作流中添加类路径

Rong Han

我有一个scala的应用程序,并使用maven打包成jar

<build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <resources>
        <resource>
            <directory>src/main</directory>
        </resource>
    </resources>
    <plugins>
        <plugin>
            <groupId>org.scala-tools</groupId>
            <artifactId>maven-scala-plugin</artifactId>
            <version>2.11</version>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                    <phase>compile</phase>
                </execution>

            </executions>
        </plugin>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.3</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <mainClass>mypackage.Check</mainClass>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <index>true</index>
                    <manifest>
                        <classpathPrefix>lib/</classpathPrefix>
                        <addClasspath>true</addClasspath>
                        <mainClass>mypackage.Check</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-dependency-plugin</artifactId>
            <version>2.2</version>
            <executions>
                <execution>
                    <id>copy-dependencies</id>
                    <phase>package</phase>
                    <goals>
                        <goal>copy-dependencies</goal>
                    </goals>
                    <configuration>
                        <outputDirectory>${project.build.directory}/lib</outputDirectory>
                        <overWriteReleases>true</overWriteReleases>
                        <overWriteSnapshots>true</overWriteSnapshots>
                        <overWriteIfNewer>true</overWriteIfNewer>
                    </configuration>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

如图所示,我已经在 pom.xml 中设置了 mainClass,在本地,我可以正确运行它 java -jar normarevision-0.0.1-SNAPSHOT.jar /Users/Scala/normarevision/src/main/application.conf

如何在 Cloudera Oozie Workflow 中使用它, 在此处输入图片说明

CheckMainclass现场试过,都没有成功。还有什么需要配置的吗?在此处输入图片说明

现在我明白这是类路径的问题,它现在可以使用研究命令找到: java –cp {SCALA_LIB}:myjar.jar mypackage.Check$delayedInit$body args

java –jar myjar.jar args

Java –cp {SCALA_LIB}:myjar.jar mypackage.Check args所以问题现在转向如何在 Cloudera 中的 Oozie 工作流中设置类路径。任何帮助将受到欢迎。

Rong Han

现在,我找到了解决它的一种方法是更改job.property文件的配置oozie.use.system.libpath=false并将所有必需的库复制到/lib工作区目录的 。就我而言,/user/hue/oozie/workspaces/hue-oozie-*****/lib.

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Cloudera-Oozie无法从工作流.xml获取属性

来自分类Dev

Cloudera-Oozie无法从工作流.xml获取属性

来自分类Dev

如何安排在HDInsight集群上运行Java程序的Oozie工作流

来自分类Dev

如何在oozie工作流xml中创建可选的命令行参数

来自分类Dev

如何在oozie工作流xml中创建可选的命令行参数

来自分类Dev

如何在实际运行之前检测 oozie 工作流中的错误?

来自分类Dev

如何在工作流本身中使用Oozie工作流配置属性?

来自分类Dev

如何在Dataproc中将GCS存储桶用作Oozie的工作流文件源

来自分类Dev

如何在杀死协调器后让 oozie 工作流运行?

来自分类Dev

如何在 oozie Web 控制台中按工作流 ID 和名称过滤?

来自分类Dev

如何在Oozie工作流程EL函数中使用Oozie作业属性?

来自分类Dev

如何在cloudera manager上配置flume服务?

来自分类Dev

如何在oozie工作流程中创建和设置变量?

来自分类Dev

如何在Oozie工作流程中传递Hive设置参数

来自分类Dev

Cloudera中的Oozie Spark操作未启用Spark历史记录日志

来自分类Dev

Cloudera中的Oozie Spark Action未启用Spark历史记录日志

来自分类Dev

将CLASSPATH添加到Oozie工作流作业

来自分类Dev

运行Oozie工作流的并发性:多少以及如何限制

来自分类Dev

如何在Cloudera中的Cassandra中启用节俭?

来自分类Dev

如何在Cloudera QuickStart Terminal中编写多行?

来自分类Dev

如何在Cloudera QuickStart Terminal中编写多行?

来自分类Dev

如何在 Cloudera 中安排/触发 Spark 作业?

来自分类Dev

在Oozie工作流中获取当前时间

来自分类Dev

在Oozie工作流中获取当前时间

来自分类Dev

Oozie Sqoop 工作流刷新表

来自分类Dev

如何在OOZIE工作流程中使用逻辑运算符

来自分类Dev

如何在Oozie Java操作中运行Hive命令?

来自分类Dev

如何在 Cloudera 5.x 上使用 pyspark 从 DataTap 读取数据?

来自分类Dev

HDInsight上的Oozie:OozieServerStatus

Related 相关文章

  1. 1

    Cloudera-Oozie无法从工作流.xml获取属性

  2. 2

    Cloudera-Oozie无法从工作流.xml获取属性

  3. 3

    如何安排在HDInsight集群上运行Java程序的Oozie工作流

  4. 4

    如何在oozie工作流xml中创建可选的命令行参数

  5. 5

    如何在oozie工作流xml中创建可选的命令行参数

  6. 6

    如何在实际运行之前检测 oozie 工作流中的错误?

  7. 7

    如何在工作流本身中使用Oozie工作流配置属性?

  8. 8

    如何在Dataproc中将GCS存储桶用作Oozie的工作流文件源

  9. 9

    如何在杀死协调器后让 oozie 工作流运行?

  10. 10

    如何在 oozie Web 控制台中按工作流 ID 和名称过滤?

  11. 11

    如何在Oozie工作流程EL函数中使用Oozie作业属性?

  12. 12

    如何在cloudera manager上配置flume服务?

  13. 13

    如何在oozie工作流程中创建和设置变量?

  14. 14

    如何在Oozie工作流程中传递Hive设置参数

  15. 15

    Cloudera中的Oozie Spark操作未启用Spark历史记录日志

  16. 16

    Cloudera中的Oozie Spark Action未启用Spark历史记录日志

  17. 17

    将CLASSPATH添加到Oozie工作流作业

  18. 18

    运行Oozie工作流的并发性:多少以及如何限制

  19. 19

    如何在Cloudera中的Cassandra中启用节俭?

  20. 20

    如何在Cloudera QuickStart Terminal中编写多行?

  21. 21

    如何在Cloudera QuickStart Terminal中编写多行?

  22. 22

    如何在 Cloudera 中安排/触发 Spark 作业?

  23. 23

    在Oozie工作流中获取当前时间

  24. 24

    在Oozie工作流中获取当前时间

  25. 25

    Oozie Sqoop 工作流刷新表

  26. 26

    如何在OOZIE工作流程中使用逻辑运算符

  27. 27

    如何在Oozie Java操作中运行Hive命令?

  28. 28

    如何在 Cloudera 5.x 上使用 pyspark 从 DataTap 读取数据?

  29. 29

    HDInsight上的Oozie:OozieServerStatus

热门标签

归档