我有一些使用Java的第三方数据库客户端库。我想通过访问它们
java_gateway.py
例如:通过Java网关使客户端类(不是jdbc驱动程序!)可用于python客户端:
java_import(gateway.jvm, "org.mydatabase.MyDBClient")
目前尚不清楚将第三方库添加到jvm类路径的位置。我试图添加到compute-classpath.sh,但这似乎并没有奏效:我明白了
Py4jError: Trying to call a package
另外,与Hive进行比较时:Hive jar文件不会通过compute-classpath.sh加载,这使我感到怀疑。似乎在建立jvm端类路径的其他机制正在发生。
您可以将外部jar添加为pyspark的参数
pyspark --jars file1.jar,file2.jar
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句