Sparkインスタンスがあり、既存のNetezzaデータウェアハウスアプライアンスに接続してデータを取得しようとしています。
SparkSQLを使用しSQLContext、Spark SQLプログラミングガイドによると、これはこのreadメソッドで実現できます。ドキュメントのようにでは--jarsなく、フラグを使用してJDBCドライバーを提供する必要があると判断しましたSPARK_CLASSPATH。操作は次のようになります
// pyspark
df = sqlContext.read.format('jdbc').options( ... ).load()
// spark-shell
val df = sqlContext.read.format("jdbc").options( ... ).load()
JDBCを使用したNetezzaへの接続に関するドキュメントはいくつかありますが、ユーザー名とパスワードを正しく渡す方法はありません。ここで渡す必要のある「オプション」とは何ですか？
に pyspark
df = sqlContext.read.format('jdbc').options(url='jdbc:netezza://server1:5480/DATABASE', \
user='KIRK', password='****', dbtable='SCHEMA.MYTABLE', \
driver='org.netezza.Driver').load()
とで spark-shell
val df = sqlContext.read.format("jdbc").options(Map(
"url" -> "jdbc:netezza://server1:5480/DATABASE",
"user" -> "KIRK",
"password" -> "****",
"dbtable" -> "SCHEMA.MYTABLE",
"driver" -> "org.netezza.Driver")).load()
Netezzaはすべて大文字のものが好きであることに注意してください。これが必要かどうかはわかりませんが、害はありません。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加