Spark Dataset 2.0は2つの関数createOrReplaceTempViewとを提供しますcreateGlobalTempView。両方の機能の基本的な違いを理解できません。
APIドキュメントによると：
createOrReplaceTempView：この一時ビューの存続期間は、このデータセットの作成に使用された[[SparkSession]]に関連付けられています。
なので、呼び出すsparkSession.close()と定義済みが破壊されます。それは本当ですか？
createGlobalTempView：この一時ビューの存続期間は、このSparkアプリケーションに関連付けられています。
このタイプのビューはいつ破棄されますか？任意の例。sparkSession.close（）のように？
df.createOrReplaceTempView("tempViewName")
df.createGlobalTempView("tempViewName")
createOrReplaceTempView()ローカルの一時ビューを作成またはこのデータフレームdfで置き換えます。このビューの存続期間はSparkSessionクラスに依存しています。このビューを削除しますか？
spark.catalog.dropTempView("tempViewName")
またはstop()セッションをシャットダウンします
self.ss = SparkSession(sc)
...
self.ss.stop()
createGlobalTempView()このデータフレームdfでグローバル一時ビューを作成します。このビューの有効期間は、スパークアプリケーション自体に依存します。ドロップしたい場合：
spark.catalog.dropGlobalTempView("tempViewName")
またはstop()シャットダウンします
ss = SparkContext(conf=conf, ......)
...
ss.stop()
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加