Azureデータブリックスを使用してデータフレームをBLOBに書き込む
Sankeertan samrat
Pythonを使用して（pysparkモジュールを使用せずに）AzureBLOBストレージにデータフレームを書き込むことができるリンクまたはサンプルコードはありますか？
CHEEKATLAPRADEEP-MSFT
以下は、（データフレーム）CSVデータをAzure DatabricksNotebookのAzureBLOBストレージコンテナーに直接書き込むためのコードスニペットです。
# Configure blob storage account access key globally
spark.conf.set(
"fs.azure.account.key.%s.blob.core.windows.net" % storage_name,
sas_key)
output_container_path = "wasbs://%s@%s.blob.core.windows.net" % (output_container_name, storage_name)
output_blob_folder = "%s/wrangled_data_folder" % output_container_path
# write the dataframe as a single file to blob storage
(dataframe
.coalesce(1)
.write
.mode("overwrite")
.option("header", "true")
.format("com.databricks.spark.csv")
.save(output_blob_folder))
# Get the name of the wrangled-data CSV file that was just saved to Azure blob storage (it starts with 'part-')
files = dbutils.fs.ls(output_blob_folder)
output_file = [x for x in files if x.name.startswith("part-")]
# Move the wrangled-data CSV file from a sub-folder (wrangled_data_folder) to the root of the blob container
# While simultaneously changing the file name
dbutils.fs.mv(output_file[0].path, "%s/predict-transform-output.csv" % output_container_path)
例：ノートブック
出力：AzureDatabricksを使用してBLOBストレージに書き込まれたデータフレーム
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
編集
- 前の投稿：バリアントが割り当てられた値と等しくない値を返すのはなぜですか？
- 次の投稿：material-uiの<TextField />コンポーネントをreact-hook-formで使用すると、警告が表示されます
関連記事
Related 関連記事
- 1
Python / pandasを使用してGoogleスプレッドシートにデータフレームを書き込む
- 2
SSHを使用してMYSQLデータベースにPandasデータフレームを書き込む
- 3
to_excel（）を使用してデータフレームのリストをExcelに書き込む
- 4
akkaストリームを使用してデータをチャンクでファイルに書き込む
- 5
RJDBCを使用してTeradataテーブルにデータフレームを書き込む
- 6
Pythonを使用してスノーフレークにデータを書き込む
- 7
データフレームのインデックスをデータフレーム列として書き込む方法
- 8
HTMLデータを含むデータフレームをディスクに書き込む方法は？
- 9
バッファとストリームを使用してデータを書き込む
- 10
インデックスまたはカウンターを使用してデータフレームを書き込む
- 11
Blobオブジェクトを使用して、大きな生のXMLファイルをOracleデータベースに書き込む方法
- 12
Java 8ストリームを使用して.CSVファイルにデータを書き込む
- 13
データフレームのリストをRのCSVに書き込む
- 14
データフレームのリストをRのCSVに書き込む
- 15
Spring Batch：カスタムバッチサイズを使用してデータベーステーブルにリストを書き込む
- 16
RデータフレームをSnowflakeデータベーステーブルに書き込む方法
- 17
インデックス列の値を無視して、既存のExcelシートの下にデータフレームを書き込む方法は？
- 18
複数のスレッドを使用して複数のファイルにデータを書き込む
- 19
partitionBy（）の後の列の名前なしでデータセット/データフレームをHDFSディレクトリに書き込む：Spark 2.1.0
- 20
デコードされたデータマトリックスをデータフレームに書き込む方法
- 21
パンダを使用してExcelシートにデータフレーム行を書き込む
- 22
Rを使用して、データブリックスから紺碧のデータ不足ストアにSparkデータフレームを書き込みます
- 23
Rを使用して複数のデータフレームを.csvファイルに書き込む
- 24
xlsxwriterを使用してデータフレームなしでExcelファイルに書き込む方法
- 25
to_sqlを使用してパンダデータフレームをOracleデータベースに書き込む方法は？
- 26
ストリームを使用してデータを操作してからCSVに書き込む
- 27
データフレームをテーブルに書き込む
- 28
Pythonを使用してリストから複数のExcelファイルにデータフレームを書き込む
- 29
PandasデータフレームをMySQLに書き込む
コメントを追加