如何从Blob存储区下载文件

debugcn 发表于 Dev

灰

我的Blob存储中有一个CSV文件。我要下载文件。奇怪的是，我实际上看不到文件。CSV文件是由Python作业创建的，并转换为Scala数据框。

当我运行以下两行代码时：

# convert python df to spark df and export the spark df
spark_df = spark.createDataFrame(df)
## Write Frame out as Table
spark_df.write.csv("dbfs:/rawdata/corp/AAA.csv")

我收到此错误：

org.apache.spark.sql.AnalysisException: path dbfs:/rawdata/corp/AAA.csv already exists.;

奇怪的是，当我使用Azure Storage Explorer时看不到文件。显然该文件存在，即使我看不到它。如何下载此CSV文件？如果有人可以提出更好的选择，我想最好使用Databricks或其他一些方法。

谢谢。

CHEEKATLAPRADEEP-MSFT

注意：使用GUI，您可以下载完整结果（最多100万行）。

要下载完整结果（超过100万个），请先将文件保存到dbfs，然后使用Databricks cli将文件复制到本地计算机，如下所示。

dbfs cp“ dbfs：/FileStore/tables/AA.csv”“ A：\ AzureAnalytics”

参考： Databricks文件系统

DBFS命令行界面（CLI）使用DBFS API向DBFS公开了易于使用的命令行界面。使用此客户端，您可以使用与Unix命令行上使用的命令类似的命令与DBFS进行交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考： 安装和配置Azure Databricks CLI

希望这可以帮助。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。