如何在Databricks中使用Shutil压缩文件(在Azure Blob存储上)

抗菌肽

我训练有素的深度学习模型存在于一个文件夹中的几个文件中。因此,这与压缩数据帧无关。

我要压缩此文件夹(在Azure Blob存储中)。但是当我使用shutil时,这似乎不起作用:

import shutil
modelPath = "/dbfs/mnt/databricks/Models/predictBaseTerm/noNormalizationCode/2020-01-10-13-43/9_0.8147903598547376"
zipPath= "/mnt/databricks/Deploy/" (no /dbfs here or it will error)
shutil.make_archive(base_dir= modelPath, format='zip', base_name=zipPath)

有人知道如何执行此操作并将文件获取到Azure Blob存储(我从那里读取文件)吗?

抗菌肽

最后,我自己弄清楚了。

无法使用Shutil直接写入dbfs(Azure Blob存储)。

您需要首先将文件放在这样的数据块的本地驱动程序节点上(在无法直接写入Blob存储的文档中读取该文件):

import shutil
modelPath = "/dbfs/mnt/databricks/Models/predictBaseTerm/noNormalizationCode/2020-01-10-13-43/9_0.8147903598547376"
zipPath= "/tmp/model"
shutil.make_archive(base_dir= modelPath, format='zip', base_name=zipPath)

然后可以将文件从本地驱动程序节点复制到Blob存储。请注意“文件:”以从本地存储中获取文件!

blobStoragePath = "dbfs:/mnt/databricks/Models"
dbutils.fs.cp("file:" +zipPath + ".zip", blobStoragePath)

我为此花了几个小时,如果这个答案对您有帮助,请投票!

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Windows Azure存储Blob使用Express压缩文件

来自分类Dev

Azure存储块Blob上的小文件

来自分类Dev

如何压缩文件以压缩并上传到Azure Blob存储?

来自分类Dev

阅读Azure存储上的Blob内容

来自分类Dev

在Azure Blob存储的多个CSV Blob上创建Hive表

来自分类Dev

在Azure Blob存储上上传大文件时,“流太长”

来自分类Dev

如何连接到Windows 8.1上的Azure blob存储?

来自分类Dev

如何连接到Windows 8.1上的Azure blob存储?

来自分类Dev

如何在 Azure Blob 存储上下载名称上带有空格的文件?

来自分类Dev

使用Azure Databricks上的本地范围表优化Blob存储Deltalake

来自分类Dev

在MySQL上存储CSV文件的最佳方法-Blob还是文本?

来自分类Dev

如何在python中使用shutil.make_archive压缩文件?

来自分类Dev

使用Azure函数C#将JSON存储在Blob存储上

来自分类Dev

如何使用Azure.Storage.Blobs程序集在Azure Blob存储操作上设置重试策略?

来自分类Dev

Azure存储:以编程方式在存储帐户上启用Blob版本控制

来自分类Dev

如何在不压缩文件的情况下将文件存储在归档文件中?

来自分类Dev

如何使用 ADF 压缩存储上的文件

来自分类Dev

如何使用Node.js在Azure Blob存储上设置ContentType

来自分类Dev

如何使用Node.js在Azure Blob存储上设置ContentType

来自分类Dev

如何在CloudBlobContainer.ListBlobs()中使用prefix参数从Azure Blob存储中的虚拟文件夹获取文件

来自分类Dev

Azure Blob存储授权

来自分类Dev

Azure存储:Blob与表

来自分类Dev

Azure Blob 存储

来自分类Dev

使用ASP.NET在Windows Azure Blob存储上设置CORS

来自分类Dev

在Azure Blob存储上使用静态网站选项托管SPA(干净的URL和深层链接)

来自分类Dev

Azure 上的 Hadoop,我可以为 I/O 使用不同的 Blob 存储容器吗?

来自分类Dev

使用dask有效读取blob存储上的拼花文件中的某些列

来自分类Dev

使用python上传和检索Blob存储上的图像文件的确起作用

来自分类Dev

上传存储在Azure Blob存储中的文件

Related 相关文章

  1. 1

    Windows Azure存储Blob使用Express压缩文件

  2. 2

    Azure存储块Blob上的小文件

  3. 3

    如何压缩文件以压缩并上传到Azure Blob存储?

  4. 4

    阅读Azure存储上的Blob内容

  5. 5

    在Azure Blob存储的多个CSV Blob上创建Hive表

  6. 6

    在Azure Blob存储上上传大文件时,“流太长”

  7. 7

    如何连接到Windows 8.1上的Azure blob存储?

  8. 8

    如何连接到Windows 8.1上的Azure blob存储?

  9. 9

    如何在 Azure Blob 存储上下载名称上带有空格的文件?

  10. 10

    使用Azure Databricks上的本地范围表优化Blob存储Deltalake

  11. 11

    在MySQL上存储CSV文件的最佳方法-Blob还是文本?

  12. 12

    如何在python中使用shutil.make_archive压缩文件?

  13. 13

    使用Azure函数C#将JSON存储在Blob存储上

  14. 14

    如何使用Azure.Storage.Blobs程序集在Azure Blob存储操作上设置重试策略?

  15. 15

    Azure存储:以编程方式在存储帐户上启用Blob版本控制

  16. 16

    如何在不压缩文件的情况下将文件存储在归档文件中?

  17. 17

    如何使用 ADF 压缩存储上的文件

  18. 18

    如何使用Node.js在Azure Blob存储上设置ContentType

  19. 19

    如何使用Node.js在Azure Blob存储上设置ContentType

  20. 20

    如何在CloudBlobContainer.ListBlobs()中使用prefix参数从Azure Blob存储中的虚拟文件夹获取文件

  21. 21

    Azure Blob存储授权

  22. 22

    Azure存储:Blob与表

  23. 23

    Azure Blob 存储

  24. 24

    使用ASP.NET在Windows Azure Blob存储上设置CORS

  25. 25

    在Azure Blob存储上使用静态网站选项托管SPA(干净的URL和深层链接)

  26. 26

    Azure 上的 Hadoop,我可以为 I/O 使用不同的 Blob 存储容器吗?

  27. 27

    使用dask有效读取blob存储上的拼花文件中的某些列

  28. 28

    使用python上传和检索Blob存储上的图像文件的确起作用

  29. 29

    上传存储在Azure Blob存储中的文件

热门标签

归档