检查S3存储桶中是否存在文件

帕特里克·B。

该目录/data/files/有数千个文件,例如:

1test
2test
3test

[...]

60000test
60001test

我还使用将它们发送到S3存储桶(AWS)AWS CLI但是,有时S3存储桶可能处于脱机状态,因此会跳过该文件。

如何检查/data/files/S3存储桶是否也存在该文件如果没有,将丢失的文件复制到S3?

我更愿意使用BASH进行此操作。另外,如果我需要将AWS CLI更改为另一个CLI,也可以。

帕特里克·B。

rclone正如@derobert所建议的,我能够使用[1]来做到这一点

该命令非常简单:

rclone check sourcepath remote:s3bucketname

例子:

假设您要检查S3存储桶(存储桶名称:)tmp_data_test_bucket是否具有该目录具有的所有文件:/tmp/data/

命令:

rclone check /tmp/data/ remote:tmp_data_test_bucket

[1] http://rclone.org/

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何检查AWS S3存储桶是否存在?

来自分类Dev

如何检查AWS S3中是否已存在存储桶

来自分类Dev

检查 AWS S3 存储桶中的文件数

来自分类Dev

以编程方式确定S3存储桶中是否存在文件前缀

来自分类Dev

无法使用Gaufrette和Symfony2检查Amazon s3存储桶是否存在

来自分类Dev

使用Amplify检查文件在AWS S3存储中是否存在

来自分类Dev

检查S3中是否存在“文件夹”

来自分类Dev

python中检查同一个存储桶中是否存在多个s3键的最有效方法是什么?

来自分类Dev

如何使用AWS iOS SDK v2检查Amazon S3存储桶上密钥/文件的存在?

来自分类Dev

压缩S3存储桶中的数十亿文件

来自分类Dev

从S3存储桶中获取文件的特定版本

来自分类Dev

Django检索S3存储桶中的文件列表

来自分类Dev

如何从S3存储桶中复制文件

来自分类Dev

压缩S3存储桶中的数十亿文件

来自分类Dev

无法替换Amazon S3存储桶中的文件

来自分类Dev

Django检索S3存储桶中的文件列表

来自分类Dev

Amazon S3在版本存储桶中管理文件

来自分类Dev

从 s3 存储桶中删除文件

来自分类Dev

如何在使用出站网关上传文件之前检查 aws s3 存储桶是否可用

来自分类Dev

如何检查我的EC2是否可以访问同一帐户中的s3存储桶?

来自分类Dev

如何轻松确定Boto 3 S3存储桶资源是否存在?

来自分类Dev

是否可以使用Python遍历Amazon S3存储桶并计算其文件/密钥中的行数?

来自分类Dev

是否可以使用Python遍历Amazon S3存储桶并计算其文件/密钥中的行数?

来自分类Dev

如何为存储桶中不存在的密钥提供S3存储桶返回404(而不是403)/

来自分类Dev

将文件列表从 S3 存储桶复制到 S3 存储桶

来自分类Dev

getObjectSummaries是否会获取存储在S3存储桶中的对象数?

来自分类Dev

getObjectSummaries是否将获取存储在S3存储桶中的对象计数?

来自分类Dev

如何使用python检查GCS中是否存在存储桶

来自分类Dev

亚马逊s3,将文件上传到存储桶中的文件夹中

Related 相关文章

  1. 1

    如何检查AWS S3存储桶是否存在?

  2. 2

    如何检查AWS S3中是否已存在存储桶

  3. 3

    检查 AWS S3 存储桶中的文件数

  4. 4

    以编程方式确定S3存储桶中是否存在文件前缀

  5. 5

    无法使用Gaufrette和Symfony2检查Amazon s3存储桶是否存在

  6. 6

    使用Amplify检查文件在AWS S3存储中是否存在

  7. 7

    检查S3中是否存在“文件夹”

  8. 8

    python中检查同一个存储桶中是否存在多个s3键的最有效方法是什么?

  9. 9

    如何使用AWS iOS SDK v2检查Amazon S3存储桶上密钥/文件的存在?

  10. 10

    压缩S3存储桶中的数十亿文件

  11. 11

    从S3存储桶中获取文件的特定版本

  12. 12

    Django检索S3存储桶中的文件列表

  13. 13

    如何从S3存储桶中复制文件

  14. 14

    压缩S3存储桶中的数十亿文件

  15. 15

    无法替换Amazon S3存储桶中的文件

  16. 16

    Django检索S3存储桶中的文件列表

  17. 17

    Amazon S3在版本存储桶中管理文件

  18. 18

    从 s3 存储桶中删除文件

  19. 19

    如何在使用出站网关上传文件之前检查 aws s3 存储桶是否可用

  20. 20

    如何检查我的EC2是否可以访问同一帐户中的s3存储桶?

  21. 21

    如何轻松确定Boto 3 S3存储桶资源是否存在?

  22. 22

    是否可以使用Python遍历Amazon S3存储桶并计算其文件/密钥中的行数?

  23. 23

    是否可以使用Python遍历Amazon S3存储桶并计算其文件/密钥中的行数?

  24. 24

    如何为存储桶中不存在的密钥提供S3存储桶返回404(而不是403)/

  25. 25

    将文件列表从 S3 存储桶复制到 S3 存储桶

  26. 26

    getObjectSummaries是否会获取存储在S3存储桶中的对象数?

  27. 27

    getObjectSummaries是否将获取存储在S3存储桶中的对象计数?

  28. 28

    如何使用python检查GCS中是否存在存储桶

  29. 29

    亚马逊s3,将文件上传到存储桶中的文件夹中

热门标签

归档