该目录/data/files/
有数千个文件,例如:
1test
2test
3test
[...]
60000test
60001test
我还使用将它们发送到S3存储桶(AWS)AWS CLI
。但是,有时S3存储桶可能处于脱机状态,因此会跳过该文件。
如何检查/data/files/
S3存储桶中是否也存在该文件?如果没有,将丢失的文件复制到S3?
我更愿意使用BASH进行此操作。另外,如果我需要将AWS CLI更改为另一个CLI,也可以。
rclone
正如@derobert所建议的,我能够使用[1]来做到这一点。
该命令非常简单:
rclone check sourcepath remote:s3bucketname
例子:
假设您要检查S3存储桶(存储桶名称:)tmp_data_test_bucket
是否具有该目录具有的所有文件:/tmp/data/
命令:
rclone check /tmp/data/ remote:tmp_data_test_bucket
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句