我的一项自动化工作有问题。在启动云数据流作业之前,我对以前的文件执行了gsutil rm,但似乎并不能删除所有内容,因为在启动另一个数据流作业时,会保留一些较旧的碎片。
我试过了 :
gsutil -m rm gs://mybucket/blahblah/*
和
gsutil rm -r gs://mybucket/blablah
但结果相同
奇怪的是没有删除的文件也不是第一个也不是最后一个。我坚信这是我的第二项工作错误,但事实是我在日志中看到确实没有删除bu gsutil文件。
是否有太多文件要删除?gsutil rm可靠性是否存在已知问题?
我使用的是Google Cloud SDK的0.9.80版
谢谢
您使用的gsutil rm命令取决于列出存储桶中的对象,这是Google Cloud Storage中最终一致的操作。因此,有可能在写入对象后不久在存储桶中尝试这些命令将不会删除所有对象。如果稍后再试,它将成功。
避免此问题的一种方法是跟踪上载的对象的名称,并在gsutil rm命令中明确列出这些对象。例如,如果将对象列表保留在文件objects.manifest中,则可以在Linux或MacOS上运行以下命令:
xargs gsutil -m rm < objects.manifest
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句