如何检查文件夹中是否存在重复文件,而不使用glob / listdir / etc。比较文件名?

逻辑分支

我有一个包含多个图像的文件夹,目录结构如下所示:

./images/
./images/1.png
./images/2.png
./images/3.png
./images/4.png
./images/{n}.png

这些图像已通过requestfs模块通过名为的脚本下载和保存update.js

每个文件均以文件夹中项目的长度命名(即IE:长度+ 1)。

update.js脚本将下载(并保存)每个图像,而不管其是否存在。

我可以通过删除images文件夹来解决此问题,但这浪费资源。

防止这种行为的最有效方法是什么?

注意:因为名称是索引,所以我不能使用简单的文件名检查。

谢谢。

约翰·汉弗莱斯-w00te

您可以为每个文件发出HTTP头请求并获取其头。然后,您可以查看目标文件的大小,并在大小完全匹配时避免重新下载它。

尽管不同的文件可能具有相同的大小,但这并不理想。

一些服务器为您提供内容md5,这可能是最好的。除非您的用例非常大,否则md5不太可能在您拥有的任何两个文件之间匹配。

尽管可以通过仅修复脚本来更好地为您服务,因为它可以存储适当的元数据,但是这一切都是很麻烦的:)。您可以将真实文件名和修改后的时间戳记作为另一个文件存储在同级目录中,并确定它不会影响任何内容。然后,您可以在下载之前检查它们。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Pyhton2.7.10:使用os.listdir()打印文件夹中的文件名,但要注意shell

来自分类Dev

如果不使用python创建文件夹,如何检查文件夹是否存在于目录中

来自分类Dev

listdir仅调用CSV文件

来自分类Dev

ListDir 只包含 pdf 文件

来自分类Dev

listdir目录,并查找是否以“ .mp4”结尾的文件名

来自分类Dev

python/os.listdir/读取子文件夹

来自分类Dev

如何将文件名从 os.listdir 放入数组

来自分类Dev

使用 os.listdir 忽略特定文件

来自分类Dev

Python为os.listdir返回的文件名提供FileNotFoundError

来自分类Dev

os.listdir返回带有特殊字符的文件名的奇怪字符串

来自分类Dev

排序os.listdir文件Python

来自分类Dev

listdir()没有这样的文件或目录

来自分类Dev

使用AngularJS如何检查文件夹中是否存在PDF文件?

来自分类Dev

与通配符的文件名比较

来自分类Dev

如何使用 os.listdir 仅选择文件类型?

来自分类Dev

在laravel中创建文件夹之前,如何检查文件夹是否存在?

来自分类Dev

NameError:未定义名称“ os”-打印文件夹中的所有文件时,os.listdir错误

来自分类Dev

NameError:未定义名称“ os”-打印文件夹中的所有文件时,os.listdir错误

来自分类Dev

如何使用DropNet检查DropBox中是否存在文件夹

来自分类Dev

使用os.listdir(),查看对象是文件还是目录

来自分类Dev

检查文件路径中是否存在文件夹

来自分类Dev

检查文件夹中是否存在多个文件

来自分类Dev

检查文件夹中是否存在文件

来自分类Dev

检查项目文件夹中是否存在文件

来自分类Dev

检查文件名和文件夹是否存在拼写错误

来自分类Dev

检查文件夹中的任何文件是否包含模式,然后返回文件名

来自分类Dev

Bash中的文件名比较

来自分类Dev

如何检查文本文件的文件夹中是否有重复的URL

来自分类Dev

如何检查文件夹中是否存在PHP中的某些文件

Related 相关文章

  1. 1

    Pyhton2.7.10:使用os.listdir()打印文件夹中的文件名,但要注意shell

  2. 2

    如果不使用python创建文件夹,如何检查文件夹是否存在于目录中

  3. 3

    listdir仅调用CSV文件

  4. 4

    ListDir 只包含 pdf 文件

  5. 5

    listdir目录,并查找是否以“ .mp4”结尾的文件名

  6. 6

    python/os.listdir/读取子文件夹

  7. 7

    如何将文件名从 os.listdir 放入数组

  8. 8

    使用 os.listdir 忽略特定文件

  9. 9

    Python为os.listdir返回的文件名提供FileNotFoundError

  10. 10

    os.listdir返回带有特殊字符的文件名的奇怪字符串

  11. 11

    排序os.listdir文件Python

  12. 12

    listdir()没有这样的文件或目录

  13. 13

    使用AngularJS如何检查文件夹中是否存在PDF文件?

  14. 14

    与通配符的文件名比较

  15. 15

    如何使用 os.listdir 仅选择文件类型?

  16. 16

    在laravel中创建文件夹之前,如何检查文件夹是否存在?

  17. 17

    NameError:未定义名称“ os”-打印文件夹中的所有文件时,os.listdir错误

  18. 18

    NameError:未定义名称“ os”-打印文件夹中的所有文件时,os.listdir错误

  19. 19

    如何使用DropNet检查DropBox中是否存在文件夹

  20. 20

    使用os.listdir(),查看对象是文件还是目录

  21. 21

    检查文件路径中是否存在文件夹

  22. 22

    检查文件夹中是否存在多个文件

  23. 23

    检查文件夹中是否存在文件

  24. 24

    检查项目文件夹中是否存在文件

  25. 25

    检查文件名和文件夹是否存在拼写错误

  26. 26

    检查文件夹中的任何文件是否包含模式,然后返回文件名

  27. 27

    Bash中的文件名比较

  28. 28

    如何检查文本文件的文件夹中是否有重复的URL

  29. 29

    如何检查文件夹中是否存在PHP中的某些文件

热门标签

归档