并行检查md5文件

我有一个包含很多行的md5sum文件。我想使用GNU parallel来加速md5sum检查过程。在md5sum中,当没有文件输入时,它将从stdin中获取md5字符串。我尝试了这个:

cat checksums.md5 | parallel md5sum -c {}

但是得到这个错误:

md5sum 445350b414a8031d9dd6b1e68a6f2367 testing.gz: No such file or directory

如何并行进行md5sum检查?

奥莱·丹吉(Ole Tange)

假设checksums.md5具有以下格式:

d41d8cd98f00b204e9800998ecf8427e  My file name

跑:

cat checksums.md5 | parallel --pipe -N1 md5sum -c

如果文件很小:-N100

如果那不能加快处理速度,请确保磁盘足够快:md5sum可以处理500 MB / s。iostat -dkx 1可以告诉您磁盘是否是瓶颈。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Windows批处理比较md5sum与md5文件内容

来自分类Dev

加快文件阵列的MD5检查

来自分类Dev

从HDF5文件中的数据集中读取数据类型并进行检测

来自分类Dev

忽略md5文件

来自分类Dev

在同一文件上进行并行模拟

来自分类Dev

使用javascript的文件的MD5哈希

来自分类Dev

当文件来自system32文件夹时,文件的哈希值MD5和SHA256会有所不同。为什么?

来自分类Dev

md5sum -c不适用于Apache的MD5文件格式

来自分类Dev

为什么同一文件的两个tarball的md5哈希值不同?

来自分类Dev

有没有一种优雅的方法可以使用从服务器获取的md5文件来检查md5中的文件完整性?

来自分类Dev

如何处理.tar.md5文件

来自分类Dev

每个文件创建独立的MD5文件递归

来自分类Dev

R中的MD5文件哈希函数返回不同的值?

来自分类Dev

验证文件的md5

来自分类Dev

有没有一种方法可以在md5文件中添加注释?

来自分类Dev

为什么C#和Java应用程序为同一文件计算不同的MD5值?

来自分类Dev

为目录中的每个.fastq文件生成一个单独的.md5文件?

来自分类Dev

加快文件阵列的MD5检查

来自分类Dev

MD5是否检查文件夹中的重复文件?

来自分类Dev

同一目录中同一文件的不同MD5Sum

来自分类Dev

如何对不包含文件名的md5文件使用md5sum进行校验和

来自分类Dev

加入文件后,完整性检查(MD5总数)失败

来自分类Dev

当文件来自system32文件夹时,文件的哈希值MD5和SHA256会有所不同。为什么?

来自分类Dev

Bash获取在线文件的MD5

来自分类Dev

查找基于MD5的文件并删除

来自分类Dev

我需要md5文件目录的文件名

来自分类Dev

从文件中删除出现在另一个MD5文件中的行

来自分类Dev

CMake检查哈希(MD5 / SHA256)下载的文件

来自分类Dev

Bash - 比 md5 更快的检查文件更改的方法?

Related 相关文章

  1. 1

    Windows批处理比较md5sum与md5文件内容

  2. 2

    加快文件阵列的MD5检查

  3. 3

    从HDF5文件中的数据集中读取数据类型并进行检测

  4. 4

    忽略md5文件

  5. 5

    在同一文件上进行并行模拟

  6. 6

    使用javascript的文件的MD5哈希

  7. 7

    当文件来自system32文件夹时,文件的哈希值MD5和SHA256会有所不同。为什么?

  8. 8

    md5sum -c不适用于Apache的MD5文件格式

  9. 9

    为什么同一文件的两个tarball的md5哈希值不同?

  10. 10

    有没有一种优雅的方法可以使用从服务器获取的md5文件来检查md5中的文件完整性?

  11. 11

    如何处理.tar.md5文件

  12. 12

    每个文件创建独立的MD5文件递归

  13. 13

    R中的MD5文件哈希函数返回不同的值?

  14. 14

    验证文件的md5

  15. 15

    有没有一种方法可以在md5文件中添加注释?

  16. 16

    为什么C#和Java应用程序为同一文件计算不同的MD5值?

  17. 17

    为目录中的每个.fastq文件生成一个单独的.md5文件?

  18. 18

    加快文件阵列的MD5检查

  19. 19

    MD5是否检查文件夹中的重复文件?

  20. 20

    同一目录中同一文件的不同MD5Sum

  21. 21

    如何对不包含文件名的md5文件使用md5sum进行校验和

  22. 22

    加入文件后,完整性检查(MD5总数)失败

  23. 23

    当文件来自system32文件夹时,文件的哈希值MD5和SHA256会有所不同。为什么?

  24. 24

    Bash获取在线文件的MD5

  25. 25

    查找基于MD5的文件并删除

  26. 26

    我需要md5文件目录的文件名

  27. 27

    从文件中删除出现在另一个MD5文件中的行

  28. 28

    CMake检查哈希(MD5 / SHA256)下载的文件

  29. 29

    Bash - 比 md5 更快的检查文件更改的方法?

热门标签

归档