我完全新的使用GNU parallel
,我需要在运行使用以下命令你的建议GNU parallel
:
/home/admin/Gfinal/decoder/decdr.pl --gh --w14b /data/tmp/KRX12/a.bin |
perl /home/admin/decout/decoder/flow.pl >> /data/tmp/decodedgfile/out_1.txt
我将在文件列表(.bin
)上运行此命令,因此使用GNU 达到最佳(最快)方法是什么呢?请parallel
注意,命令(/home/admin/Gfinal/decoder/decdr.pl --gh --w14b
)的第一部分的输出很大(> 2 GB)。
任何帮助,将不胜感激。
这项工作会:
parallel /home/admin/Gfinal/decoder/decdr.pl --gh --w14b {} '|' perl /home/admin/decout/decoder/flow.pl >> /data/tmp/decodedgfile/out_1.txt ::: /data/tmp/KRX12/*.bin
(如果来自的输出flow.pl
超出磁盘I / O的处理能力,请尝试parallel --compress
)。
或许:
parallel /home/admin/Gfinal/decoder/decdr.pl --gh --w14b {} '|' perl /home/admin/decout/decoder/flow.pl '>>' /data/tmp/decodedgfile/out_{#}.txt ::: /data/tmp/KRX12/*.bin
这取决于您要单个输出文件还是每个输入文件一个。
还要花一个小时来学习本教程。您的命令行会为此而爱您。man parallel_tutorial
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句