之前,我在LSF集群上使用了snakemake,一切正常。但是,最近我迁移到SGE群集,当我尝试使用多个通配符运行作业时,遇到一个非常奇怪的错误。
当我尝试根据此规则提交工作时
rule download_reads :
threads : 1
output : "data/{sp}/raw_reads/{accesion}_1.fastq.gz"
shell : "scripts/download_reads.sh {wildcards.sp} {wildcards.accesion} data/{wildcards.sp}/raw_reads/{wildcards.accesion}"
我收到以下错误(snakemake_clust.sh
详情如下)
./snakemake_clust.sh data/Ecol1/raw_reads/SRA123456_1.fastq.gz
Building DAG of jobs...
Using shell: /bin/bash
Provided cluster nodes: 10
Job counts:
count jobs
1 download_reads
1
[Thu Jul 30 12:08:57 2020]
rule download_reads:
output: data/Ecol1/raw_reads/SRA123456_1.fastq.gz
jobid: 0
wildcards: sp=Ecol1, accesion=SRA123456
scripts/download_reads.sh Ecol1 SRA123456 data/Ecol1/raw_reads/SRA123456
Unable to run job: ERROR! two files are specified for the same host
ERROR! two files are specified for the same host
Exiting.
Error submitting jobscript (exit code 1):
Shutting down, this might take some time.
当我用sp
常量替换通配符时,它可以按预期工作:
rule download_reads :
threads : 1
output : "data/Ecol1/raw_reads/{accesion}_1.fastq.gz"
shell : "scripts/download_reads.sh Ecol1 {wildcards.accesion} data/Ecol1/raw_reads/{wildcards.accesion}"
即我明白
Submitted job 1 with external jobid 'Your job 50731 ("download_reads") has been submitted'.
我不知道为什么会有这个问题,我确定我之前在基于LSF的群集上使用了完全相同的规则,没有任何问题。
snakemake提交脚本如下所示
#!/usr/bin/env bash
mkdir -p logs
snakemake $@ -p --jobs 10 --latency-wait 120 --cluster "qsub \
-N {rule} \
-pe smp64 \
{threads} \
-cwd \
-b y \
-o \"logs/{rule}.{wildcards}.out\" \
-e \"logs/{rule}.{wildcards}.err\""
-b y
使命令按原样执行,-cwd
将计算节点上的工作目录更改为提交作业的工作目录。我希望其他标志/规格清楚。
另外,我知道--drmaa
标志,但是我认为群集配置不正确。--cluster
到现在为止是一个更强大的解决方案。
-编辑1-
当我在本地执行完全相同的snakefile(在fronend上,不带--cluster
标志)时,脚本将按预期执行。这似乎是snakemake和调度程序交互的问题。
-o \"logs/{rule}.{wildcards}.out\" \
-e \"logs/{rule}.{wildcards}.err\""
这是一个随机的猜测...在将多个通配符替换成之前,它们是由空格连接的logs/{rule}.{wildcards}.err
。因此,尽管您使用双引号,但SGE会将结果字符串视为两个文件,并引发错误。如果改为使用单引号怎么办?喜欢:
-o 'logs/{rule}.{wildcards}.out' \
-e 'logs/{rule}.{wildcards}.err'
或者,您可以在规则中连接通配符,然后在命令行上使用结果。例如:
rule one:
params:
wc= lambda wc: '_'.join(wc)
output: ...
然后使用:
-o 'logs/{rule}.{params.wc}.out' \
-e 'logs/{rule}.{params.wc}.err'
(第二个解决方案,如果可行,虽然有点烂)
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句