在HPC作业中提交HPC作业

debugcn 发表于 Dev

mf94

我有一个依赖输入参数（带有getopts）的大脚本。这些参数之一是一个包含文件的目录（均名为* bam）。此脚本分为两部分：

第1部分：根据输入的* bam文件，计算一个特定的数字。需要明确的是，结果是一个数字，而不是每个文件一个数字。
第2部分：使用第1部分中找到的数字，对每个* bam文件执行一系列操作。

现在，从计算上来说，part1最初非常快。所以我的设置是：

在终端上运行脚本：bash script.sh
在第2部分的script.sh中，为每个文件提交HPC作业提交

但是，由于现在我需要分析的文件比最初计划的要多得多，所以我意识到Part1的计算量也很大-因此，我也需要在HPC上运行它。

所以我的问题是：

是否可以提交在其中提交作业的HPC作业？
换句话说，我可以将script.sh提交为工作，并且仍然可以在其part2中提交工作吗？

要清楚，这是我的脚本的示例：

#!/usr/bin/bash

# PART 0: accept all input arguments

USAGE() { echo "Usage: bash $0 [-b <in-bam-files-dir>] [-o <out-dir>] [-c <chromlen>]" 1>&2; exit 1; }

if (($# == 0)); then
        USAGE
fi

# Use getopts to accept each argument

while getopts ":b:o:c:h" opt
do
    case $opt in
       b ) BAMFILES=$OPTARG
        ;;
       o ) OUTDIR=$OPTARG
        ;;
       c ) CHROMLEN=$OPTARG
        ;;
       h ) USAGE
        ;;
       \? ) echo "Invalid option: -$OPTARG exiting" >&2
        exit
        ;;
       : ) echo "Option -$OPTARG requires an argument" >&2
        exit
        ;;
        esac
    done

# PART1: calculate this unique number

NUMBER=0    

for i in  $(ls $BAMFILES/*.bam)
do
  make some calculations on each file to obtain a number ...
  keep only the smallest found number and assign its value to $NUMBER
done

echo "Final number is ${NUMBER} "

# PART2: Using $NUMBER that we found above, submit a job for each *bam file

for i in $(ls $BAMFILES/*bam)
do

    if [ ! -f ${OUTDIR}/${SAMPLE}.bw ];
    then 
        command=" command -options -b $NUMBER $i"

    echo $command | qsub -V -cwd -o $OUTDIR -e $OUTDIR -l tmem=6G -l h_vmem=6G -l h_rt=3600 -N result_${SAMPLE}

    fi

done