我正在学习如何使用超级计算机来充分利用资源。假设我有一个python脚本,它将使用给定的随机数创建一个文本文件。
# Imports
import random,os
outdir = 'outputs'
if not os.path.exists(outdir):
os.makedirs(outdir)
with open (outdir+'/temp.txt','w') as f :
a = random.randint(0,9)
f.write(str(a))
这将在本地计算机上仅创建一个文本文件。
有什么办法可以使用该程序的多个实例,使用多个节点并获得多个输出?
我在C程序中得到了一个用于mpiexec的模板,看起来像这样,但是我找不到用于python程序的任何模板。
#PBS -N my_job
#PBS -l walltime=0:10:00
#PBS -l nodes=4:ppn=12
#PBS -j oe
cd $PBS_O_WORKDIR
mpicc -O2 mpi-hello.c -o mpi-hello
cp $PBS_O_WORKDIR/* $PFSDIR
cd $PFSDIR
mpiexec ./mpi-hello
cp $PFSDIR/* $PBS_O_WORKDIR
注意:在使用多个内核的单个节点上,我可以编写一个bash脚本,如下所示:
for i in `seq 1 10`;
do
python myfile.py && cp temp.txt outputs/out$i.txt &
done
但是我想利用不同的节点。
必需的输出: outputs / out1.txt,out2.txt,out3.txt等
一些相关的链接如下:
https : //www.osc.edu/sites/osc.edu/files/documentation/Batch%20Training%20-%2020150312%20-%20OSC.pdf
https://www.osc.edu /〜kmanalo /多线程提交
看看这个链接,它可能会解决您的问题
http://materials.jeremybejarano.com/MPIwithPython/introMPI.html
因此您的代码可能类似于:
from mpi4py import MPI
import random,os
outdir = 'outputs'
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
if not os.path.exists(outdir):
os.makedirs(outdir)
with open (outdir+'/temp%s.txt' % rank,'w') as f :
a = random.randint(0,9)
f.write(str(a))
和pbs文件:
#!/bin/bash
################################################################################
#PBS -N myfile.py
#PBS -l nodes=7:ppn=4
#PBS -l walltime=30:30:00:00
#PBS -m bea
##PBS -M [email protected]
###############################################################################
cores=$(awk 'END {print NR}' $PBS_NODEFILE)
mpirun -np $cores python myfile.py
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句