有很多不同的模块用于python的线程化/并行化。Dispy和pp / ParallelPython似乎特别受欢迎。看起来这些都是为具有多个内核/处理器的单个接口(例如,桌面)设计的。是否有一个模块可以在由队列系统(特别是SLURM)运行的大规模并行体系结构上工作?
用于科学/技术应用的大型计算集群上最常用的并行框架是MPI。Python包的名称是MPI4py,它是SciPy的一部分。
MPI提供了一个高级API,用于使用消息通过网络进行通信来创建并行软件。远程进程创建,数据分散/收集,减少等。所有实现都可以利用快速和低延迟的网络(如果存在)。它与所有集群管理器(包括Slurm)完全集成。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
点击生成二维码
我来说两句