在队列集群上使用Python进行并行计算

双锂矩阵

很多不同的模块用于python的线程化/并行化。Dispypp / ParallelPython似乎特别受欢迎。看起来这些都是为具有多个内核/处理器的单个接口(例如,桌面)设计的。是否有一个模块可以在由队列系统(特别是SLURM运行的大规模并行体系结构上工作

达米安弗朗索瓦

用于科学/技术应用的大型计算集群上最常用的并行框架是MPIPython包的名称是MPI4py,它是SciPy的一部分

MPI提供了一个高级API,用于使用消息通过网络进行通信来创建并行软件。远程进程创建,数据分散/收集,减少等。所有实现都可以利用快速和低延迟的网络(如果存在)。它与所有集群管理器(包括Slurm)完全集成

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用Matlab进行并行计算

来自分类Dev

使用Scilab或Octave进行并行计算

来自分类Dev

如何使用C#进行并行计算

来自分类Dev

可能进行优化或使用并行计算

来自分类Dev

如何使用Rayon进行PI的并行计算

来自分类Dev

使用Dask和Xarray进行并行计算

来自分类Dev

在 C++ 中使用线程进行并行计算

来自分类Dev

XGBoost如何进行并行计算?

来自分类Dev

使用openmp并行计算循环

来自分类Dev

使用位操作并行计算模数

来自分类Dev

使用openmp并行计算循环

来自分类Dev

使用 foreach 函数并行计算

来自分类Dev

并行计算开销

来自分类Dev

并行计算

来自分类Dev

并行计算

来自分类Dev

并行计算方差

来自分类Dev

为什么使用降雪进行并行计算时不平衡负载?

来自分类Dev

如何在分区数组上运行并行计算线程?

来自分类常见问题

如何在Vulkan中的多个计算队列之间执行并行计算着色器?

来自分类Dev

如何在Vulkan中跨多个计算队列执行并行计算着色器?

来自分类Dev

如何在R并行计算中使用Reduce()函数?

来自分类Dev

R中的并行计算:如何使用内核

来自分类Dev

使用Monte Carlo方法并行计算Pi

来自分类Dev

如何在R并行计算中使用Reduce()函数?

来自分类Dev

使用 Open-MP 的多核并行计算。

来自分类Dev

BigInteger阶乘的并行计算

来自分类Dev

并行计算多个值

来自分类Dev

Julia中的并行计算

来自分类Dev

并行计算。NET 4.0