不同网络上不同机器上的Python代码并行化

用户100000000000000

我希望在不同网络上的两台计算机之间使用并行化代码来执行一批任务,但是不确定如何在Python中执行此操作。

假设我有两个计算机,分别位于两个不同网络上的计算机A和计算机B,并且我要完成100批任务。天真地,我可以将计算机A和计算机B分别分配给执行50个任务,但是如果计算机A在计算机B之前完成其任务,我希望计算机A承担计算机B的其余任务。两台计算机都应将其任务结果返回到我的本地计算机。如何才能做到这一点?

DUDE_MXP
  • 您需要创建一个可以在不同网络上工作的分布式队列。像Rabbit-MQ
  • 将所有任务放在队列中。
  • 创建一个中央工作人员管理工具,使您可以在计算机A和计算机B上创建和管理工作人员。工作人员将处理您的任务。
  • 您还需要照顾工人的可用性以实现您所说的- if Computer A finishes its tasks before Computer B, I would like Computer A to take on some of Computer B’s remaining tasks

幸运的是,python有一个出色的库“ Celery”,可让您完全实现所需的功能。它是一个文档记录丰富的图书馆,并且拥有庞大的用户和贡献者社区。您只需要设置一个代理(或队列)并配置celery。

您可以根据需要使用Celery中的许多功能-监视/计划作业/ Celery画布等。

https://docs.celeryproject.org/en/stable/getting-started/introduction.html https://medium.com/swlh/python-developers-celery-is-a-must-learn-technology-heres-how开始使用578f5d63fab3

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在不同机器上具有不同输出的并行代码

来自分类Dev

连接在不同机器和不同网络上运行的两个不同的Ubuntu

来自分类Dev

不同机器python代码上的不同输出

来自分类Dev

不同机器上的不同内核版本

来自分类Dev

不同网络上的 SIP

来自分类Dev

不同机器上的DNS和DHCP

来自分类Dev

sklearn与statsmodels和sklearn在不同机器上的结果不同

来自分类Dev

EPPlus AutoFit()在不同机器上的不同列宽

来自分类Dev

Keras > 在不同 Python 版本的不同机器上使用训练模型

来自分类Dev

使用Mercurial:如何记录不同机器上发生的源代码更改

来自分类Dev

由于Java中的线程化,不同机器上的性能/时间问题

来自分类Dev

由于Java中的线程化,不同机器上的性能/时间问题

来自分类Dev

Socket.Poll在不同机器上的延迟差异很大

来自分类Dev

不同机器上的RabbitMQ经纪人

来自分类Dev

不同机器上的C#内存泄漏

来自分类Dev

Socket.Poll在不同机器上的延迟差异很大

来自分类Dev

不同机器上的C#内存泄漏

来自分类Dev

在不同机器上编辑相同文件的建议

来自分类Dev

不同机器上的 strptime 不一致

来自分类Dev

我如何设置可以在不同机器上使用的 Jenkins?

来自分类Dev

在具有相同代码的不同机器上,ProgressBar看起来有所不同

来自分类Dev

不同机器上两个进程之间的Python IPC

来自分类Dev

将SQL Server连接到不同网络上的vs

来自分类Dev

在不同机器上绘制图元文件时的缩放比例不同

来自分类Dev

不同机器和操作系统上的应用程序行为不同

来自分类Dev

单个静态IP后面的不同机器上的多个Web服务器

来自分类Dev

在不同机器上运行的服务器之间转发Thrift服务请求

来自分类Dev

Spring远程分区策略中如何在不同机器上启动slave

来自分类Dev

NS3 EMU可以在WAN中的不同机器上应用吗?

Related 相关文章

  1. 1

    在不同机器上具有不同输出的并行代码

  2. 2

    连接在不同机器和不同网络上运行的两个不同的Ubuntu

  3. 3

    不同机器python代码上的不同输出

  4. 4

    不同机器上的不同内核版本

  5. 5

    不同网络上的 SIP

  6. 6

    不同机器上的DNS和DHCP

  7. 7

    sklearn与statsmodels和sklearn在不同机器上的结果不同

  8. 8

    EPPlus AutoFit()在不同机器上的不同列宽

  9. 9

    Keras > 在不同 Python 版本的不同机器上使用训练模型

  10. 10

    使用Mercurial:如何记录不同机器上发生的源代码更改

  11. 11

    由于Java中的线程化,不同机器上的性能/时间问题

  12. 12

    由于Java中的线程化,不同机器上的性能/时间问题

  13. 13

    Socket.Poll在不同机器上的延迟差异很大

  14. 14

    不同机器上的RabbitMQ经纪人

  15. 15

    不同机器上的C#内存泄漏

  16. 16

    Socket.Poll在不同机器上的延迟差异很大

  17. 17

    不同机器上的C#内存泄漏

  18. 18

    在不同机器上编辑相同文件的建议

  19. 19

    不同机器上的 strptime 不一致

  20. 20

    我如何设置可以在不同机器上使用的 Jenkins?

  21. 21

    在具有相同代码的不同机器上,ProgressBar看起来有所不同

  22. 22

    不同机器上两个进程之间的Python IPC

  23. 23

    将SQL Server连接到不同网络上的vs

  24. 24

    在不同机器上绘制图元文件时的缩放比例不同

  25. 25

    不同机器和操作系统上的应用程序行为不同

  26. 26

    单个静态IP后面的不同机器上的多个Web服务器

  27. 27

    在不同机器上运行的服务器之间转发Thrift服务请求

  28. 28

    Spring远程分区策略中如何在不同机器上启动slave

  29. 29

    NS3 EMU可以在WAN中的不同机器上应用吗?

热门标签

归档