我希望在不同网络上的两台计算机之间使用并行化代码来执行一批任务,但是不确定如何在Python中执行此操作。
假设我有两个计算机,分别位于两个不同网络上的计算机A和计算机B,并且我要完成100批任务。天真地,我可以将计算机A和计算机B分别分配给执行50个任务,但是如果计算机A在计算机B之前完成其任务,我希望计算机A承担计算机B的其余任务。两台计算机都应将其任务结果返回到我的本地计算机。如何才能做到这一点?
if Computer A finishes its tasks before Computer B, I would like Computer A to take on some of Computer B’s remaining tasks
幸运的是,python有一个出色的库“ Celery”,可让您完全实现所需的功能。它是一个文档记录丰富的图书馆,并且拥有庞大的用户和贡献者社区。您只需要设置一个代理(或队列)并配置celery。
您可以根据需要使用Celery中的许多功能-监视/计划作业/ Celery画布等。
https://docs.celeryproject.org/en/stable/getting-started/introduction.html https://medium.com/swlh/python-developers-celery-is-a-must-learn-technology-heres-how开始使用578f5d63fab3
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句