AWS多个SQS队列和工作人员最佳设计

用户1459144

我要使用AWS Stack实现以下任务:

定期触发一项作业,并将消息放入队列(SQS)。工作人员接收到此任务,并基于此任务创建了其他任务(大约1-10 K任务)。所有这些任务也被放入另一个队列,并且还有其他工作人员来处理这些任务。
可以用以下方式显示这些流:

定期任务-> SQS-> woker_1(创建更多任务)-> SQS-> worker_2

根据项目惯例和官僚机构,将需要一些时间来为worker_1创建两个单独的服务,以侦听定期任务并创建细粒度的任务,而为worker_2创建仅用于处理特定任务,制作docker映像,CI作业等并进行部署的服务。它。因此,这是一个折衷方案:
1.花更多的时间并创建两个单独的服务。另一方面,这些服务可能真的很简单。甚至还有疑问要有两个单独的项目。2.将其作为一项服务,将消息放入同一队列,并且还将侦听同一队列上的消息,并为以下角色工作:worker_1和worker_2。

任何建议或想法表示赞赏!

詹姆士

我认为对此不可能有一个“正确”的答案,您已经对这两种选择都有优缺点列表。我想到的一些其他事项:

  • SQS队列实际上并不允许您选择特定类型的消息,您几乎需要先入先出。因此,如果您共享队列,则可能无法控制邮件的优先级。
  • 为了使两个服务交互,它们需要共享的消息定义。共享相同的代码库将使开发和测试消息传递代码更加容易。当然,它也可以是共享库。
  • 在同一服务器/应用程序中部署这两种工作程序类型将共享资源,这在低端可能更经济,或者在大规模使用时可能会造成混乱。
  • 如果所有代码都位于同一服务器和队列上,或者从不同队列读取的单独服务器上,则有可能将所有代码开发到同一应用程序中,并由部署时间决定。这对我来说似乎很理想。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

多个Spring Integration作为工作人员流动以从多个SQS队列中使用

来自分类Dev

AWS将两个SQS队列发送给一名工作人员

来自分类Dev

如何根据队列长度扩展工作人员角色

来自分类Dev

排除工作人员

来自分类Dev

Heroku:如何扩展到多个工作人员

来自分类Dev

AWS EKS 工作人员从不向 ELB 注册

来自分类Dev

使用bash和ssh的远程任务队列可用于可变数量的实时工作人员

来自分类Dev

为每天1000万以上的工作队列扩展工作人员

来自分类Dev

后台工作人员冻结WPF

来自分类Dev

DynamicSupervisors的工作人员名称

来自分类Dev

后台工作人员中的ShowDialog

来自分类Dev

停止后台工作人员

来自分类Dev

暂停工作人员从队列中获取消息

来自分类Dev

Kubernetes针对Redis队列工作人员的活跃度调查

来自分类Dev

在多个不同的工作人员之间共享排队的工作负载

来自分类Dev

我可以在工作人员内部获取我的sidekiq工作人员的ID吗?

来自分类Dev

由工作人员引起的Heroku Web工作人员超时

来自分类Dev

从专门的工作人员访问共享工作人员

来自分类Dev

如何避免在Luigi中同时由多个工作人员运行特定任务

来自分类Dev

朱莉娅:如何让多个工作人员访问模块中的功能?

来自分类Dev

朱莉娅(Julia):如何让多个工作人员访问模块中的“包括(...)”功能?

来自分类Dev

Swift命令行工具中的多个工作人员

来自分类Dev

OpenCL-多个工作人员可以同时将同一图像写入图像吗?

来自分类Dev

多个后台工作人员完成后,C#更新UI

来自分类Dev

Laravel 5:多个工作人员-无法删除作业XXXXXX:NOT_FOUND

来自分类Dev

VB.NET:向后台工作人员发送多个参数

来自分类Dev

如何从多个后台工作人员同步访问/调用对象

来自分类Dev

您在哪里管理portal.azure.com中的Web和工作人员角色?

来自分类Dev

Ruby应用程序和Resque:无法启动工作人员

Related 相关文章

  1. 1

    多个Spring Integration作为工作人员流动以从多个SQS队列中使用

  2. 2

    AWS将两个SQS队列发送给一名工作人员

  3. 3

    如何根据队列长度扩展工作人员角色

  4. 4

    排除工作人员

  5. 5

    Heroku:如何扩展到多个工作人员

  6. 6

    AWS EKS 工作人员从不向 ELB 注册

  7. 7

    使用bash和ssh的远程任务队列可用于可变数量的实时工作人员

  8. 8

    为每天1000万以上的工作队列扩展工作人员

  9. 9

    后台工作人员冻结WPF

  10. 10

    DynamicSupervisors的工作人员名称

  11. 11

    后台工作人员中的ShowDialog

  12. 12

    停止后台工作人员

  13. 13

    暂停工作人员从队列中获取消息

  14. 14

    Kubernetes针对Redis队列工作人员的活跃度调查

  15. 15

    在多个不同的工作人员之间共享排队的工作负载

  16. 16

    我可以在工作人员内部获取我的sidekiq工作人员的ID吗?

  17. 17

    由工作人员引起的Heroku Web工作人员超时

  18. 18

    从专门的工作人员访问共享工作人员

  19. 19

    如何避免在Luigi中同时由多个工作人员运行特定任务

  20. 20

    朱莉娅:如何让多个工作人员访问模块中的功能?

  21. 21

    朱莉娅(Julia):如何让多个工作人员访问模块中的“包括(...)”功能?

  22. 22

    Swift命令行工具中的多个工作人员

  23. 23

    OpenCL-多个工作人员可以同时将同一图像写入图像吗?

  24. 24

    多个后台工作人员完成后,C#更新UI

  25. 25

    Laravel 5:多个工作人员-无法删除作业XXXXXX:NOT_FOUND

  26. 26

    VB.NET:向后台工作人员发送多个参数

  27. 27

    如何从多个后台工作人员同步访问/调用对象

  28. 28

    您在哪里管理portal.azure.com中的Web和工作人员角色?

  29. 29

    Ruby应用程序和Resque:无法启动工作人员

热门标签

归档