我有一些DAG，它们每天只运行几个小时，之后，Cloud Composer集群什么也不做。我试图了解工作程序池自动扩展机制：
concurrency=10，则Composer将在这3个节点上运行，直到DAG提示它需要资源，这时它会自动扩展到10个节点？然后，DAG完成后，它将破坏其他7个节点吗？我决定详细说明@SNeumann答案。到目前为止，Composer不支持启用了自动缩放的Kubernetes集群。这是因为围绕Kuberenetes资源请求进行了复杂的对话，以及如何无法在此时估算Airflow Pod的资源请求。
功能要求已经提交：1，2，支持基于DAG需求工人自动缩放。我建议您订阅它以保持更新，因为您会收到有关其进度的电子邮件。
根据官方文件：
由于Airflow调度程序和工作人员位于同一GKE集群中，如果竞争导致资源匮乏，则调度程序和工作人员将无法正常工作。
目前，您需要在节点级别启用自动缩放并编写.yaml，然后进行更新minReplicas: 1，maxReplicas: 50就像@SNeumann发布的Medium教程一样。
希望以上信息对您有所帮助。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句