Mesos群集上是否可能有具有不同内存量的执行程序？还是我受内存最少的机器限制？（假设我要使用所有可用的cpus）。
简短回答：不。
不幸的是，Spark Mesos和YARN只允许为每台计算机提供与最差的计算机一样的资源（核心，内存等）（讨论）。理想情况下，集群应该是同构的，以便充分利用其资源。
但是，可能存在解决您的问题的方法。根据上面的链接来源，Spark独立允许在某些计算机上创建多个工作线程。您可以修改工作程序配置以适合最差的计算机，然后在这些计算机上启动多个工作程序。
例如，给定两台分别具有4G和20G内存的计算机，您可以在后者上创建5个工作器，每个工作器都配置为仅使用4G内存，这受第一台计算机的限制。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句