Yarn Resource Manager UI 中的 Num Off Switch Containers 是什么意思？

debugcn 发表于 Dev

阿拉文·亚拉姆

我有一个 ETL 作业占用了大量 CPU 和内存并运行了很长时间。我在调试时观察到的第一件事如下（来自资源管理器 GUI 上的作业）

Num Node Local Containers (satisfied by) = 6
Num Rack Local Containers (satisfied by) = 00
Num Off Switch Containers（满足）= 11367

我们只有两个机架。我需要帮助回答以下三个问题

Num Off Switch Containers 是什么意思？
如何识别这些“关闭开关”容器以及它们在哪个节点上运行？
关闭开关容器是否会导致作业处理时间变慢？

塔哈纳克维

1 .Num Off Switch Containers是什么意思？上述情况是off switch locality由延迟调度程序：-

                | router|
              +-----------+
             /             \
    +-----------+        +-----------+
    |rack switch|        |rack switch|
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+

这是延迟调度程序的数据局部性（1.Node local 2. Rack local 3. off switch）最糟糕的情况，内存和 vcore 被分配到交换机上的不同机架上，并且带宽更高。

延迟调度器将传入的任务分配给位于不同机架上的关闭开关节点，以避免任务饥饿

对于 YARN 配置变量中的不同调度程序，节点和机架阈值有：-

CAPACITY SCH :- 有了这个属性yarn.scheduler.capacity.rack-locality-additional-delay，关闭开关容器分配的放松位置就完成了。

容量调度程序.xml

<property>
  <name>yarn.scheduler.capacity.node-locality-delay</name>
  <value>-1</value>
  <description>Number of missed scheduling opportunities after which the              CapacityScheduler attempts to schedule rack-local containers.
Typically this should be set to number of racks in the cluster, this
feature is disabled by default, set to -1.
 </description>
</property>

https://issues.apache.org/jira/browse/YARN-4189 - JIRA 进行改进如果集群使用 Fair 调度程序：-

https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

yarn.scheduler.fair.locality.threshold.rack

https://cs.stanford.edu/~matei/papers/2010/eurosys_delay_scheduling.pdf延迟调度。

2.如何识别这些“关闭开关”容器以及它们在哪个节点上运行？

要查看应用程序的容器，我相信我们需要通过尝试 id 转到特定的应用程序尝试，在那里我们可以找到 conatainer 及其节点。我在 RM ui 中没有找到关闭开关容器的任何直接链接

3.关闭开关容器是否会导致作业处理时间变慢？

是的，从上面我们可以得出结论，网络开销会减慢作业处理速度。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。