我们使用官方 REST api 从 Hadoop 资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史的持续时间不够长，以至于它为使用的内核、内存和容器返回 -1 值。
我们想延长纱线存储数据的持续时间，但我们不知道在哪里设置值。
您应该检查您的 mapred-site.xml 并查看mapreduce.jobhistory.max-age-ms. 如中所述：
当历史清理器运行时，早于这么多毫秒的作业历史文件将被删除。默认为 604800000（1 周）。
如果您想读取资源使用情况，您应该考虑使用 Job History 服务器的 Job API 和 Job Counters API。RM REST API 显示的是瞬时使用量而不是累积使用量。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句