将DAG转换为任务的巨大延迟

米克尔·圣维森特(Mikel San Vicente)

这是我的步骤:

  1. 将spark应用提交到EMR集群
  2. 驱动程序启动,我可以看到Spark-ui(尚未创建任何阶段)
  3. 驱动程序从s3读取具有〜3000个部分的orc文件,进行一些转换并将其保存回s3
  4. 保存的执行应在spark-ui中创建一些阶段,但是这些阶段要花很长时间才能出现在spark-ui中
  5. 出现阶段并开始执行

为什么在第4步中出现这么大的延迟?在此期间,群集显然正在等待某些东西,并且CPU使用率为0%

谢谢

用户7396747

尽管具有S3的优点,但S3并不是文件系统,它使它成为处理复杂二进制格式的次佳选择,而复杂二进制格式通常是为实际文件系统而设计的。在许多情况下,次要任务(例如读取元数据)比实际数据获取更昂贵。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将巨大的Excel表转换为图形

来自分类Dev

将循环转换为任务

来自分类Dev

将线程转换为任务

来自分类Dev

将问题转换为任务

来自分类Dev

将延迟写入的代码转换为millis()

来自分类Dev

如何将延迟转换为毫秒

来自分类Dev

将Rally用户故事转换为任务

来自分类Dev

将Gulp任务转换为Npm的脚本

来自分类Dev

将Rally用户故事转换为任务

来自分类Dev

将任务<T>强制转换为任务<DerivedT>

来自分类Dev

从巨大的 Xml 转换为 Json

来自分类Dev

如何将Angular Promise转换为jQuery延迟对象

来自分类Dev

Angular 6:将紧急加载转换为延迟加载

来自分类Dev

如何将按钮单击去抖动延迟转换为文本框按键延迟?

来自分类Dev

将事件转换为任务的可重用模式

来自分类Dev

如何通过Ajax将这种懒惰的任务转换为Promise?

来自分类Dev

InnoSetup,将任务转换为单选按钮吗?

来自分类Dev

将NSURLSessionDataTask转换为具有后台支持的下载任务

来自分类Dev

将Spring任务XML配置转换为代码配置

来自分类Dev

数学任务,将10星评级转换为上下投票

来自分类Dev

可以将“任一”类型转换为“任务”类型吗?

来自分类Dev

将事件转换为任务的可重用模式

来自分类Dev

将NSURLSessionDataTask转换为具有后台支持的下载任务

来自分类Dev

SSIS执行任务将Excel转换为CSV的问题

来自分类Dev

将巨大的数据库表转换为另一个表

来自分类Dev

将巨大的稀疏矩阵转换为data.table以在R中更快地进行子集

来自分类Dev

Gnucash:如何将巨大的XML数据文件转换为sqlite?

来自分类Dev

通过某种Linux命令将巨大的旧json转换为新的json格式?

来自分类Dev

如何将未来任务序列转换为枚举器,这将消耗最新的完整任务

Related 相关文章

热门标签

归档