Apache Flink中用于数据集的异步I / O

杰伊

Flink中数据集上的异步I / O等效于什么?对于DataStream,它基本上是AsyncDataStream

在map函数中进行阻塞调用?

他们有最佳做法吗?

费边·韦斯克(Fabian Hueske)

我可以通过实现,RichMapPartitionFunction在输入上提供迭代器,并通过收集器发出结果。

由于DataSet API不需要与检查点机制集成,也不需要遵守记录和时间戳的顺序,因此尽管MapPartitionFunction不提供任何特定于异步的工具,但实现时并不需要太复杂。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Apache flink 数据集

来自分类Dev

XmlInputFormat用于Apache Flink

来自分类Dev

从Apache Flink查询数据

来自分类Dev

如何在Apache Flink中定义数据集的起始位置?

来自分类Dev

如何在Apache Flink中定义数据集的开始位置?

来自分类Dev

apache commons I / O。如何通过通配符过滤文件?

来自分类Dev

带有Apache骆驼的多文件I / O

来自分类Dev

Apache Spark流-用于联接的缓存数据集

来自分类Dev

Apache Spark流-用于联接的缓存数据集

来自分类Dev

Apache Flink:如何使用Flink DataSet API从一个数据集创建两个数据集

来自分类Dev

如何使用异步I / O将实时数据集写入磁盘?

来自分类Dev

Apache Flink-如何加载带有日期数据的csv数据集?

来自分类Dev

如何在Apache Flink中将Scala数据集传递给Java类

来自分类Dev

Apache Flink:如何对数据集api中的动态元组进行groupBy / sortBy转换支持?

来自分类Dev

如何使用Apache Flink在同一数据集上计算两个和

来自分类Dev

将多个数据集传输到Apache Flink中的下一个迭代

来自分类Dev

Apache Flink:创建滞后的数据流

来自分类Dev

zipWithIndex在Apache Flink上

来自分类Dev

Apache Flink与Elasticsearch的集成

来自分类Dev

Apache Flink:分步执行

来自分类Dev

如何调试Apache Flink?

来自分类Dev

Apache Flink-groupBy

来自分类Dev

Apache Flink容错

来自分类Dev

Apache Flink与Elasticsearch的集成

来自分类Dev

Apache Flink 动态管道

来自分类Dev

Apache异步HttpClient不快

来自分类Dev

Java中用于Apache POI的DSL包装器库

来自分类Dev

使用Java将函数应用于Apache Spark中数据集的单个列

来自分类Dev

适用于较小数据集的迭代模型拟合的Apache Spark用例

Related 相关文章

热门标签

归档