Apache Ignite 实例作为 Spark Broadcast 变量

雅利特

一旦 Ignite 在 Driver 使用实例化,

Ignite ignite = Ignition.getOrStart(igniteConfiguration);

需要将此 ignite 实例作为广播变量广播给所有执行程序,如果我能做到这一点,请告诉我。我知道 Ignite 不是 Serialize,但是有什么方法可以让它序列化。

丹尼斯

Ignite 实例不能在执行器之间广播,因为它对应于本地运行的节点。发送给另一个执行程序的对象本身对您没有任何好处。

Apache Ignite 和 Apache Spark 之间有一个特殊的集成:https : //apacheignite-fs.readme.io/docs如果你使用这个集成,那么每个 Spark 执行器都会启动一个 Ignite 节点,你将能够使用它。通常使用 IgniteRDD 或 Ignite 数据帧来处理来自 Spark 的 Ignite。您还可以使用 IgniteContext#ignite() 方法获取 Ignite 实例。

有关更多信息,请参阅文档:https : //apacheignite-fs.readme.io/docs/ignitecontext-ignitrdd

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Apache Spark与Apache Ignite

来自分类Dev

Spark中的BroadCast变量

来自分类Dev

BroadCast变量在Spark程序中发布

来自分类Dev

在Spark和Spark Broadcast变量中处理Hive查找表

来自分类Dev

ViewControllers作为实例变量

来自分类Dev

如何将Apache Ignite用作Apache Spark的外部数据源

来自分类Dev

如何将Apache Ignite用作Apache Spark的外部数据源

来自分类Dev

当 ignite 在 Opendaylight apache karaf 中作为服务启动时,如何为 apache ignite 设置自定义 REST 端口?

来自分类Dev

不会重用Apache Spark广播变量

来自分类Dev

Spark SQL 与 Ignite

来自分类Dev

何时使用Apache Ignite?

来自分类Dev

Apache Ignite索引性能

来自分类Dev

Apache Ignite容错

来自分类Dev

监视Apache Ignite的性能

来自分类Dev

Apache ignite的性能分析

来自分类Dev

关于 Apache Ignite 监控

来自分类Dev

必须设置Ignite实例名thread local或者在org.apache.ignite.thread.IgniteThread下访问这个方法

来自分类Dev

类组成作为实例变量

来自分类Dev

如何将apache ignite与spark数据帧集成以及如何在spark数据帧上应用索引?

来自分类Dev

使用 apache spark 写入谷歌计算实例

来自分类Dev

Apache-Spark作为日志存储

来自分类Dev

Ruby - 实例变量作为类变量

来自分类Dev

Apache Ignite作为Hibernate L2缓存来存储重复的实体

来自分类Dev

Apache-Ignite集成作为Hibernate 2级缓存中断了吗?

来自分类Dev

如何使用 Apache Ignite 作为 Spring Boot 应用程序和 MongoDB 之间的层?

来自分类Dev

Apache Ignite .Net GetDataStreamer WithExpiryPolicy

来自分类Dev

Apache Ignite支持的索引类型

来自分类Dev

Apache Ignite Kafka连接问题

来自分类Dev

Apache Ignite 缓存和 PeerClassLoading

Related 相关文章

热门标签

归档