一旦 Ignite 在 Driver 使用实例化,
Ignite ignite = Ignition.getOrStart(igniteConfiguration);
需要将此 ignite 实例作为广播变量广播给所有执行程序,如果我能做到这一点,请告诉我。我知道 Ignite 不是 Serialize,但是有什么方法可以让它序列化。
Ignite 实例不能在执行器之间广播,因为它对应于本地运行的节点。发送给另一个执行程序的对象本身对您没有任何好处。
Apache Ignite 和 Apache Spark 之间有一个特殊的集成:https : //apacheignite-fs.readme.io/docs如果你使用这个集成,那么每个 Spark 执行器都会启动一个 Ignite 节点,你将能够使用它。通常使用 IgniteRDD 或 Ignite 数据帧来处理来自 Spark 的 Ignite。您还可以使用 IgniteContext#ignite() 方法获取 Ignite 实例。
有关更多信息,请参阅文档:https : //apacheignite-fs.readme.io/docs/ignitecontext-ignitrdd
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句