我正在设计一个应用程序，该应用程序需要非常快速的响应，并且需要在给定一个输入（命令）的情况下从hadoop文件系统中检索和处理大量数据（> 40G）。
我在想，是否有可能使用spark在分布式内存中捕获如此大量的数据，并让应用程序始终运行。如果我给应用程序一个命令，它可能会开始根据输入来处理数据。
我认为捕获如此大的数据不是问题。但是，如何让应用程序运行并接受输入？
据我所知，“ spark-submit”命令后什么也做不了。
您可以尝试spark作业服务器和命名对象以将数据集缓存在分布式内存中，并在各种输入命令中使用它。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句