Apache Spark対Akka

user4658980:

Apache SparkとAKKAの違いを教えてください。どちらのフレームワークも分散計算と並列計算をプログラムすることを意図していたことはわかっていますが、リンクや違いはわかりません。

また、それぞれに適したユースケースを取得したい。

hveiga:

Apache Sparkは実際にはAkkaに基づいて構築されています。

Akkaは、ScalaまたはJavaでリアクティブ、分散、並列、および回復力のある並行アプリケーションを作成するための汎用フレームワークです。AkkaはActorモデルを使用してすべてのスレッド関連コードを非表示にし、スケーラブルでフォールトトレラントなシステムを簡単に実装するための本当にシンプルで役立つインターフェースを提供します。Akkaの良い例は、携帯電話からのデータを消費して処理し、それらをある種のストレージに送信するリアルタイムアプリケーションです。

Apache Spark(Spark Streamingではない)は、map-reduceアルゴリズムの汎用バージョンを使用してバッチデータを処理するフレームワークです。Apache Sparkの良い例は、データのより良い洞察を得るために保存されたデータのいくつかのメトリックの計算です。データはロードされ、オンデマンドで処理されます。

Apache Spark Streamingは、データが既に格納されている場合と同じように、ほぼリアルタイムの小さなバッチのデータに対して同様のアクションと機能を実行できます。

2016年4月の更新

Apache Spark 1.6.0以降、Apache Sparkはノード間の通信をAkkaに依存しなくなりました。コメントをありがとう@EugeneMi

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事