ロジックをクラスター上で実行するように拡張すると、Spark Streamingアプリケーションに割り当てられるコアの数は、レシーバーの数よりも多くなければなりません。そうしないと、システムはデータを受信しますが、データを処理できません。
これは、Sparkクラスター全体に16個のCPUコアがある場合、15個を超えるKafkaトピックからデータを読み取ることができないことを意味しますか?
コンシューマー/レシーバーベースのAPIを使用する場合のみ。これは、ダイレクトストリームには適用されません。
見て、ここで両者の違いのために
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加