Spark Streamingで順序どおりの処理を強制することは可能ですか？私たちのユースケースは、各トピックを順番に処理する必要があるKafkaからのイベントを読み取ることです。
私の知る限り、それは不可能です。各ストリームはRDDに分割され、RDDSは並行して処理されるため、順序を保証する方法はありません。
RDDを強制的に単一のパーティションにすることができます。これにより、並列処理が削除されます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加