毎日データフローパイプラインを実行する必要がありますが、Webアプリ全体を構築する必要があるApp Engine CronServiceのような提案されたソリューションは少し多すぎるように思われます。Compute Engine Linux VMでcronジョブからパイプラインを実行することを考えていましたが、それは単純すぎるかもしれません:)。そのようにすることの問題は何ですか、なぜ誰も(私が推測する以外に)それを提案しないのですか?
cronジョブを使用してDataflowパイプラインを開始してもまったく問題はありません。JavaまたはPythonで開発されたパイプラインであるかどうかにかかわらず、本番システムでは常にそれを行います。
ただし、私たちはcronジョブから脱却し、AWS Lambdas(マルチクラウドを実行)またはCloudFunctionsのいずれかを使用する方向に進んでいます。残念ながら、CloudFunctionsにはまだスケジュールがありません。AWSLambdasはそうします。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加