次のパイプラインをトリガーするのに数分かかるAzureデータフロー

debugcn 投稿 Dev

ZCoder

Azure Dataファクトリは10ミリ秒でDbでデータを転送しますが、私が抱えている問題は、次のパイプラインをトリガーするのに数分待機していて、すべてのパイプラインがデータを転送するのに20ミリ秒未満かかることです。しかし、どういうわけか、次のものをトリガーするのに数分待っています。

デバッグモードを使用し、ムードをデバッグせずにLogicAppを使用してADFをトリガーしました。SSISからデータフローに移行したいのに最適化できる方法はありますが、40分の時間の問題があると、次のステップで数百万のレコードがあります。

したがって、データベースにデータを転送するのに7秒かかりましたが、6分待ちました:(下の画像を確認してください

レオンユエ

This document Monitor data flow performance mentioned that:

Note that you can assume 1 minute of cluster job execution set-up time in your overall performance calculations and if you are using the default Azure Integration Runtime, you may need to add 5 minutes of cluster spin-up time as well.

That's maybe a reason. You can first follow this tutorial Mapping data flows performance and tuning guide.

This document Execute data flow activity in Azure Data Factory also can help us improve the performance.

Choose the compute environment for this execution of your data flow. The default is the Azure Auto-Resolve Default Integration Runtime. This choice will execute the data flow on the Spark environment in the same region as your data factory. The compute type will be a job cluster, which means the compute environment will take several minutes to start-up.

You have control over the Spark execution environment for your Data Flow activities. In the Azure integration runtime are settings to set the compute type (general purpose, memory optimized, and compute optimized), number of worker cores, and time-to-live to match the execution engine with your Data Flow compute requirements. Also, setting TTL will allow you to maintain a warm cluster that is immediately available for job executions.

Note:

データフローアクティビティでの統合ランタイムの選択は、パイプラインのトリガーされた実行にのみ適用されます。Debugを使用したデータフローを使用したパイプラインのデバッグは、8コアのデフォルトのSparkクラスターに対して実行されます。

お役に立てれば。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集2021-06-11

コメントを追加

サインイン

分類Dev

Related 関連記事

記事

次のパイプラインをトリガーするのに数分かかるAzureデータフロー

次のパイプラインをトリガーするのに数分かかるAzureデータフロー

Azure DevOpsリリースパイプラインで、異なるターゲットフォルダーを持つデプロイメントグループを複数のVMにどのようにデプロイしますか

クラウドストレージのpubsub通知を使用してデータフローパイプラインをトリガーする方法

Azureデータファクトリ-パイプラインの結果をRESTAPIに書き込みますか？

別のパイプラインからAzureDevOpsパイプラインをトリガーする

これらのテンプレートがスタンドアロンリポジトリにある場合、Azure DevOpsパイプラインテンプレート内のファイルを参照することは可能ですか？

Java 出力ストリーム、db から取得するすべてのデータの前にファイルのダウンロードをトリガー

jenkinsパイプラインプロジェクト（groovyスクリプト）のアーティファクトトリガーによってトリガーの原因を検出するにはどうすればよいですか？

データフローパイプラインをトリガーするマルチモジュールプロジェクトでのエラー：URL（jar：file：/home/java/app.war！/ WEB-INF / classes！/）をファイルに変換できません

AzureパイプラインのブランチANDタグでトリガーするにはどうすればよいですか？

データフローパイプラインを単一のワーカーのみを使用するように制限できるのは何ですか？

複数のAzureパイプラインを一度にグループ化してトリガーする

Azureデータファクトリのパイプラインにパラメータを渡す方法は？

別のパイプラインから「gitpush」を使用する場合は、Azureパイプラインをトリガーしないでください

githubからazureにデフォルトのAngularアプリケーションをデプロイするとエラーが発生します

パブリックユーザーがプライベートデータをアップロードするためのAzure製品はどれですか？

データバインディングWindowsフォームアプリにMVPパターンを実装する方法に関するいくつかのガイドライン

Spring BootGradleアプリケーションをAzureパイプラインからAzureAppServiceにデプロイする

mutablelivedataのバッキングプロパティを持つ監視されたライブデータは、直接更新されないときにオブザーバーをトリガーすることをどのように知っていますか？

Azureデータファクトリパイプラインの開始時間と終了時間を理解する

アセットパイプライン（ペーパークリップ）からの画像をRailsデータベースにシードする方法は？

オフライン時にローカルのmongodbデータベースを使用し、オンライン時にリモートのmongodbサーバーに同期するmeteorアプリを処理するにはどうすればよいですか？

Azure DevOpsデプロイメントグループ-オフラインのターゲットを無視することは可能ですか？

複数のリポジトリからjenkinsパイプラインをトリガーする方法

Azureでパイプラインをトリガーして実行パイプラインAPIを作成するにはどうすればよいですか？

クロージャがないのに、コンパイラがデリゲートにパラメータを追加するのはなぜですか？

Azure DevOps：リリースパイプラインのPowerShellスクリプトからビルドAzureパイプラインからビルドアーティファクトを取得するにはどうすればよいですか？

シェルプロンプトからsqlplusをするには、Oracle SQLスクリプト・ファイルのパラメータを渡す方法は？

ユーザーにパラメーターを要求するか、フルフィルメントからイベントをトリガーします

スケジュールタイプのトリガーからADFパイプラインにパラメーターを渡す方法は？