Azure Data Factoryを使用してC#コードからU-SQLスクリプトを実行する

キシャングプタ

AzureでC#コードを使用してU-SQLスクリプトを実行しようとしています。コードが実行された後、すべてがAzure(ADF、リンクされたサービス、パイプライン、データセット)で作成されますが、U-SQlスクリプトはADFによって実行されません。パイプラインコードで構成されたstartTimeとendTimeに問題があると思います。

次の記事に従って、このコンソールアプリケーションを完成させました。Data Factory .NET SDKを使用して、Azureデータファクトリを作成、監視、および管理します

ダウンロード用の完全なC#コードプロジェクトのURLは次のとおりです。https://1drv.ms/u/s!AltdTyVEmoG2ijOupx-EjCM-8Zk4

誰かが私の間違いを見つけるのを手伝ってください

パイプラインを構成するためのC#コード:

DateTime PipelineActivePeriodStartTime = new DateTime(2017、1、12、0、0、0、0、DateTimeKind.Utc); DateTime PipelineActivePeriodEndTime = PipelineActivePeriodStartTime.AddMinutes(60); string PipelineName = "ComputeEventsByRegionPipeline";

        var usqlparams = new Dictionary<string, string>();
        usqlparams.Add("in", "/Samples/Data/SearchLog.tsv");
        usqlparams.Add("out", "/Output/testdemo1.tsv");

        client.Pipelines.CreateOrUpdate(resourceGroupName, dataFactoryName,
        new PipelineCreateOrUpdateParameters()
        {
            Pipeline = new Pipeline()
            {
                Name = PipelineName,
                Properties = new PipelineProperties()
                {
                    Description = "This is a demo pipe line.",

                    // Initial value for pipeline's active period. With this, you won't need to set slice status
                    Start = PipelineActivePeriodStartTime,
                    End = PipelineActivePeriodEndTime,
                    IsPaused = false,

                    Activities = new List<Activity>()
                    {
                        new Activity()
                        {
                            TypeProperties = new DataLakeAnalyticsUSQLActivity("@searchlog = EXTRACT UserId int, Start DateTime, Region string, Query string, Duration int?, Urls string, ClickedUrls string FROM @in USING Extractors.Tsv(nullEscape:\"#NULL#\"); @rs1 = SELECT Start, Region, Duration FROM @searchlog; OUTPUT @rs1 TO @out USING Outputters.Tsv(quoting:false);")
                            {
                                DegreeOfParallelism = 3,
                                Priority = 100,
                                Parameters = usqlparams
                            },
                            Inputs = new List<ActivityInput>()
                            {
                                new ActivityInput(Dataset_Source)
                            },
                            Outputs = new List<ActivityOutput>()
                            {
                                new ActivityOutput(Dataset_Destination)
                            },
                            Policy = new ActivityPolicy()
                            {
                                Timeout = new TimeSpan(6,0,0),
                                Concurrency = 1,
                                ExecutionPriorityOrder = ExecutionPriorityOrder.NewestFirst,
                                Retry = 1
                            },
                            Scheduler = new Scheduler()
                            {
                                Frequency = "Day",
                                Interval = 1
                            },
                            Name = "EventsByRegion",
                            LinkedServiceName = "AzureDataLakeAnalyticsLinkedService"
                        }
                    }
                }
            }
        });

Azureデータファクトリビュー([監視と管理]オプション)で何かに気づきました。PipelineのステータスはWaiting:DatasetDependenciesです。Azure DataFactoryの監視と管理ビューこのためにコード内の何かを変更する必要がありますか?

アレクサンドルガッティカー

ソースデータセットを作成している別のアクティビティがない場合は、それに属性を追加する必要があります

"external": true

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-faq

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-create-datasets

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Azure Data FactoryV2からADLAでU-SQLストアドプロシージャを実行する方法

分類Dev

canvas-data-cliコマンドを使用してazure-scm-consoleでNodeJsスクリプトを実行する方法

分類Dev

Azure MonitorまたはADF自体を使用して、Azure Data Factory V2で長時間実行されているプロセスのアラート通知をトリガーするにはどうすればよいですか?

分類Dev

Azure Data Factoryと一緒にRスクリプトを実行するにはどうすればよいですか?

分類Dev

PowerShell(Azure Automation)を使用してAzure Data Factoryパイプラインをトリガーする方法は?

分類Dev

Azure Data Factoryは、クエリから「ForEach」コンポーネントのデータを取得します

分類Dev

CosmosDBコレクションドキュメントのプロパティが異なる場合、Azure Data Factoryを使用して古いCosmosDBデータをAzureテーブルにアーカイブするにはどうすればよいですか?

分類Dev

C#コードからスクリプトSQLを実行しようとしたときのSystem.Data.SqlClient.SqlException

分類Dev

Azure SynapseAnalyticsでスクリプトをXMLとして実行する

分類Dev

Azure Data Factoryでルックアップを実行する方法は?

分類Dev

Azure Web Apps - デプロイ前にスクリプトを実行する方法

分類Dev

PowerShellスクリプトを入手してAzureでSharePointコマンドを実行する

分類Dev

Azure Data Factoryは、SQLからADLSへのコピー時に「LengthRequired」エラーをスローします

分類Dev

Azure DevOps Server 2019(オンプレミス)でAzure Service Connectionを使用して、リリース段階で実行されているスクリプトからterraformを実行するにはどうすればよいですか?

分類Dev

Azure Data Factory V2で失敗したアクティビティ/データセットのみを使用してパイプラインを再実行するにはどうすればよいですか?

分類Dev

Azure devopsのプルリクエストはコードをマージしてから、ビルド定義を実行しますか

分類Dev

Azure Data FactoryV2の既存のAzureVMに対してリモートコマンド(powershell / bash)を実行するにはどうすればよいですか?

分類Dev

Azure WindowsVMを使用したカスタムデータでPowerSellスクリプトを実行する

分類Dev

vmを作成し、Azureでインストールスクリプトを実行する

分類Dev

T-SQLスクリプトは、Azure SQLデータベースで実行されているのかオンプレミスで実行されているのかをどのように検出する必要がありますか?

分類Dev

Azure Data Factory-JSONをフラット化するときに、コレクション参照が空の行をスキップしました

分類Dev

Azure Logic Apps:PowershellスクリプトまたはAzure CLIを実行する方法は?

分類Dev

Azure ActiveDirectoryにクエリを実行するAzureサービス

分類Dev

Azureカスタムスクリプト拡張。別のユーザーとしてスクリプトを実行する

分類Dev

タイムトリガーを使用してAzureでPythonスクリプトを実行するためのオプション

分類Dev

Azure上のTerraform:変数を引数としてローカルファイルからWindowsVMのPowerShellスクリプトを実行する

分類Dev

C#とAzureポータルクエリエクスプローラーを介してクエリを実行すると、Int値が異なります

分類Dev

PowerShellを使用してAzureで実行されているVMスクリプトのResourceIdを取得するにはどうすればよいですか?

分類Dev

Visual Studio 2017を使用したAzure Data Factoryプロジェクト

Related 関連記事

  1. 1

    Azure Data FactoryV2からADLAでU-SQLストアドプロシージャを実行する方法

  2. 2

    canvas-data-cliコマンドを使用してazure-scm-consoleでNodeJsスクリプトを実行する方法

  3. 3

    Azure MonitorまたはADF自体を使用して、Azure Data Factory V2で長時間実行されているプロセスのアラート通知をトリガーするにはどうすればよいですか?

  4. 4

    Azure Data Factoryと一緒にRスクリプトを実行するにはどうすればよいですか?

  5. 5

    PowerShell(Azure Automation)を使用してAzure Data Factoryパイプラインをトリガーする方法は?

  6. 6

    Azure Data Factoryは、クエリから「ForEach」コンポーネントのデータを取得します

  7. 7

    CosmosDBコレクションドキュメントのプロパティが異なる場合、Azure Data Factoryを使用して古いCosmosDBデータをAzureテーブルにアーカイブするにはどうすればよいですか?

  8. 8

    C#コードからスクリプトSQLを実行しようとしたときのSystem.Data.SqlClient.SqlException

  9. 9

    Azure SynapseAnalyticsでスクリプトをXMLとして実行する

  10. 10

    Azure Data Factoryでルックアップを実行する方法は?

  11. 11

    Azure Web Apps - デプロイ前にスクリプトを実行する方法

  12. 12

    PowerShellスクリプトを入手してAzureでSharePointコマンドを実行する

  13. 13

    Azure Data Factoryは、SQLからADLSへのコピー時に「LengthRequired」エラーをスローします

  14. 14

    Azure DevOps Server 2019(オンプレミス)でAzure Service Connectionを使用して、リリース段階で実行されているスクリプトからterraformを実行するにはどうすればよいですか?

  15. 15

    Azure Data Factory V2で失敗したアクティビティ/データセットのみを使用してパイプラインを再実行するにはどうすればよいですか?

  16. 16

    Azure devopsのプルリクエストはコードをマージしてから、ビルド定義を実行しますか

  17. 17

    Azure Data FactoryV2の既存のAzureVMに対してリモートコマンド(powershell / bash)を実行するにはどうすればよいですか?

  18. 18

    Azure WindowsVMを使用したカスタムデータでPowerSellスクリプトを実行する

  19. 19

    vmを作成し、Azureでインストールスクリプトを実行する

  20. 20

    T-SQLスクリプトは、Azure SQLデータベースで実行されているのかオンプレミスで実行されているのかをどのように検出する必要がありますか?

  21. 21

    Azure Data Factory-JSONをフラット化するときに、コレクション参照が空の行をスキップしました

  22. 22

    Azure Logic Apps:PowershellスクリプトまたはAzure CLIを実行する方法は?

  23. 23

    Azure ActiveDirectoryにクエリを実行するAzureサービス

  24. 24

    Azureカスタムスクリプト拡張。別のユーザーとしてスクリプトを実行する

  25. 25

    タイムトリガーを使用してAzureでPythonスクリプトを実行するためのオプション

  26. 26

    Azure上のTerraform:変数を引数としてローカルファイルからWindowsVMのPowerShellスクリプトを実行する

  27. 27

    C#とAzureポータルクエリエクスプローラーを介してクエリを実行すると、Int値が異なります

  28. 28

    PowerShellを使用してAzureで実行されているVMスクリプトのResourceIdを取得するにはどうすればよいですか?

  29. 29

    Visual Studio 2017を使用したAzure Data Factoryプロジェクト

ホットタグ

アーカイブ