Azureデータレイクループ

ホルヘ・リベイロ

Azure Data Lake AnalyticsとU-SQLは、WhileまたはForを使用してループし、複数の出力を作成することをサポートしていますか?1回のUSQL実行を使用して複数のファイルに出力したい。

これは私が欲しいものです:

Foreach @day in @days
    @dataToSave = 
        SELECT    day AS day,
                  company AS Company,      
        FROM @data
        WHERE @day = @day

    @out = @day + ".txt"

    OUTPUT @dataToSave
    TO @out
    USING Outputters.Text();
Next

PowerShellを使用できることはわかっていますが、実行の準備としてパフォーマンスが低下すると思います。

mabasile_MSFT

U-SQLは、WhileループまたはForループをサポートしていません。WHEREステートメントを使用して抽出されたデータをフィルタリングし、仮想列を使用してファイルのパス/名前に基づいてフィルタリングできます()。

複数のファイルに出力するには、ファイルの数が適切であれば、出力ごとに一意の行セットとWHERE句を記述できます。

あなたが言ったように、PowershellまたはU-SQLでこれをスクリプト化することもできます()。

複数のファイルへの動的出力は現在、限定されたプライベートプレビューにあります。この機能に興味がある場合は、説明に基づいてシナリオで機能する可能性があるため、シナリオをMicrosoft dotcomのusqlに電子メールで送信してください。

これがお役に立てば幸いです。これらのソリューションの実装について他にご不明な点がありましたらお知らせください。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Azureデータレイク-条件

分類Dev

イテレータループとインデックスループ

分類Dev

ARMテンプレートを使用したAzureデータレイクストレージアカウントでのファイルシステムの作成

分類Dev

プレーンルビーのディレクトリタイプの構造

分類Dev

テーブル行からのスクレイピープルデータ

分類Dev

データフレーム内のデータをサイクルごとにグループ化する

分類Dev

Ansibleプレイブックのリストデータをループする

分類Dev

AzureBLOBストレージからAzureデータレイクストアへのファイルの対処

分類Dev

バックグラウンドデータのAzureワーカーロールのデプロイ

分類Dev

Azureデータレイクポート接続

分類Dev

$ tfディレクトリを作成するパイプラインのAzureファイルコピータスク

分類Dev

マルチプレイヤー/シングルクイズゲームのデータベース設計

分類Dev

ログファイルのディレクトリ名をPysparkデータフレームにプルする

分類Dev

Azure Devops-AzurePowerShellタスクがリリース/デプロイディレクトリを検索

分類Dev

Azure KubernetesサービスノードプールOSディスクタイプを指定する方法は?

分類Dev

C ++インプレースデストラクタコンパイル警告

分類Dev

ブレーク付きループのイテレータ

分類Dev

Webページからデータフレームにテーブルをスクレイプする方法

分類Dev

Webページからデータフレームにテーブルをスクレイプする方法

分類Dev

マップタイプでSparkデータフレームフィールドにアクセスする

分類Dev

Oracleデータベースに対するコントロールブレークタイプSQL

分類Dev

Oracleデータベースに対するコントロールブレークタイプSQL

分類Dev

Azure ActiveDirectoryログインリダイレクトループ

分類Dev

マルチインデックスデータフレームデータ抽出

分類Dev

azure data factoryを使用して、Azureデータレイクディレクトリで利用可能なファイルの数を見つけます

分類Dev

BeautifulSoupを使用してテーブルをデータフレームにスクレイプします

分類Dev

データフレームからnp.array-IndexError:タプルインデックスが範囲外です

分類Dev

Pandasデータフレームでタプルを複数のインデックスに変換する

分類Dev

タプルインデックスを使用したデータフレームの連結

Related 関連記事

  1. 1

    Azureデータレイク-条件

  2. 2

    イテレータループとインデックスループ

  3. 3

    ARMテンプレートを使用したAzureデータレイクストレージアカウントでのファイルシステムの作成

  4. 4

    プレーンルビーのディレクトリタイプの構造

  5. 5

    テーブル行からのスクレイピープルデータ

  6. 6

    データフレーム内のデータをサイクルごとにグループ化する

  7. 7

    Ansibleプレイブックのリストデータをループする

  8. 8

    AzureBLOBストレージからAzureデータレイクストアへのファイルの対処

  9. 9

    バックグラウンドデータのAzureワーカーロールのデプロイ

  10. 10

    Azureデータレイクポート接続

  11. 11

    $ tfディレクトリを作成するパイプラインのAzureファイルコピータスク

  12. 12

    マルチプレイヤー/シングルクイズゲームのデータベース設計

  13. 13

    ログファイルのディレクトリ名をPysparkデータフレームにプルする

  14. 14

    Azure Devops-AzurePowerShellタスクがリリース/デプロイディレクトリを検索

  15. 15

    Azure KubernetesサービスノードプールOSディスクタイプを指定する方法は?

  16. 16

    C ++インプレースデストラクタコンパイル警告

  17. 17

    ブレーク付きループのイテレータ

  18. 18

    Webページからデータフレームにテーブルをスクレイプする方法

  19. 19

    Webページからデータフレームにテーブルをスクレイプする方法

  20. 20

    マップタイプでSparkデータフレームフィールドにアクセスする

  21. 21

    Oracleデータベースに対するコントロールブレークタイプSQL

  22. 22

    Oracleデータベースに対するコントロールブレークタイプSQL

  23. 23

    Azure ActiveDirectoryログインリダイレクトループ

  24. 24

    マルチインデックスデータフレームデータ抽出

  25. 25

    azure data factoryを使用して、Azureデータレイクディレクトリで利用可能なファイルの数を見つけます

  26. 26

    BeautifulSoupを使用してテーブルをデータフレームにスクレイプします

  27. 27

    データフレームからnp.array-IndexError:タプルインデックスが範囲外です

  28. 28

    Pandasデータフレームでタプルを複数のインデックスに変換する

  29. 29

    タプルインデックスを使用したデータフレームの連結

ホットタグ

アーカイブ