Azure データ レイク ストアでの増分データ インジェストを処理またはアーキテクチャする方法は?

ハルシムランジート・シン

IP カメラに関連する画像用に、2 つのカスタム コード dll があります。

dll-One : IP カメラからイメージを抽出し、Azure データ レイク ストアに保存できます。

好き

  • /adls/clinic1/patientimages
  • /adls/clinic2/patientimages

dll-two : それらのイメージを使用して、そこから情報を抽出し、データを RDBMS テーブルにロードします。

たとえば、RDBMS には、dimpatient、dimclinic、factpatientVisit のエンティティがあるとします。

まず、1 回限りのデータを Azure データ レイク ストアの定義された場所にエクスポートできます。

お気に入り:

  • /adls/薄暗い
  • /adls/dimclinic
  • /adls/factpatientVisit

質問 :増分データを同じファイルにプッシュする方法、または Azure データ分析でこの増分負荷をどのように処理できますか?

これは、Azure Data Analytics にウェアハウスを実装するようなものです。

: Azure SQL データベースまたは Azure が提供するその他のストレージは望ましくありません。1 つのタイプのストレージにすべてのタイプのデータを保持する機能があるのに、他の Azure サービスに費やす理由があります。

adlsは、ADLS ストレージの名前です。

マイケル・リーズ

ご質問を完全に理解しているかどうかはわかりませんが、Azure Data Lake Store 内のデータ ファイルまたはパーティション化された U-SQL テーブル内の行を時間ディメンションに沿って整理できるため、増分ごとに新しいパーティション/ファイルを追加できます。一般に、スケーリング能力を維持するために、そのような増分はかなりのサイズにすることをお勧めします。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

AzureデータレイクとAzureデータウェアハウスに増分データロードを実装するためのベストプラクティス

分類Dev

PowerShellでAzureストレージアカウントインフラストラクチャの暗号化ステータスを取得する方法

分類Dev

ARMテンプレートを使用したAzureデータレイクストレージアカウントでのファイルシステムの作成

分類Dev

アラートを作成するために、Azure SQLデータベースリソースから割り当てられたストレージデータのパーセンテージメトリックを取得する方法はありますか?

分類Dev

AzureBLOBストレージからAzureデータレイクストアへのファイルの対処

分類Dev

カスタムジャージーエラー処理、クライアント側で応答をキャッチする方法は?

分類Dev

マイクロサービスアーキテクチャで重複データを処理する方法

分類Dev

アクティビティでRecyclerViewの外部のスイッチウィジェット(またはボタン)を処理する方法

分類Dev

Azureデータウェアハウスでプロシージャとスキーマ名を取得するためのスクリプト

分類Dev

Azure ARMテンプレートのデプロイ:追加のデータディスクを追加すると、既存のデータディスクがアタッチ解除されます

分類Dev

SQL Azureでの非クラスター化インデックスの作成は、非常に多くのストレージスペースを占有します

分類Dev

プロジェクトOrleansのグレインでリレーショナルデータベースのレガシーデータを処理するためのベストプラクティスは何ですか?

分類Dev

Azureポータルを使用してCosmosDBデータベースをクリアする方法またはすべてのアイテムを削除する方法

分類Dev

OOA&D / Java /ソフトウェアアーキテクチャ-複雑なデータフローを回避するためのイベント処理コードの構造化に関するアドバイス

分類Dev

Azure関数を呼び出してスノーフレークのプロシージャを呼び出してデータをロードすると、消費プランでタイムアウトが発生しますが、これを実現する別の方法はありますか?

分類Dev

クライアント側の処理でデータテーブルを遅延ロードする方法は?

分類Dev

ValueErrorを修正する方法:分類メトリックは、モデルのマルチクラスターゲットとマルチラベルインジケーターターゲットの組み合わせを処理できませんか?

分類Dev

Azure DataFactoryのコピーアクティビティ内でMongoDBソースデータセットをフィルター処理する

分類Dev

Presenterは、AndroidのMVPデザインアーキテクチャでViewのすべてのイベントを処理する必要がありますか?

分類Dev

Django / DRFを使用するときに、循環インポートを処理および/または回避する方法に関するアーキテクチャ上のアドバイスが必要です

分類Dev

Azureデータレイクループ

分類Dev

docker-composeを使用したCLIを使用したAzureへのデプロイでは、エージェントページにアクセスしたときにタイムアウトが発生します

分類Dev

Azureテーブルストレージ-データレイクファイル-USQLを介して単一行のSelectステートメントをフェッチするために起動された場合の応答時間が遅い

分類Dev

Fluxアーキテクチャでは、同じタイプのデータを格納するストアをどのように管理しますか?

分類Dev

Azure SQLデータベースのデータには、AzureにデプロイされたCordaノードからアクセスできますか?

分類Dev

Entity Framework Coreデータベースの最初のアプローチでは、エンティティをインフラストラクチャレイヤーから分離するにはどうすればよいですか?

分類Dev

Entity Framework Coreデータベースの最初のアプローチでは、エンティティをインフラストラクチャレイヤーから分離するにはどうすればよいですか?

分類Dev

スタックレイヤーコンテキストを考慮してJavaScriptキーバインディングを処理する方法は?

分類Dev

Azure Web Appでスタートアップタスクを作成する(または依存関係をインストールする)方法は?

Related 関連記事

  1. 1

    AzureデータレイクとAzureデータウェアハウスに増分データロードを実装するためのベストプラクティス

  2. 2

    PowerShellでAzureストレージアカウントインフラストラクチャの暗号化ステータスを取得する方法

  3. 3

    ARMテンプレートを使用したAzureデータレイクストレージアカウントでのファイルシステムの作成

  4. 4

    アラートを作成するために、Azure SQLデータベースリソースから割り当てられたストレージデータのパーセンテージメトリックを取得する方法はありますか?

  5. 5

    AzureBLOBストレージからAzureデータレイクストアへのファイルの対処

  6. 6

    カスタムジャージーエラー処理、クライアント側で応答をキャッチする方法は?

  7. 7

    マイクロサービスアーキテクチャで重複データを処理する方法

  8. 8

    アクティビティでRecyclerViewの外部のスイッチウィジェット(またはボタン)を処理する方法

  9. 9

    Azureデータウェアハウスでプロシージャとスキーマ名を取得するためのスクリプト

  10. 10

    Azure ARMテンプレートのデプロイ:追加のデータディスクを追加すると、既存のデータディスクがアタッチ解除されます

  11. 11

    SQL Azureでの非クラスター化インデックスの作成は、非常に多くのストレージスペースを占有します

  12. 12

    プロジェクトOrleansのグレインでリレーショナルデータベースのレガシーデータを処理するためのベストプラクティスは何ですか?

  13. 13

    Azureポータルを使用してCosmosDBデータベースをクリアする方法またはすべてのアイテムを削除する方法

  14. 14

    OOA&D / Java /ソフトウェアアーキテクチャ-複雑なデータフローを回避するためのイベント処理コードの構造化に関するアドバイス

  15. 15

    Azure関数を呼び出してスノーフレークのプロシージャを呼び出してデータをロードすると、消費プランでタイムアウトが発生しますが、これを実現する別の方法はありますか?

  16. 16

    クライアント側の処理でデータテーブルを遅延ロードする方法は?

  17. 17

    ValueErrorを修正する方法:分類メトリックは、モデルのマルチクラスターゲットとマルチラベルインジケーターターゲットの組み合わせを処理できませんか?

  18. 18

    Azure DataFactoryのコピーアクティビティ内でMongoDBソースデータセットをフィルター処理する

  19. 19

    Presenterは、AndroidのMVPデザインアーキテクチャでViewのすべてのイベントを処理する必要がありますか?

  20. 20

    Django / DRFを使用するときに、循環インポートを処理および/または回避する方法に関するアーキテクチャ上のアドバイスが必要です

  21. 21

    Azureデータレイクループ

  22. 22

    docker-composeを使用したCLIを使用したAzureへのデプロイでは、エージェントページにアクセスしたときにタイムアウトが発生します

  23. 23

    Azureテーブルストレージ-データレイクファイル-USQLを介して単一行のSelectステートメントをフェッチするために起動された場合の応答時間が遅い

  24. 24

    Fluxアーキテクチャでは、同じタイプのデータを格納するストアをどのように管理しますか?

  25. 25

    Azure SQLデータベースのデータには、AzureにデプロイされたCordaノードからアクセスできますか?

  26. 26

    Entity Framework Coreデータベースの最初のアプローチでは、エンティティをインフラストラクチャレイヤーから分離するにはどうすればよいですか?

  27. 27

    Entity Framework Coreデータベースの最初のアプローチでは、エンティティをインフラストラクチャレイヤーから分離するにはどうすればよいですか?

  28. 28

    スタックレイヤーコンテキストを考慮してJavaScriptキーバインディングを処理する方法は?

  29. 29

    Azure Web Appでスタートアップタスクを作成する(または依存関係をインストールする)方法は?

ホットタグ

アーカイブ