Azure Kubernetes Service(AKS)でのDaskKubernetesのビッグデータの操作

開発者

ラップトップのハードディスクにある8GBのデータセット(csvファイルなど)で分析を行いたい。私はすでにAKSにdaskkubernetesクラスターを1つのスケジューラーと3つのワーカー(それぞれ7 GB)でセットアップしました。

AKSでこのdaskkubernetesクラスターを使用してデータセットを操作するにはどうすればよいですか?この目的には、ワーカー間でデータセットを共有するためのどのファイルシステムが最適ですか?

このデータセットで簡単に作業できるように、このデータセットをどこに保存するかについての提案。

このメソッドは、jupyterノートブックとpythonファイルの両方からも機能するはずです。

MRocklin

おそらく、データをAzureBLOBストアにアップロードすることをお勧めします。daskリモートデータ(Azureを含む)の詳細については、次を参照してください。

https://docs.dask.org/en/latest/remote-data-services.html

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

AKS(Azure Managed Kubernetes)ですべてのコンピューティングを停止する

分類Dev

Azure AKS(Kubernetes)クラスターワーカーノードへのシェル(ssh)

分類Dev

Kubernetes + Docker + AWS = Azure + Service Fabricですか?

分類Dev

AzureのKubernetesクラスターにyamlをデプロイできません

分類Dev

How to add an Azure AKS Kubernetes Cluster self-signed CA to GitLab CI/CD Kubernetes integration?

分類Dev

Azure Kubernetes - Jaeger UI is not showing the Service deployed as a part of ISTIO?

分類Dev

Azure Container Service Kubernetes Unmanaged ssh&kube tls security

分類Dev

エラー:ポートの転送:接続のアップグレードエラー:バックエンドのダイヤルエラー:-Azure Kubernetes Service

分類Dev

Azure kubernetes-複数のゾーンに分散できますか?

分類Dev

Azure kubernetes-複数のゾーンに分散できますか?

分類Dev

AzureのKubernetesでポッドとして実行されているRESTベースのサービスと断続的なタイムアウト

分類Dev

Azure ContainerServiceのKubernetesバージョンの指定

分類Dev

Azure Kubernetes-Prometheus自動サービスディスカバリ?

分類Dev

Azure Kubernetes-Azure MonitorとSidecarLogshipping?

分類Dev

kubernetesポッドで実行されているPythonコードをデバッグするためのAzure開発スペース

分類Dev

Azure Kubernetes(AKS)はパブリックIPをリリースしません

分類Dev

Azure Kubernetes-Istio複数のロードバランサー?

分類Dev

Azure kubernetes-Nginxコントローラーの数は?

分類Dev

Kubernetes / Azure ACS:サービスの外部IPにアクセスできないのはなぜですか?

分類Dev

Azure Service Bus UnauthorizedError:InvalidSignature:トークンのKubernetesクラスター内に無効な署名があります

分類Dev

Azure kubernetes-複数のマネージドID?

分類Dev

クラスター内のポッドに出入りする接続を切断すると、どのAzure Kubernetes(AKS)の「タイムアウト」が発生しますか?

分類Dev

Spark for kubernetes-Azure BlobStorageの認証情報の問題

分類Dev

Azure Kubernetes ServiceでDocker Trusted Registryを使用できますか?

分類Dev

Azure Kubernetes 仮想ネットワーク アドレス空間の指定

分類Dev

NodePort は Azure Container Service (Kubernetes) で機能しますか

分類Dev

Azure Kubernetes Error when running "az aks get-credentials" command

分類Dev

Azure-WebジョブをASEからKubernetes(AKS)に移動するための移行オプション

分類Dev

Azure kubernetes-Azure API管理にサービスを登録しますか?

Related 関連記事

  1. 1

    AKS(Azure Managed Kubernetes)ですべてのコンピューティングを停止する

  2. 2

    Azure AKS(Kubernetes)クラスターワーカーノードへのシェル(ssh)

  3. 3

    Kubernetes + Docker + AWS = Azure + Service Fabricですか?

  4. 4

    AzureのKubernetesクラスターにyamlをデプロイできません

  5. 5

    How to add an Azure AKS Kubernetes Cluster self-signed CA to GitLab CI/CD Kubernetes integration?

  6. 6

    Azure Kubernetes - Jaeger UI is not showing the Service deployed as a part of ISTIO?

  7. 7

    Azure Container Service Kubernetes Unmanaged ssh&kube tls security

  8. 8

    エラー:ポートの転送:接続のアップグレードエラー:バックエンドのダイヤルエラー:-Azure Kubernetes Service

  9. 9

    Azure kubernetes-複数のゾーンに分散できますか?

  10. 10

    Azure kubernetes-複数のゾーンに分散できますか?

  11. 11

    AzureのKubernetesでポッドとして実行されているRESTベースのサービスと断続的なタイムアウト

  12. 12

    Azure ContainerServiceのKubernetesバージョンの指定

  13. 13

    Azure Kubernetes-Prometheus自動サービスディスカバリ?

  14. 14

    Azure Kubernetes-Azure MonitorとSidecarLogshipping?

  15. 15

    kubernetesポッドで実行されているPythonコードをデバッグするためのAzure開発スペース

  16. 16

    Azure Kubernetes(AKS)はパブリックIPをリリースしません

  17. 17

    Azure Kubernetes-Istio複数のロードバランサー?

  18. 18

    Azure kubernetes-Nginxコントローラーの数は?

  19. 19

    Kubernetes / Azure ACS:サービスの外部IPにアクセスできないのはなぜですか?

  20. 20

    Azure Service Bus UnauthorizedError:InvalidSignature:トークンのKubernetesクラスター内に無効な署名があります

  21. 21

    Azure kubernetes-複数のマネージドID?

  22. 22

    クラスター内のポッドに出入りする接続を切断すると、どのAzure Kubernetes(AKS)の「タイムアウト」が発生しますか?

  23. 23

    Spark for kubernetes-Azure BlobStorageの認証情報の問題

  24. 24

    Azure Kubernetes ServiceでDocker Trusted Registryを使用できますか?

  25. 25

    Azure Kubernetes 仮想ネットワーク アドレス空間の指定

  26. 26

    NodePort は Azure Container Service (Kubernetes) で機能しますか

  27. 27

    Azure Kubernetes Error when running "az aks get-credentials" command

  28. 28

    Azure-WebジョブをASEからKubernetes(AKS)に移動するための移行オプション

  29. 29

    Azure kubernetes-Azure API管理にサービスを登録しますか?

ホットタグ

アーカイブ