ラップトップのハードディスクにある8GBのデータセット(csvファイルなど)で分析を行いたい。私はすでにAKSにdaskkubernetesクラスターを1つのスケジューラーと3つのワーカー(それぞれ7 GB)でセットアップしました。
AKSでこのdaskkubernetesクラスターを使用してデータセットを操作するにはどうすればよいですか?この目的には、ワーカー間でデータセットを共有するためのどのファイルシステムが最適ですか?
このデータセットで簡単に作業できるように、このデータセットをどこに保存するかについての提案。
このメソッドは、jupyterノートブックとpythonファイルの両方からも機能するはずです。
おそらく、データをAzureBLOBストアにアップロードすることをお勧めします。daskリモートデータ(Azureを含む)の詳細については、次を参照してください。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加