TensorFlowが複数のGPU、CPU、TPU、または複数のコンピューター（ワーカー）などの複数のデバイスでトレーニングできる分散トレーニングAPIを提供していることを知っています：https：//www.tensorflow.org/tutorials/distribute/multi_worker_with_keras
しかし、これは、データ並列処理を使用してトレインを分割し、複数のマシン（モバイルデバイスとコンピューターデバイスを含む）間でトレーニングするための可能な方法ですか？
チュートリアル/指示があれば本当にありがたいです。
私の知る限り、Tensorflowは、すべてのデバイスが同じネットワーク内にある必要があることを考慮して、分散トレーニング用にCPU、TPU、GPUのみをサポートしています。
複数のデバイスを接続する場合は、前述のように、マルチワーカートレーニングに従うことができます。
tf.distribute.Strategy統合されているtf.kerasのでとき、model.fit一緒に使用されるtf.distribute.Strategy場合、その後、使用strategy.scope()モデルのためvariables.Thisそれは等しく自分のデバイス上の入力データを分割することを可能にする分散作成することを可能にします。詳細については、このチュートリアルに従うことができます。
また、分散入力が役立つ場合があります。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加