在 Google Cloud ML 上以分布式模式运行 tensorflow 代码

阿普

有人知道需要对培训师进行哪些更改才能在 google cloud ML 的分布式平台上运行作业吗?

如果有人可以分享几篇相同的文章或文档,那将有很大帮助。

雷电80

总的来说,您的分布式 TensorFlow 程序将完全如此——分布式 TensorFlow,具有最少——甚至没有——特定于云的更改。分布式 TensorFlow 的最佳资源是tensorflow.org 上的本教程本教程将引导您了解低级的做事方式。

还有一个更高级别的 API,目前在 contrib 中(因此 API 可能会更改并将在未来版本中移出 contrib),它简化了您必须为分布式训练编写的样板代码量。官方教程在这里

一旦您了解了一般的 TensorFlow 位(无论是高级还是低级 API),您的代码中必须存在一些特定元素才能使其在 CloudML Engine 上运行。对于低级 TensorFlow API,您需要解析 TF_CONFIG 环境变量来设置您的 ClusterSpec。这在例示本实施例中(具体参见的代码块)。

高级 API 的一个优点是,所有这些解析都已经为您处理好了。您的代码通常应该可以正常工作。请参阅此示例重要的是,您将需要使用learn_runner.run()(请参阅行),它将在本地和云端工作以训练您的模型。

当然,还有其他框架,例如TensorFX

在适当地构建代码后,您只需在启动训练作业时选择具有多台机器的适当规模层(请参阅Chuck Finley 的回答示例)

希望能帮助到你!

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何修改 TensorFlow 代码以接受在 Google Cloud ML 上进行预测的样本?

来自分类Dev

用于推荐的 Google Cloud ML

来自分类Dev

在Google Cloud上的Docker上启动TensorFlow

来自分类Dev

在Google Cloud上的Docker上启动TensorFlow

来自分类Dev

示例代码使用Google Cloud ML服务和Cloud Shell对错误进行了重新训练

来自分类Dev

在Google Cloud Shell上设置环境以使用Cloud ML时出错

来自分类Dev

Google Cloud:如何在 Cloud Datalab 中使用 Cloud ML

来自分类Dev

Google Cloud ML Engine GPU 错误

来自分类Dev

Cloud ML Tensorflow 和 Cudnn 版本兼容性

来自分类Dev

如何在 Google Cloud ML Engine 上的 config.yaml 文件中添加用户特定的参数

来自分类Dev

无法删除 Google Cloud 上的 Tensorflow 训练作业

来自分类Dev

如何运行tensorflow分布式mnist示例

来自分类Dev

无法运行TensorFlow分布式MNIST测试

来自分类Dev

分布式Tensorflow错误/

来自分类Dev

分布式tensorflow源码

来自分类Dev

使用Python(mpi4py)在Google Cloud Engine上进行分布式编程

来自分类Dev

Tensorflow + LSF。LSF集群上的分布式张量流

来自分类Dev

Google Cloud ML控制台用户界面在哪里?

来自分类Dev

Google Cloud ML,扩展了先前的超参数调整

来自分类Dev

Google Cloud ML随附的TPU自定义芯片

来自分类Dev

如何解读 Google Cloud ML 预测结果?

来自分类Dev

Google Cloud ML Engine:创建模型版本失败

来自分类Dev

使用 Google Cloud ML Engine 和 XGBoost 调整超参数

来自分类Dev

如何在 Google Cloud ML 上定期训练和部署新的机器学习模型?如何自动化这个过程?

来自分类Dev

Python代码中的Google Cloud Datastore API

来自分类Dev

Google Cloud Functions:监视HTTP状态代码

来自分类Dev

Python代码中的Google Cloud Datastore API

来自分类Dev

Google Cloud Platform - 在代码中定义凭据

来自分类Dev

用于分布式计算的Tensorflow设置

Related 相关文章

  1. 1

    如何修改 TensorFlow 代码以接受在 Google Cloud ML 上进行预测的样本?

  2. 2

    用于推荐的 Google Cloud ML

  3. 3

    在Google Cloud上的Docker上启动TensorFlow

  4. 4

    在Google Cloud上的Docker上启动TensorFlow

  5. 5

    示例代码使用Google Cloud ML服务和Cloud Shell对错误进行了重新训练

  6. 6

    在Google Cloud Shell上设置环境以使用Cloud ML时出错

  7. 7

    Google Cloud:如何在 Cloud Datalab 中使用 Cloud ML

  8. 8

    Google Cloud ML Engine GPU 错误

  9. 9

    Cloud ML Tensorflow 和 Cudnn 版本兼容性

  10. 10

    如何在 Google Cloud ML Engine 上的 config.yaml 文件中添加用户特定的参数

  11. 11

    无法删除 Google Cloud 上的 Tensorflow 训练作业

  12. 12

    如何运行tensorflow分布式mnist示例

  13. 13

    无法运行TensorFlow分布式MNIST测试

  14. 14

    分布式Tensorflow错误/

  15. 15

    分布式tensorflow源码

  16. 16

    使用Python(mpi4py)在Google Cloud Engine上进行分布式编程

  17. 17

    Tensorflow + LSF。LSF集群上的分布式张量流

  18. 18

    Google Cloud ML控制台用户界面在哪里?

  19. 19

    Google Cloud ML,扩展了先前的超参数调整

  20. 20

    Google Cloud ML随附的TPU自定义芯片

  21. 21

    如何解读 Google Cloud ML 预测结果?

  22. 22

    Google Cloud ML Engine:创建模型版本失败

  23. 23

    使用 Google Cloud ML Engine 和 XGBoost 调整超参数

  24. 24

    如何在 Google Cloud ML 上定期训练和部署新的机器学习模型?如何自动化这个过程?

  25. 25

    Python代码中的Google Cloud Datastore API

  26. 26

    Google Cloud Functions:监视HTTP状态代码

  27. 27

    Python代码中的Google Cloud Datastore API

  28. 28

    Google Cloud Platform - 在代码中定义凭据

  29. 29

    用于分布式计算的Tensorflow设置

热门标签

归档