如何在 Tegra X2 上使用 TesnorFlow-GPU 模型进行推理?

托德

我是 Jetson tegra x2 板的新手。

我计划在 TX2 板上运行我的 tensorflow-gpu 模型,看看它们在那里的表现。这些模型在 GTX GPU 机器上进行训练和测试。

在 tx2 板上,Jetpack full 中没有 tensorflow。因此需要构建/安装 tensorflow,我已经看过几个教程并尝试过。我的 python 文件 train.py 和 test.py 需要 tensorflow-gpu。

现在我怀疑,如果在 tx2 板上构建 tensorflow-gpu 是正确的方法吗?

哦,TX2 上有 Nvidia TensorRT,这将完成部分工作,但是如何?对吗?

tensorflow 和 tensorRT 会共同替代 tensorflow-gpu 吗?但是怎么样?那么我必须在我的火车和测试 python 文件中进行哪些修改?

我真的需要为 tx2 构建 tensorflow 吗?我只需要推断我不想在那里接受培训。

我研究了不同的博客并尝试了几种选择,但现在事情有点混乱。

我的简单问题是:

使用在 GTX 机器上训练的 TensorFlow-GPU 深度学习模型在 Jetson TX2 板上完成推理的步骤是什么?

普雅达沃迪

最简单的方法是安装 NVIDIA 提供的轮子:https : //docs.nvidia.com/deeplearning/dgx/install-tf-jetsontx2/index.html

JetPack 已经安装了所有依赖项。

使用轮子安装 Tensorflow 后,您可以使用它,但您可以在其他平台上使用 Tensorflow。为了运行推理,您可以将 Tensorflow 模型下载到 TX2 内存中,并在其上运行您的 Tensorflow 推理脚本。

您还可以通过 TF-TRT 传递 Tensorflow 模型来优化它们:https ://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html只有一个 API 调用可以进行优化:create_inference_graph (...) 这将优化 Tensorflow 图(主要通过融合节点),并且还可以让您构建模型以降低精度以获得更好的加速。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在Ubuntu 14.04 x64上安装Theano,并对其进行配置,使其使用GPU?

来自分类Dev

如何在Windows上使用python与AMD GPU进行交互

来自分类Dev

如何在Xamarin应用(Android)中将数据提供给TesnorFlow lite模型?

来自分类Dev

如何在具有tensorflow2和keras的多GPU上训练模型?

来自分类Dev

如何在本地 rtx gpu 的 tpu 上训练 keras 模型

来自分类Dev

使用保存的模型进行TensorFlow推理

来自分类Dev

如何在专用GPU上运行glmark2?

来自分类Dev

如何在Keras模型中对仅推理的新端到端模型进行预处理

来自分类Dev

如何在GPU v100上使用fma?

来自分类Dev

如何在16.04 Xenial上使用nVidia GPU?

来自分类Dev

如何在GPU上并行运行多个模型的张量流推断?

来自分类Dev

Tegra4 surface2上的C ++放大器

来自分类Dev

如何在GPU集群(multi-gpu)上训练CNN?

来自分类Dev

如何在GPU上获取AdvancedSubtensor

来自分类Dev

如何在GPU上运行theano

来自分类Dev

如何使用 src(裁剪)编辑 javascript 图像对象的 x1 y1 x2 y2

来自分类Dev

如何在 Ubuntu 18.x 中的 Coffee Lake CPU 上启用集成 GPU(带 QSV)

来自分类Dev

如何在 CNN 模型中使用 tensorflow-gpu 获得可重现的结果?

来自分类Dev

如何在tensorflow中使用keras.utils.Sequence数据生成器和tf.distribute.MirroredStrategy进行多GPU模型训练?

来自分类Dev

如何使用CuPy在GPU上运行python?

来自分类Dev

如何在Java编程中使用GPU

来自分类Dev

如何在pytorch中使用GPU?

来自分类Dev

如何在Java编程中使用GPU

来自分类Dev

如何使用循环每 2.8 个单位创建新的 x1 和 x2 值?

来自分类Dev

多次使用保存的模型进行推理,而无需每次都重新加载模型

来自分类Dev

如何在Tensorflow中自动选择空闲GPU进行模型转换?

来自分类Dev

如何在Tensorflow中自动选择空闲GPU进行模型转换?

来自分类Dev

在Python中使用多个Darknet模型进行并行GPU执行

来自分类Dev

如何在视图模型上使用DelegateCommand?

Related 相关文章

  1. 1

    如何在Ubuntu 14.04 x64上安装Theano,并对其进行配置,使其使用GPU?

  2. 2

    如何在Windows上使用python与AMD GPU进行交互

  3. 3

    如何在Xamarin应用(Android)中将数据提供给TesnorFlow lite模型?

  4. 4

    如何在具有tensorflow2和keras的多GPU上训练模型?

  5. 5

    如何在本地 rtx gpu 的 tpu 上训练 keras 模型

  6. 6

    使用保存的模型进行TensorFlow推理

  7. 7

    如何在专用GPU上运行glmark2?

  8. 8

    如何在Keras模型中对仅推理的新端到端模型进行预处理

  9. 9

    如何在GPU v100上使用fma?

  10. 10

    如何在16.04 Xenial上使用nVidia GPU?

  11. 11

    如何在GPU上并行运行多个模型的张量流推断?

  12. 12

    Tegra4 surface2上的C ++放大器

  13. 13

    如何在GPU集群(multi-gpu)上训练CNN?

  14. 14

    如何在GPU上获取AdvancedSubtensor

  15. 15

    如何在GPU上运行theano

  16. 16

    如何使用 src(裁剪)编辑 javascript 图像对象的 x1 y1 x2 y2

  17. 17

    如何在 Ubuntu 18.x 中的 Coffee Lake CPU 上启用集成 GPU(带 QSV)

  18. 18

    如何在 CNN 模型中使用 tensorflow-gpu 获得可重现的结果?

  19. 19

    如何在tensorflow中使用keras.utils.Sequence数据生成器和tf.distribute.MirroredStrategy进行多GPU模型训练?

  20. 20

    如何使用CuPy在GPU上运行python?

  21. 21

    如何在Java编程中使用GPU

  22. 22

    如何在pytorch中使用GPU?

  23. 23

    如何在Java编程中使用GPU

  24. 24

    如何使用循环每 2.8 个单位创建新的 x1 和 x2 值?

  25. 25

    多次使用保存的模型进行推理,而无需每次都重新加载模型

  26. 26

    如何在Tensorflow中自动选择空闲GPU进行模型转换?

  27. 27

    如何在Tensorflow中自动选择空闲GPU进行模型转换?

  28. 28

    在Python中使用多个Darknet模型进行并行GPU执行

  29. 29

    如何在视图模型上使用DelegateCommand?

热门标签

归档