将keras fit_generator与max_queue_size,worker和use_multiprocessing一起使用

北极熊10

我很困惑如何使用max_queue_sizeworkers以及use_multiprocessingKeras文档

有人可以举例说明如果有的话如何使用它们

  • 1个GPU(Nvidia Quadro p1000)
  • 6个核心CPU和12个逻辑处理器

这是我基于对这三个领域的不科学猜测而使用的方法。

classifier.fit_generator(training_set,
                         steps_per_epoch = 8000,
                         epochs = 25,
                         validation_data = test_set,
                         validation_steps = 2000/32,
                         max_queue_size = 10,
                         use_multiprocessing = False,
                        workers=1)
蒂姆布斯·卡林(Timbus Calin)

MAX_QUEUE_SIZE- >如果在监视GPU使用情况时GPU空转(正在等待批处理),请增加此参数。理想情况下,GPU应该尽可能少地等待CPU提取数据。等待批处理意味着GPU内存消耗不是恒定的峰值(例如95%)。恰当的例子:监视GPU内存使用率时,您会看到很大的峰值(5%使用率,95%使用率,5%使用率,95%使用率)。95%和5%使用率之间time_difference实际上是GPU空闲时的时间如果您有用法差异,请增加此queue_size。

USE_MULTIPROCESSING- >可能会在Windows上产生错误(对我而言,这没有发生,但是我看到其他帖子,由于可能会冻结多处理问题),在基于Linux的系统上可以正常工作。如果要使用多个进程将数据提取到CPU,请将其设置为true。例如

 ..,use_multiprocessing = True, workers = 4)

以我的经验,这些参数可以协同工作。即,如果您想提高性能,可以尝试提高所有性能。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Keras:如何将fit_generator与不同类型的多个输出一起使用

来自分类Dev

将TFRecords与keras一起使用

来自分类Dev

将Tensorflow 1.13和Keras 2.2.4与Anaconda一起使用

来自分类Dev

Python无法将fit_generator应用于具有多个输入的keras模型

来自分类Dev

Keras fit_generator 使用输入和输出图像生成器“ndim”错误

来自分类Dev

使用.fit_generator()在keras中训练GAN

来自分类Dev

将加载的Keras分类器与自定义指标功能一起使用时出错

来自分类Dev

Keras fit_generator运行非常缓慢

来自分类Dev

是否有适用于 use_multiprocessing=True 的 fit_generator 的工作示例?

来自分类Dev

无法将Keras Generator图像传递到面部识别

来自分类Dev

如何将MultinomialNB与MultiOutputClassifier和partial_fit一起使用?

来自分类Dev

有没有办法将本地tf Attention层与keras Sequential API一起使用?

来自分类Dev

将tf.keras.layers与Tensorflow低级API结合使用

来自分类Dev

将 MAX 与 unsigned long 和 unsigned long 减法一起使用

来自分类Dev

使用keras fit_generator的Tensorboard回调,``函数''没有属性``fetch_callbacks''

来自分类Dev

使用 fit_generator 时,Keras 模型的批量大小为 1

来自分类Dev

使用fit_generator拟合keras模型时如何修复“MemoryError”?

来自分类Dev

将max与GPathResults列表一起使用

来自分类Dev

Keras ---在fit_generator()期间冻结训练

来自分类Dev

AsyncResult在tensorflow keras的fit_generator中意外挂起

来自分类Dev

Keras fit_generator(),这是正确的用法吗?

来自分类Dev

如何在Keras / Tensorflow中编写自定义损失函数,该函数将循环/迭代与参考numpy代码一起使用

来自分类Dev

将useState与[]和不与之一起使用,以及与{}一起使用时的区别

来自分类Dev

在 r 中使用 keras 将 acc 和 val_acc 归零

来自分类Dev

将Travis与R和rJava一起使用

来自分类Dev

将OpenLayers与RequireJS和AngularJS一起使用

来自分类Dev

将代理与HttpComponentsClientHttpRequestFactory和RestTemplate一起使用

来自分类Dev

将IOCP与send()和recv()一起使用

来自分类Dev

将MvcSiteMapProvider与属性和属性路由一起使用

Related 相关文章

  1. 1

    Keras:如何将fit_generator与不同类型的多个输出一起使用

  2. 2

    将TFRecords与keras一起使用

  3. 3

    将Tensorflow 1.13和Keras 2.2.4与Anaconda一起使用

  4. 4

    Python无法将fit_generator应用于具有多个输入的keras模型

  5. 5

    Keras fit_generator 使用输入和输出图像生成器“ndim”错误

  6. 6

    使用.fit_generator()在keras中训练GAN

  7. 7

    将加载的Keras分类器与自定义指标功能一起使用时出错

  8. 8

    Keras fit_generator运行非常缓慢

  9. 9

    是否有适用于 use_multiprocessing=True 的 fit_generator 的工作示例?

  10. 10

    无法将Keras Generator图像传递到面部识别

  11. 11

    如何将MultinomialNB与MultiOutputClassifier和partial_fit一起使用?

  12. 12

    有没有办法将本地tf Attention层与keras Sequential API一起使用?

  13. 13

    将tf.keras.layers与Tensorflow低级API结合使用

  14. 14

    将 MAX 与 unsigned long 和 unsigned long 减法一起使用

  15. 15

    使用keras fit_generator的Tensorboard回调,``函数''没有属性``fetch_callbacks''

  16. 16

    使用 fit_generator 时,Keras 模型的批量大小为 1

  17. 17

    使用fit_generator拟合keras模型时如何修复“MemoryError”?

  18. 18

    将max与GPathResults列表一起使用

  19. 19

    Keras ---在fit_generator()期间冻结训练

  20. 20

    AsyncResult在tensorflow keras的fit_generator中意外挂起

  21. 21

    Keras fit_generator(),这是正确的用法吗?

  22. 22

    如何在Keras / Tensorflow中编写自定义损失函数,该函数将循环/迭代与参考numpy代码一起使用

  23. 23

    将useState与[]和不与之一起使用,以及与{}一起使用时的区别

  24. 24

    在 r 中使用 keras 将 acc 和 val_acc 归零

  25. 25

    将Travis与R和rJava一起使用

  26. 26

    将OpenLayers与RequireJS和AngularJS一起使用

  27. 27

    将代理与HttpComponentsClientHttpRequestFactory和RestTemplate一起使用

  28. 28

    将IOCP与send()和recv()一起使用

  29. 29

    将MvcSiteMapProvider与属性和属性路由一起使用

热门标签

归档