如何读取一个hdf5数据文件中的批次以进行培训?

karl_TUM

我有一个带有size的hdf5训练数据集(21760, 1, 33, 33)21760是训练样本的总数。我想使用具有大小的微型批量训练数据128来训练网络。

我想问问:

如何给128从tensorflow每次整个数据集小批量的训练数据?

凯夫曼

您可以将hdf5数据集读取到numpy数组中,并将numpy数组的切片供入TensorFlow模型。像下面这样的伪代码将起作用:

import numpy, h5py
f = h5py.File('somefile.h5','r')
data = f.get('path/to/my/dataset')
data_as_array = numpy.array(data)
for i in range(0, 21760, 128):
  sess.run(train_op, feed_dict={input:data_as_array[i:i+128, :, :, :]})

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何读取一个hdf5数据文件中的批次以进行培训?

来自分类Dev

为什么我不能从一个文件夹中读取多个HDF5文件?同时,我可以很好地读取单个HDF5文件...(Python 3.7)

来自分类Dev

向HDF5文件中添加新数据会导致一个空数组

来自分类Dev

如何在 Fortran 中读取数据文件中一行的一小段(一个值)?

来自分类Dev

将几个hdf5文件合并到一个pytable中

来自分类Dev

将几个hdf5文件合并到一个pytable中

来自分类Dev

从HDF5文件中的数据集中读取数据类型并进行检测

来自分类Dev

如何通过与另一个数据文件进行比较来提取数据文件中的某些行?(合并中)

来自分类Dev

如何从文件中子集非常大的HDF5数据集并将其写入另一个文件?

来自分类Dev

hdf5有一个数据blob [600000,1,7,256]。如何在Matlab中使用Caffe进行减法?

来自分类Dev

如何使用python将Hdf5文件部分复制到一个保持相同结构的新文件中?

来自分类Dev

如何使用python将Hdf5文件部分复制到一个保持相同结构的新文件中?

来自分类Dev

读取多个csv数据文件并将数据排序到一个新的csv文件中

来自分类Dev

如何在浏览器中的javascript中读取hdf5文件

来自分类Dev

如何在浏览器中的javascript中读取hdf5文件

来自分类Dev

如何删除数据文件中每组列的第一个子集?

来自分类Dev

如何在Julia中读取复杂的HDF5阵列?

来自分类Dev

读取HDF5文件

来自分类Dev

有没有一种方法可以将指定的表快速提取到另一个HDF5文件中?

来自分类Dev

我如何使用Keras训练有素保存在一个文件HDF5作出预测模型?

来自分类Dev

R:如何读取固定宽度的数据文件,其中数据连接成两组,堆叠在一个文件的顶部

来自分类Dev

如何使用C ++ API在HDF5文件中写入/读取锯齿状阵列?

来自分类Dev

如何在Angular2中使用路由参数创建一个外部JSON数据文件?

来自分类Dev

如何使用h5py从HDF5数据集中读取字符串

来自分类Dev

如何使用Python和h5py读取HDF5属性(元数据)

来自分类Dev

h5py:如何读取hdf5文件的选定行?

来自分类Dev

使用Python从1个进程使用HDF5和MPI写入/读取大文件

来自分类Dev

使用Python从1个进程使用HDF5和MPI写入/读取大文件

来自分类Dev

如何从多个文件中读取数据并将其存储在另一个文件中

Related 相关文章

  1. 1

    如何读取一个hdf5数据文件中的批次以进行培训?

  2. 2

    为什么我不能从一个文件夹中读取多个HDF5文件?同时,我可以很好地读取单个HDF5文件...(Python 3.7)

  3. 3

    向HDF5文件中添加新数据会导致一个空数组

  4. 4

    如何在 Fortran 中读取数据文件中一行的一小段(一个值)?

  5. 5

    将几个hdf5文件合并到一个pytable中

  6. 6

    将几个hdf5文件合并到一个pytable中

  7. 7

    从HDF5文件中的数据集中读取数据类型并进行检测

  8. 8

    如何通过与另一个数据文件进行比较来提取数据文件中的某些行?(合并中)

  9. 9

    如何从文件中子集非常大的HDF5数据集并将其写入另一个文件?

  10. 10

    hdf5有一个数据blob [600000,1,7,256]。如何在Matlab中使用Caffe进行减法?

  11. 11

    如何使用python将Hdf5文件部分复制到一个保持相同结构的新文件中?

  12. 12

    如何使用python将Hdf5文件部分复制到一个保持相同结构的新文件中?

  13. 13

    读取多个csv数据文件并将数据排序到一个新的csv文件中

  14. 14

    如何在浏览器中的javascript中读取hdf5文件

  15. 15

    如何在浏览器中的javascript中读取hdf5文件

  16. 16

    如何删除数据文件中每组列的第一个子集?

  17. 17

    如何在Julia中读取复杂的HDF5阵列?

  18. 18

    读取HDF5文件

  19. 19

    有没有一种方法可以将指定的表快速提取到另一个HDF5文件中?

  20. 20

    我如何使用Keras训练有素保存在一个文件HDF5作出预测模型?

  21. 21

    R:如何读取固定宽度的数据文件,其中数据连接成两组,堆叠在一个文件的顶部

  22. 22

    如何使用C ++ API在HDF5文件中写入/读取锯齿状阵列?

  23. 23

    如何在Angular2中使用路由参数创建一个外部JSON数据文件?

  24. 24

    如何使用h5py从HDF5数据集中读取字符串

  25. 25

    如何使用Python和h5py读取HDF5属性(元数据)

  26. 26

    h5py:如何读取hdf5文件的选定行?

  27. 27

    使用Python从1个进程使用HDF5和MPI写入/读取大文件

  28. 28

    使用Python从1个进程使用HDF5和MPI写入/读取大文件

  29. 29

    如何从多个文件中读取数据并将其存储在另一个文件中

热门标签

归档