将数据从HDF5加载到C ++中的矢量

佐蒂

更新:查看h5dump后,事实证明这是一种复合数据格式。我使用python创建该死的文件的错!

来自h5dump的代码段:

DATASET "dset1" {
               DATATYPE  H5T_COMPOUND {
                  16-bit little-endian floating-point "value";

我有一堆HDF5文件,可以在Matlab中读写,但是现在我想使用C ++。在遵循以下示例之后,我仍然无法破解它。

从运行时遇到的错误来看,我认为我没有正确理解或正确实现内存类型。您如何知道要使用哪种内存类型?

下面是我的代码,以及在运行时遇到的错误。它在dset.read行失败。(我在这里尝试了各种实现/内存类型)。

HDFView在Windows 64位计算机上报告的数据集属性是32位浮点。该代码在Mint 17 64bit上运行。

编译使用:

g++ importH5.cpp -o importH5 -std=c++11 -lhdf5_cpp -lhdf5

ImportH5.cpp:

#include <iostream>
#include <string>
#include <vector>
#include <H5Cpp.h>

using namespace std;
using namespace H5;

int main()
{
    string ifn = "test.h5";
    string datasetPath = "/grp1/grp2/grp3/dset1";

    // Open HDF5 file handle, read only
    H5File fp(ifn.c_str(),H5F_ACC_RDONLY);

    // access the required dataset by path name
    DataSet dset = fp.openDataSet(datasetPath.c_str());

    // get the dataspace
    DataSpace dspace = dset.getSpace();

    // get the dataset type class
    H5T_class_t type_class = dset.getTypeClass();
    // According to HDFView, this is a 32-bit floating-point

    // get the size of the dataset
    hsize_t rank;
    hsize_t dims[2];
    rank = dspace.getSimpleExtentDims(dims, NULL); // rank = 1
    cout<<"Datasize: "<<dims[0]<<endl; // this is the correct number of values

    // Define the memory dataspace
    hsize_t dimsm[1];
    dimsm[0] = dims[0];
    DataSpace memspace (1,dimsm);


    // create a vector the same size as the dataset
    vector<float> data;
    data.resize(dims[0]);
    cout<<"Vectsize: "<<data.size()<<endl;


    float data_out[65341];
    for (int i=0;i<65341;i++)
    {
        data_out[i]=0;
    }
    // pass pointer to the array (or vector) to read function, along with the data type and space.
    dset.read(data_out, PredType::NATIVE_FLOAT, memspace, dspace); // FAILS
    dset.read(data_out, PredType::NATIVE_FLOAT, dspace);           // FAILS
    dset.read(data.data(), PredType::NATIVE_FLOAT, memspace, dspace); // FAILS


    // close the HDF5 file
    fp.close();



return 0;
}

错误:

Datasize: 65341
Vectsize: 65341
HDF5-DIAG: Error detected in HDF5 (1.8.11) thread 139863993304960:
  #000: ../../../src/H5Dio.c line 182 in H5Dread(): can't read data
    major: Dataset
    minor: Read failed
  #001: ../../../src/H5Dio.c line 438 in H5D__read(): unable to set up type info
    major: Dataset
    minor: Unable to initialize object
  #002: ../../../src/H5Dio.c line 939 in H5D__typeinfo_init(): unable to convert between src and dest datatype
    major: Dataset
    minor: Feature is unsupported
  #003: ../../../src/H5T.c line 4525 in H5T_path_find(): no appropriate function for conversion path
    major: Datatype
    minor: Unable to initialize object
terminate called after throwing an instance of 'H5::DataSetIException'
Aborted

如果使用的话,这是指向HDF5文件的链接:https : //dl.dropboxusercontent.com/u/63051/test.h5

蒂莫西·布朗(Timothy Brown)

是的,您的问题是使用python创建它。正如您所提到的,它已将其放入复合数据类型中。

你快到了...

首先,您需要创建一个结构来保存数据。让我们称呼它吧pyf(我想像不到-python float)。

struct pyf {
        float x;
};

然后,您需要将其更改data_out为这种类型。

struct pyf data_out[65341];
for (int i=0;i<65341;i++)
{
    data_out[i].x=0;
}

最后,您需要创建一个HDF5复合类型,并告诉它要从文件中获取什么成员:

CompType mtype( sizeof(struct pyf) );
mtype.insertMember("value", HOFFSET(struct pyf, x), PredType::NATIVE_FLOAT);
dset.read(data_out, mtype);

最后进行健全性检查:

for (int i=0;i<65341;i++)
{
    cout<<data_out[i].x << " ";
    cout << endl;
} 

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将数据从HDF5加载到C ++中的矢量

来自分类Dev

如何将数组存储在无法加载到内存的hdf5文件中?

来自分类Dev

Python numpy MemoryError-将多个CSV文件加载到HDF5存储中并读入DataFrame

来自分类Dev

矢量用法中的C ++问题

来自分类Dev

如何在C ++中定义双精度矢量的矢量?

来自分类Dev

检查矢量项目并添加到C ++中的新矢量

来自分类Dev

将循环数据保存在矢量中

来自分类Dev

将字符指针存储在矢量中,C ++

来自分类Dev

Python(Pandas):将数据框存储在具有多索引的hdf5中

来自分类Dev

如何将HDF5数据映射到多个Python进程中?

来自分类Dev

将可绘制的矢量从SD卡加载到imageview中

来自分类Dev

如何从C / C ++中的HDF5数据类型获取数组大小

来自分类Dev

加载速度更快:Python中的pickle或hdf5

来自分类Dev

在Keras中从.hdf5加载模型权重时出错

来自分类Dev

MariaDB或MySQL中是否有矢量数据?

来自分类Dev

在python数据框中创建新的矢量

来自分类Dev

如何在Matlab中旋转矢量数据

来自分类Dev

如何更改mapbox中的矢量瓦片数据?

来自分类Dev

如何将图像存储在矢量中?

来自分类Dev

Go和C ++中的矢量性能

来自分类Dev

C ++中的矢量平衡点函数

来自分类Dev

C ++中的2D矢量问题

来自分类Dev

C将数据从txt文件加载到链接列表中

来自分类Dev

C# 实体框架 - 将数据加载到表单中

来自分类Dev

在Julia中调整HDF5数据集的大小

来自分类Dev

在HDF5 ArrayType中获取数据类型

来自分类Dev

无法在Python中创建HDF5数据集的引用

来自分类Dev

在HDF5 ArrayType中获取数据类型

来自分类Dev

无法在 Python 中创建 HDF5 数据集的引用