Загрузка данных из HDF5 в вектор на C ++

Обновление: посмотрев на h5dump, оказалось, что это составной формат данных. Полагаю, я виноват в использовании python для создания этих чертовых файлов!

фрагмент из h5dump:

DATASET "dset1" {
               DATATYPE  H5T_COMPOUND {
                  16-bit little-endian floating-point "value";

У меня есть куча файлов HDF5, которые я могу читать и писать в Matlab, но теперь я хочу использовать C ++. После следующих примеров я все еще не могу его взломать.

Я не думаю, что я правильно понимаю или реализую типы памяти, судя по ошибке, которую я получаю во время выполнения. Как узнать, какие типы памяти использовать?

Ниже мой код и ошибка, которую я получаю во время выполнения. Ошибка в строке dset.read. (Здесь я пробовал различные реализации / типы памяти).

Свойства набора данных, сообщаемые HDFView на 64-битной машине Windows, являются 32-битными с плавающей запятой. Код работает на Mint 17 64bit.

Скомпилировано с использованием:

g++ importH5.cpp -o importH5 -std=c++11 -lhdf5_cpp -lhdf5

ImportH5.cpp:

#include <iostream>
#include <string>
#include <vector>
#include <H5Cpp.h>

using namespace std;
using namespace H5;

int main()
{
    string ifn = "test.h5";
    string datasetPath = "/grp1/grp2/grp3/dset1";

    // Open HDF5 file handle, read only
    H5File fp(ifn.c_str(),H5F_ACC_RDONLY);

    // access the required dataset by path name
    DataSet dset = fp.openDataSet(datasetPath.c_str());

    // get the dataspace
    DataSpace dspace = dset.getSpace();

    // get the dataset type class
    H5T_class_t type_class = dset.getTypeClass();
    // According to HDFView, this is a 32-bit floating-point

    // get the size of the dataset
    hsize_t rank;
    hsize_t dims[2];
    rank = dspace.getSimpleExtentDims(dims, NULL); // rank = 1
    cout<<"Datasize: "<<dims[0]<<endl; // this is the correct number of values

    // Define the memory dataspace
    hsize_t dimsm[1];
    dimsm[0] = dims[0];
    DataSpace memspace (1,dimsm);


    // create a vector the same size as the dataset
    vector<float> data;
    data.resize(dims[0]);
    cout<<"Vectsize: "<<data.size()<<endl;


    float data_out[65341];
    for (int i=0;i<65341;i++)
    {
        data_out[i]=0;
    }
    // pass pointer to the array (or vector) to read function, along with the data type and space.
    dset.read(data_out, PredType::NATIVE_FLOAT, memspace, dspace); // FAILS
    dset.read(data_out, PredType::NATIVE_FLOAT, dspace);           // FAILS
    dset.read(data.data(), PredType::NATIVE_FLOAT, memspace, dspace); // FAILS


    // close the HDF5 file
    fp.close();



return 0;
}

И ошибка:

Datasize: 65341
Vectsize: 65341
HDF5-DIAG: Error detected in HDF5 (1.8.11) thread 139863993304960:
  #000: ../../../src/H5Dio.c line 182 in H5Dread(): can't read data
    major: Dataset
    minor: Read failed
  #001: ../../../src/H5Dio.c line 438 in H5D__read(): unable to set up type info
    major: Dataset
    minor: Unable to initialize object
  #002: ../../../src/H5Dio.c line 939 in H5D__typeinfo_init(): unable to convert between src and dest datatype
    major: Dataset
    minor: Feature is unsupported
  #003: ../../../src/H5T.c line 4525 in H5T_path_find(): no appropriate function for conversion path
    major: Datatype
    minor: Unable to initialize object
terminate called after throwing an instance of 'H5::DataSetIException'
Aborted

А вот ссылка на файл HDF5, если он вам нужен: https://dl.dropboxusercontent.com/u/63051/test.h5


c++ hdf5
person zotty    schedule 29.08.2014    source источник
comment
После того, как вы позвоните rank = dspace.getSimpleExtentDims(dims, NULL);, каково значение rank?   -  person Anton Savin    schedule 29.08.2014
comment
Используя cout ‹< rank, я получаю значение 1 (обновлю вопрос, чтобы прояснить это)   -  person zotty    schedule 29.08.2014

Ответы (1)


arrow_upward
1
arrow_downward

Да, ваша проблема связана с использованием Python для ее создания. Как вы уже упоминали, он поместил его в составной тип данных.

Вы почти там...

Сначала вам нужно создать структуру для хранения данных. Назовем это pyf (без воображения - python float).

struct pyf {
        float x;
};

Затем вам нужно изменить свой data_out на этот тип.

struct pyf data_out[65341];
for (int i=0;i<65341;i++)
{
    data_out[i].x=0;
}

Наконец, вам нужно создать составной тип HDF5 и указать ему, какой член вы хотите от файла:

CompType mtype( sizeof(struct pyf) );
mtype.insertMember("value", HOFFSET(struct pyf, x), PredType::NATIVE_FLOAT);
dset.read(data_out, mtype);

Наконец, проверка работоспособности:

for (int i=0;i<65341;i++)
{
    cout<<data_out[i].x << " ";
    cout << endl;
}
person Timothy Brown    schedule 29.08.2014
comment
Работает удовольствие! Я думаю, что собираюсь воссоздать HDF5 с помощью другого метода (C или C ++), чтобы избежать этого - нет смысла оставлять реликвию сложности для будущих головных болей! - person zotty; 29.08.2014