Вопросы по теме 'hdf5'
Как мне назначить масштабы (или физические размеры) для наборов данных HDF5 в h5py?
Я пытаюсь экспортировать научные данные через h5py в формат контейнера HDF5 для чтения другим программным обеспечением.
У меня есть 7-мерный массив numpy, для которого я создаю набор данных через h5py.File.create_dataset (). Это прекрасно...
1986 просмотров
schedule
19.09.2021
Чтение строки из hdf5 в C ++
Я читаю наборы данных из файла H5 в Microsoft Visual C ++ 2008. Все работает нормально для данных типа int и double, но я сталкиваюсь с проблемами, когда сталкиваюсь со строками. В файле H5 у меня 18 строк фиксированной длины 24. Мой код выглядит...
3801 просмотров
schedule
07.11.2021
(В Pandas) Почему теряется информация о частоте при сохранении в HDF5 в виде таблицы?
Я храню данные таймсерий в формате HDF5 в пандах. Поскольку я хочу иметь доступ к данным непосредственно на диске, я использую формат PyTable с table=True при записи.
Похоже, что я теряю информацию о частоте моих объектов TimeSeries после их...
303 просмотров
schedule
09.09.2021
Как можно получить доступ к произвольным группам в файле hdf5 с помощью pytables?
Хотите получить доступ / создать произвольную группу в файле db HDF5 с помощью pytables. Файл имеет следующую структуру:
db
|_ user_00 # Group
|_ subjectTable # TableObject
|_ subject_00 # GroupObject...
1006 просмотров
schedule
11.09.2021
Загрузка csv и сохранение HDF5 в Python
Я пытаюсь импортировать данные из текстового файла (три столбца с плавающей запятой, 65341 строк, разделенных одним или несколькими пробелами) и сохранить их в файл HDF5. Я пытаюсь сохранить их в таблице, которая является дочерней для трех групп,...
1752 просмотров
schedule
18.11.2021
Загрузка данных из HDF5 в вектор на C ++
Обновление : посмотрев на h5dump, оказалось, что это составной формат данных. Полагаю, я виноват в использовании python для создания этих чертовых файлов!
фрагмент из h5dump:
DATASET "dset1" {
DATATYPE H5T_COMPOUND {...
6702 просмотров
schedule
19.11.2021
HDF5 Атрибут беззнаковое длинное длинное значение
Когда я пытаюсь добавить в набор данных атрибут unsigned long long, добавляется атрибут, но не значение. Использование аналогичного метода для целого числа, кажется, работает файл.
Я использую вид HDF для просмотра атрибутов. Имена атрибутов...
349 просмотров
schedule
20.10.2021
Можно ли передавать данные в формате HDF5 по конвейеру?
Можно ли записать HDF5 в стандартный вывод и прочитать из стандартного ввода (через H5::File file("/dev/stdout",H5F_ACC_RDONLY) или иначе)?
Я хочу иметь программу foo для записи в файл HDF5 (например, в качестве первого аргумента) и другую...
195 просмотров
schedule
20.10.2021
Совет (лучшие практики) по работе с большим количеством больших 2D-массивов в файлах HDF5
Я использую программу Python для записи массива 4000x4000 в файл hdf5. Затем я читаю данные c-программой, где они мне нужны в качестве входных данных для моделирования. Мне нужно примерно 1000 из этих массивов 4000x4000 (то есть я выполняю 1000...
1209 просмотров
schedule
29.09.2021
HDF5 использует все идентификаторы ресурсов для DataSpaces и выходов (C ++ API)
РЕДАКТИРОВАТЬ: Оказывается, в библиотеке HDF5 C ++ 1.8.15 есть (известная?) Утечка памяти в отношении DataSet.getSpace ().
Я написал простую функцию обхода, которая позволяет избежать утечки кода путем исправления ошибок в библиотеке C. В связи с...
422 просмотров
schedule
03.12.2021
Точечное произведение массива hdf5
Я делаю нейронную сеть, входной массив которой представляет собой массив X hdf5, а матрица весов - W1. Я пытаюсь сделать точечный продукт этих 2, как показано ниже, и использовать его в другом массиве hdf5.
f = h5py.File('z2.hdf5')
self.f['z2'] =...
400 просмотров
schedule
30.11.2021
Должен ли я открывать / закрывать файл повторно или держать его открытым в течение длительного периода времени (~ 1 неделя)?
Я реализую сбор данных для программы инверсии цепи Маркова Монте-Карло. Однако на выполнение MCMC может уйти неделя или больше! Не лучше ли открыть файл в начале прогона:
with h5py.File('my_data.hdf5', 'r+', libver='latest') as fp:...
464 просмотров
schedule
07.11.2021
Создайте Boost Python с помощью HDF5
У меня есть программа на C ++, которая работает с файлами HDF5, поэтому при ее компиляции мне действительно нужно использовать компилятор h5c ++ вместо g ++. Теперь я хочу создать привязку Boost.Python для этой программы на C ++. Поэтому я выполнил...
149 просмотров
schedule
25.09.2021
pandas.HDFStore: Как изменить data_columns для существующего магазина? Я хочу добавить индекс в столбец не в столбцы данных
Я создал большой (120 ГБ; 1 миллиард строк) файл HDF5 с помощью pandas. После первоначального создания файла hdf я добавил в файл так:
with pd.get_store(path_output) as hdf_output:
for i in range(BIG_LOOP):
df = ......
1311 просмотров
schedule
15.11.2021
Как я могу обновить файл npz в Python?
У меня есть большой набор данных, который я хочу сохранить в файле npz. Но поскольку размер файла велик для памяти, я не могу сохранить их в файле npz. Теперь я хочу вставлять данные в итерациях в файл npz. Как я могу это сделать? Неужели для...
440 просмотров
schedule
13.11.2021
Сотрудничество Google, Керас: Сохраните модель в формате файла HDF5 и загрузите ее на ноутбук.
Я обучаю небольшую модель RNN в Google Collab с использованием графического процессора. Обычно я сохраняю свою модель и веса в формате файла HDF5.
На локальном компьютере (ноутбуке) я делаю это в следующей процедуре
sudo pip install h5py...
6294 просмотров
schedule
15.09.2021
C ++: Armadillo не хочет сотрудничать с форматом hdf5
Недавно я решил хранить свои данные в двоичном формате hdf5 вместо файлов ASCII. Я хотел бы использовать формат hdf5. В основном идея состоит в том, чтобы заголовок и данные были в одном файле (заголовок ASCII не двоичный формат, а затем двоичный...
581 просмотров
schedule
03.12.2021
Разыменовывание объекта h5py очень медленно?
Я пытаюсь прочитать набор данных SVHN ( http://ufldl.stanford.edu/housenumbers/ ) [полная версия]. Это hdf5, поэтому я попытался использовать h5py (так как pandas нужно время, чтобы его прочитать).
Таким образом, я попробовал метод, описанный в...
71 просмотров
schedule
19.10.2021
Проблема с экспортом Pandas DataFrame с объектом, содержащим документы в байтах
Я пытаюсь экспортировать DataFrame, который содержит документы как байтовые объекты, однако я не могу найти подходящий формат файла, который не включает относительно небольшой ( использование памяти: 254,3+ КБ ) DataFrame, расширяющийся во что-то в...
112 просмотров
schedule
05.11.2021
Как использовать h5py для доступа к нескольким файлам HDF5, хранящимся на общих дисках Google? Данные в разных файлах в Python выглядят одинаково.
Я пытаюсь использовать h5py для доступа (чтения / записи / копирования) к нескольким файлам HDF5, которые хранятся на общем диске Google. Я использую Google File Stream, и мой общий диск Google отображается в проводнике как подключенный диск (G :)....
761 просмотров
schedule
08.11.2021
