Вопросы по теме 'pytables'
Параллельное программирование глобального массива на кластерах распределенной памяти с помощью Python
Я ищу библиотеку python, которая расширяет функциональность numpy до операций в кластере распределенной памяти: то есть «модель параллельного программирования, в которой программист рассматривает массив как единый глобальный массив, а не как несколько...
764 просмотров
schedule
04.11.2021
(В Pandas) Почему теряется информация о частоте при сохранении в HDF5 в виде таблицы?
Я храню данные таймсерий в формате HDF5 в пандах. Поскольку я хочу иметь доступ к данным непосредственно на диске, я использую формат PyTable с table=True при записи.
Похоже, что я теряю информацию о частоте моих объектов TimeSeries после их...
303 просмотров
schedule
09.09.2021
фильтрация таблицы pytables при импорте панд
У меня есть набор данных, созданный с помощью pytables, который я пытаюсь импортировать в фреймворк pandas. Я не могу применить where фильтр к read_hdf шагу. Я на пандах 0.12.0
Мои образцы данных pytables:
import tables
import pandas as...
1338 просмотров
schedule
30.11.2021
Как можно получить доступ к произвольным группам в файле hdf5 с помощью pytables?
Хотите получить доступ / создать произвольную группу в файле db HDF5 с помощью pytables. Файл имеет следующую структуру:
db
|_ user_00 # Group
|_ subjectTable # TableObject
|_ subject_00 # GroupObject...
1006 просмотров
schedule
11.09.2021
Загрузка csv и сохранение HDF5 в Python
Я пытаюсь импортировать данные из текстового файла (три столбца с плавающей запятой, 65341 строк, разделенных одним или несколькими пробелами) и сохранить их в файл HDF5. Я пытаюсь сохранить их в таблице, которая является дочерней для трех групп,...
1752 просмотров
schedule
18.11.2021
pandas.HDFStore: Как изменить data_columns для существующего магазина? Я хочу добавить индекс в столбец не в столбцы данных
Я создал большой (120 ГБ; 1 миллиард строк) файл HDF5 с помощью pandas. После первоначального создания файла hdf я добавил в файл так:
with pd.get_store(path_output) as hdf_output:
for i in range(BIG_LOOP):
df = ......
1311 просмотров
schedule
15.11.2021
Могу ли я статически ввести массив h5file в Cython?
Я разрабатываю библиотеку, которая использует Cython на низком уровне для решения проблем с потоками в 2D-массивах. Если эти массивы представляют собой массивы numpy, я могу статически ввести их, что позволит избежать накладных расходов...
87 просмотров
schedule
13.03.2022
Numpy эффективное умножение больших матриц
Для хранения большой матрицы на диске я использую numpy.memmap.
Вот пример кода для проверки умножения больших матриц:
import numpy as np
import time
rows= 10000 # it can be large for example 1kk
cols= 1000
#create some data in memory
data =...
3404 просмотров
schedule
20.03.2022
писать и читать на pytables в реальном времени
Я не уверен, что то, о чем я думаю, возможно, мне понадобится помощь человека, имеющего опыт работы с HDF5/PyTables.
Эсценарий будет таким:
Допустим, у нас есть процесс, машина, соединение и т. д., которые собирают данные и сохраняют их в...
931 просмотров
schedule
30.03.2022
Есть ли способ получить представление в стиле numpy для фрагмента массива, хранящегося в файле hdf5?
Мне нужно работать с большими трехмерными кубами данных. Я хочу сохранить их в файлах HDF5 (используя h5py или, возможно, pytables). Я часто хочу провести анализ только части этих кубов. Этот раздел слишком велик для хранения в памяти. Я хотел бы...
501 просмотров
schedule
11.04.2022
Как изменить заголовок таблицы HDF5 (созданной с использованием pytables)
Мне было интересно, есть ли способ изменить заголовок HDF5 table , который я создал в своем коде Python, используя pyTables . Я дал неправильную строку заголовка, и мне нужно изменить ее сейчас, поэтому, когда я снова открою ее в python, я смогу...
174 просмотров
schedule
09.05.2022
поиск дубликата в pytable hdf5 с 500e6 строками
Проблема
У меня есть большой (> 500e6 строк) набор данных, который я поместил в базу данных pytables.
Допустим, первый столбец - это идентификатор, второй - счетчик для каждого идентификатора. каждая комбинация ID-счетчика должна быть...
1557 просмотров
schedule
06.05.2022
Внутренняя организация данных HDF5 и использование NumPy
как говорится в документации hdf5, HDF5 хранит данные с помощью NumPy
"Он построен на основе библиотеки HDF5, языка Python и пакета NumPy. Он имеет объектно-ориентированный интерфейс, который в сочетании с расширениями C для критически важных...
484 просмотров
schedule
20.05.2022
Присвоение значений спискам срезов больших плотных квадратных матриц (Python)
Я имею дело с большими плотными квадратными матрицами размера NxN ~(100k x 100k) , которые слишком велики, чтобы поместиться в память.
Проведя некоторое исследование, я обнаружил, что большинство людей обрабатывают большие матрицы, используя пакет...
74 просмотров
schedule
05.06.2022
Таблица PyTables. Где эквивалентно в Matlab
Я пытаюсь найти в MATLAB что-то похожее на PyTables table.where , который выбирает подмножество набора данных на основе критериев (например, col1 = 4). Пока мои поиски совершенно бесплодны. Я не могу поверить, что такая полезная функция не будет...
420 просмотров
schedule
14.06.2022
Эффективный расчет полных столбцов (pytables, hdf5, numpy)
У меня есть простой файл HDF5 (созданный PyTables) с десятью столбцами и 100000 строк. Для каждого значения я должен применить простое линейное уравнение с разными параметрами для каждого столбца и записать материал в CSV.
Мой наивный подход...
178 просмотров
schedule
22.06.2022
Pandas HDFStore: изменение dtype индексов
Существует ли способ управления типом данных, который используется для хранения индексов фреймов данных при использовании HDFStore.append ?
Кажется, что индексы pandas всегда хранятся с 64 битами в файле hdf5. Я хотел бы повысить эффективность...
1169 просмотров
schedule
14.07.2022
Pandas — получение столбцов HDF5 и использование памяти
У меня простой вопрос, я не могу не чувствовать, что упускаю что-то очевидное.
Я прочитал данные из исходной таблицы (SQL Server) и создал файл HDF5 для хранения данных с помощью следующего:
output.to_hdf('h5name', 'df', format='table',...
1804 просмотров
schedule
23.07.2022
Как найти группы/ключи файлов HDF5 в Python?
Допустим, кто-то дал мне случайный документ HDF5. Я хотел бы написать функцию, которая проверяет, какие группы/"ключи" используются.
Возьмите панд HDFStore() . Для многих методов, которые извлекают данные HDF5, требуется знать ключ, например....
3918 просмотров
schedule
26.07.2022
получить информацию о метаданных pytables
Есть ли способ перебрать поля объекта метакласса таблицы? (НЕ сама таблица, мне нужно сделать некоторый предварительный анализ, прежде чем таблица будет даже создана)
Я не совсем знаком с метаклассами в Python, поэтому для меня это загадка....
92 просмотров
schedule
22.08.2022
