фильтрация таблицы pytables при импорте панд

У меня есть набор данных, созданный с помощью pytables, который я пытаюсь импортировать в фреймворк pandas. Я не могу применить where фильтр к read_hdf шагу. Я на пандах 0.12.0

Мои образцы данных pytables:

import tables
import pandas as pd
import numpy as np

class BranchFlow(tables.IsDescription):
    branch = tables.StringCol(itemsize=25, dflt=' ')
    flow = tables.Float32Col(dflt=0)

filters = tables.Filters(complevel=8)
h5 = tables.openFile('foo.h5', 'w')
tbl = h5.createTable('/', 'BranchFlows', BranchFlow, 
            'Branch Flows', filters=filters, expectedrows=50e6) 

for i in range(25):
    element = tbl.row
    element['branch'] = str(i)
    element['flow'] = np.random.randn()
    element.append()
tbl.flush()
h5.close()

Что я могу просто импортировать в фрейм данных:

store = pd.HDFStore('foo.h5')
print store
print pd.read_hdf('foo.h5', 'BranchFlows').head()

который показывает:

In [10]: print store
<class 'pandas.io.pytables.HDFStore'>
File path: foo.h5
/BranchFlows            frame_table [0.0.0] (typ->generic,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])

In [11]: print pd.read_hdf('foo.h5', 'BranchFlows').head()
  branch      flow
0      0 -0.928300
1      1 -0.256454
2      2 -0.945901
3      3  1.090994
4      4  0.350750

Но я не могу заставить фильтр работать в столбце потока:

pd.read_hdf('foo.h5', 'BranchFlows', where=['flow>0.5'])

<snip traceback>

TypeError: passing a filterable condition to a non-table indexer [field->flow,op->>,value->[0.5]]

python pandas pytables
person chip    schedule 26.09.2013    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Чтение из таблицы, созданной напрямую PyTables, позволяет вам напрямую читать (всю) таблицу. Вы должны написать его с помощью инструментов pandas (в формате таблицы), чтобы использовать механизм выбора pandas (поскольку метаданные, которые нужны pandas, отсутствуют - это можно сделать, но потребуется некоторая работа).

Итак, прочтите свою таблицу, как указано выше, затем создайте новую и укажите формат таблицы. Документы см. здесь

In [6]: df.to_hdf('foo.h5','BranchFlowsTable',data_columns=True,table=True)

In [24]: with pd.get_store('foo.h5') as store:
    print(store)
   ....:     
<class 'pandas.io.pytables.HDFStore'>
File path: foo.h5
/BranchFlows                 frame_table [0.0.0] (typ->generic,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])
/BranchFlowsTable            frame_table  (typ->appendable,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])    

In [7]: pd.read_hdf('foo.h5','BranchFlowsTable',where='flow>0.5')
Out[7]: 

   branch      flow
14     14  1.503739
15     15  0.660297
17     17  0.685152
18     18  1.156073
20     20  0.994792
21     21  1.266463
23     23  0.927678
person Jeff    schedule 26.09.2013
comment
Я не могу вспомнить, почему я просто не создал фреймворк pandas для начала. Прямо сейчас numpy выдает ValueError: array is too big., когда я пытаюсь прочитать реальный набор данных, но это другая проблема. - person chip; 26.09.2013
comment
вы можете делать это по частям (передать append=True), и вы можете передавать частичные кадры и создавать свою таблицу, см. подробнее - person Jeff; 26.09.2013