Я хочу записать данные, в которых некоторые столбцы представляют собой массивы строк или массивы структур (обычно пары ключ-значение), в файл Parquet для использования в AWS Athena. Найдя две библиотеки Python (Arrow и fastparquet), поддерживающие...

Часто я сталкиваюсь с проблемой, когда Dask случайным образом останавливается на нескольких задачах, обычно связанных с чтением данных с другого узла в моей сети (подробнее об этом ниже). Это может произойти после нескольких часов работы скрипта без...

Я использую Dask для чтения файла Parquet, созданного PySpark, и один из столбцов представляет собой список словарей (например, array<map<string,string>>' ). Примером df может быть: import pandas as pd df =...

Я установил следующие модули на свой сервер EC2, на котором уже установлены python (3.6) и anaconda: резкий пиарроу s3fs фастпарк кроме fastparquet все остальное работает на импорт. Когда я пытаюсь импортировать fastparquet, возникает...

У меня есть данные временного ряда в кадрах данных со временем в качестве индекса. Индекс сортируется, и данные хранятся в нескольких файлах паркета с данными за один день в каждом файле. Использую dask 2.9.1 При загрузке данных из одного...

Я пытаюсь написать такой Dataframe в Parquet: | foo | bar | |-----|-------------------| | 1 | {"a": 1, "b": 10} | | 2 | {"a": 2, "b": 20} | | 3 | {"a": 3, "b": 30} | Я делаю это с помощью Pandas и Fastparquet: df =...

Можно ли использовать pandas для выборочного чтения строк из файлов Parquet с использованием индекса столбца? Точно так же при записи Pandas DataFrame в файл Parquet, например, с использованием pd.DataFrame.to_parquet() , можно ли указать...

Я получил эту ошибку, как в заголовке, при попытке прочитать файлы паркета с помощью fastparquet со следующими кодами: from fastparquet import ParquetFile pf = ParquetFile(myfile.parquet) df = pf.to_pandas() Я попробовал решения, предложенные в...

Мы создали файл parquet в Dask (Python) и с Drill (R с использованием пакета Sergeant ). Мы заметили несколько проблем: Формат Dask (то есть fastparquet ) содержит файлы _metadata и _common_metadata , в то время как файл parquet в...

Возможно ли в Python записать одну и ту же папку Parquet из разных процессов? Я использую fastparquet . Кажется, это работает, но мне интересно, как это возможно, чтобы файл _metadata не имел конфликтов, если два процесса записывают в него...

Я пытаюсь прочитать прилично большой файл Parquet (~ 2 ГБ с примерно 30 миллионами строк) в свой блокнот Jupyter (в Python 3), используя функцию Pandas read_parquet . Я также установил библиотеки pyarrow и fastparquet , которые функция...