Я работаю с большим набором данных (220 000 000 строк, ~ 25 ГБ в виде файлов csv), который хранится в виде нескольких файлов csv. Мне уже удалось прочитать эти csv с помощью Dask и сохранить данные в виде паркетного файла со следующим: import...

У меня есть большой набор файлов Parquet, которые я пытаюсь отсортировать по столбцу. В несжатом виде данные составляют около 14 ГБ, поэтому Dask казался подходящим инструментом для работы. Все, что я делаю с Dask, это: Чтение паркетных файлов...

Я пытаюсь отфильтровать Dask DataFrame , а затем использовать map_partitions для применения функции к каждому разделу. Функция ожидает панд DataFrame как минимум с 1 строкой. Вот код для генерации фиктивных данных в виде pandas DataFrame...

Я пытался адаптировать свой код для использования Dask для использования нескольких машин для обработки. Хотя начальная загрузка данных не требует много времени, последующая обработка занимает около 12 часов на 8-ядерном i5. Это не идеально, и было...

У меня есть список отложенных массивов dask, хранящихся в dask_arr_ls , которые я хочу превратить в фрейм данных dask. Вот скелет моего конвейера: def simulate_device_data(num_id): # create data for unknown number of timestamps data_ls =...

Я обучил свою модель классификации Autosklearn, используя кадр данных pandas, и пытаюсь получить прогнозы, используя кадры данных dask из обученных моделей. Я протестировал с помощью кадра данных pandas и получил правильные прогнозы. Теперь мне...

Я новичок в Даске, У меня 152 паркетных файла в среднем 200 МБ (32 ГБ ОЗУ станка). В каждом файле есть столбец Timestamp, и я хочу сделать этот столбец разделом (индексом). Если я установил столбец Timestamp как индекс, будет слишком много...

Кадры данных Dask и Pandas здесь могут не иметь значения, кроме отсутствия мультииндекса в Dask, но у меня есть кадр данных Dask, например: dd = pd.DataFrame({ 'name': ['a1', 'a1', 'a1', 'a1', 'a2', 'a2', 'a2'], 'key1': ['A', 'A', 'B',...

Я хочу случайным образом выбирать значения k без замены из серии Dask, и я не хочу заранее вычислять длину серии. Если k больше длины серии, я хочу вернуть всю серию. Я пробовал образец функции серии dask , но он не может обрабатывать объект с...

Образец кадра данных Dask: import pandas as pd import dask import dask.dataframe as dd df = pd.DataFrame({'col_1': [1,2,3,4,5,6,7], 'col_2': list('abcdefg')}, index=pd.Index([0,0,1,2,3,4,5])) df = dd.from_pandas(df,...

Я хочу создать список/набор из столбца Dask Dataframe. По сути, я хочу использовать этот список для фильтрации строк в другом фрейме данных, сопоставляя значения со столбцом в этом фрейме данных. Я пытался использовать list(df[column]) и...

Я пытаюсь вычислить скользящее среднее за последние n дней (с n = 30) для большого набора данных. В Pandas я бы использовал следующую команду: temp = chunk.groupby('id_code').apply(lambda x:...