Есть ли более быстрый способ получить только один элемент в большом опубликованном массиве с помощью Dask без получения всего массива? В приведенном ниже примере client.get_dataset ('array1') [0] занимает примерно то же время, что и...

Часто я сталкиваюсь с проблемой, когда Dask случайным образом останавливается на нескольких задачах, обычно связанных с чтением данных с другого узла в моей сети (подробнее об этом ниже). Это может произойти после нескольких часов работы скрипта без...

Я пытаюсь реализовать функцию временного сворачивания для «сопоставления» с различными разделами фрейма данных dask, который, в свою очередь, изменяет форму рассматриваемого фрейма данных (или, альтернативно, создает новый фрейм данных с измененной...

До сих пор я использовал dask с get и словарем для определения графа зависимостей моих задач. Но это означает, что я должен определить весь свой график с самого начала, и теперь я хочу добавлять время от времени новые задачи (с зависимостями от...

Я новичок в параллельной обработке и прошу приложение. Итак, у меня есть тысячи файлов, которые я хочу запускать параллельно, поэтому я использую для этого вычисления Dask. Мои рабочие и ядра распределены правильно. И я запускаю все в JuputerLab...

Я работаю с отложенными функциями dask и знакомлюсь с тем, что можно и чего нельзя делать при использовании декоратора @dask.delayed для функций. Я понял, что иногда мне нужно дважды позвонить compute() , чтобы получить результат, несмотря на то,...

У меня есть список отложенных массивов dask, хранящихся в dask_arr_ls , которые я хочу превратить в фрейм данных dask. Вот скелет моего конвейера: def simulate_device_data(num_id): # create data for unknown number of timestamps data_ls =...

У меня есть распределенная установка кластера dask, и я использовал ее для загрузки и преобразования кучи данных. Работает как шарм. Я хочу использовать его для параллельной обработки. Вот моя функция el = 5000 n_using = 26 n_across= 6 mat =...

Я использую Dask на одной машине ( LocalCluster с 4 процессами, 16 потоками, 68,56 ГБ памяти), и у меня возникают проблемы с рабочей памятью при попытке вычислить сразу два результата, которые имеют общую зависимость. В примере, показанном ниже,...

Я хотел бы создать dask.Bag (или dask.Array ) из списка генераторов. Проблема в том, что генераторы (при оценке) слишком велики для памяти. delayed_array = [delayed(generator) for generator in list_of_generators] my_bag =...

Моя цель - создать несколько файлов png из нескольких массивов numpy, загруженных из медицинских изображений на моем HD. Чтобы ускорить процесс, я использую dask delayed. Вот мой рабочий код: import os.path from glob import glob import nibabel...

Я ожидал от простых примеров с использованием задержки Dask. Я читал, что могу по существу воспроизвести gridsearchcv из scikit-learn с помощью нескольких вызовов функций следующим образом. Похоже, что модель никогда не подходит (model.fit(...))...

Подходит ли Dask для параллельного чтения больших CSV-файлов и разделения их на несколько файлов меньшего размера?

Я запускаю dask на jupyterlab. Я пытаюсь сохранить какой-то файл в домашнем каталоге, где хранится мой файл Python, и он работает правильно, но я не могу узнать, где сохраняются мои файлы. Поэтому я создал папку с именем output в домашнем каталоге,...

У меня есть xlsx файл File.xlsx , в нем больше 100 листов. Мне нужно выполнить определенную функцию f() для данных каждого листа и, наконец, вернуть список операций каждого листа, объединенных вместе. Я попытался использовать pandas, читая...