Есть ли более быстрый способ получить только один элемент в большом опубликованном массиве с помощью Dask без получения всего массива?
В приведенном ниже примере client.get_dataset ('array1') [0] занимает примерно то же время, что и client.get_dataset ('array1').
import distributed
client = distributed.Client()
data = [1]*10000000
payload = {'array1': data}
client.publish(**payload)
one_element = client.get_dataset('array1')[0]
Обратите внимание, что все, что вы публикуете, отправляется планировщику, а не рабочим, поэтому это несколько неэффективно. Publish был предназначен для использования с коллекциями Dask, такими как dask.array.
import dask.array as da
x = da.ones(10000000, chunks=(100000,)) # 1e7 size array cut into 1e5 size chunks
x = x.persist() # persist array on the workers of the cluster
client.publish(x=x) # store the metadata of x on the scheduler
x = client.get_dataset('x') # get the lazy collection x
x[0].compute() # this selection happens on the worker, only the result comes down
