Установка

Я использую mpi4py для поэлементного уменьшения массива numpy в нескольких процессах. Идея состоит в том, что массивы numpy суммируются поэлементно, так что если у меня есть два процесса, и у каждого есть массивы:

Rank 0: [1, 1, 1]
Rank 1: [2, 3, 4]

после сокращения у меня должно было быть

[3, 4, 5]

Этот случай с такими короткими массивами работает нормально.

Эта проблема

Однако в моем реальном случае использования эти массивы довольно длинные (array_length в моем примере кода ниже). У меня нет проблем, если я отправляю массивы numpy длиной меньше или равной 505 элементам, но выше этого я получаю следующий вывод:

[83621b291fb8:01112] Read -1, expected 4048, errno = 1

и я не смог найти какой-либо документированной причины, почему это может быть. Интересно, однако, что 506 * 8 = 4048, что - при условии некоторых данных заголовка - заставляет меня подозревать, что я достиг предела буфера в 4 КБ где-то внутри mpi4py или самого MPI.

Один из возможных обходных путей

Мне удалось обойти эту проблему, разбив массив numpy, который я хочу поэлементно уменьшить, на куски размером 200 (просто произвольное число меньше 505) и вызвав Reduce () для каждого фрагмента, а затем повторная сборка на мастер процесс. Однако это несколько медленно.

Мои вопросы:

1. Кто-нибудь знает, действительно ли это связано с ограничением буфера в 4 КБ (или аналогичным) в mpi4py/MPI?

2. Есть ли лучшее решение, чем разрезать массив на части и делать много вызовов Reduce(), как я сейчас делаю, так как это кажется немного медленным.

Несколько примеров

Ниже приведен код, иллюстрирующий

1. проблема, и
2. одно возможное решение, основанное на разрезании массива на более короткие части и выполнении большого количества вызовов MPI Reduce(), а не только одного (управляется логическим значением use_slices)

С case=0 и use_slices=False видно ошибку (длина массива 506)

С case=1 и use_slices=False ошибка исчезает (длина массива 505)

С use_slices=True ошибка исчезает, независимо от case, и даже если case установлен в очень длинный массив (case=2)

Пример кода

import mpi4py, mpi4py.MPI
import numpy as np

###### CASE FLAGS ########
# Whether or not to break the array into 200-element pieces
# before calling MPI Reduce()
use_slices = False

# The total length of the array to be reduced:
case = 0
if case == 0:
    array_length= 506
elif case == 1:
    array_length= 505
elif case == 2:
    array_length= 1000000

comm = mpi4py.MPI.COMM_WORLD
rank = comm.Get_rank()
nprocs = comm.Get_size()


array_to_reduce = np.ones(array_length)*(rank+1)  #just some different numbers per rank
reduced_array = np.zeros(array_length)

if not use_slices:
    comm.Reduce(array_to_reduce,
                reduced_array,
                op = mpi4py.MPI.SUM,
                root = 0)

    if rank==0:
        print(reduced_array)
else:  # in this case, use_slices is True
    array_slice_length = 200
    sliced_array = np.array_split(array_to_reduce, range(200, array_length, 200))

    reduced_array_using_slices = np.array([])
    for array_slice in sliced_array:
        returnedval = np.zeros(shape=array_slice.shape)
        comm.Reduce(array_slice,
                    returnedval,
                    op = mpi4py.MPI.SUM,
                    root = 0)
        reduced_array_using_slices=np.concatenate((reduced_array_using_slices, returnedval))
        comm.Barrier()

    if rank==0:
        print(reduced_array_using_slices)

Версии библиотеки

Собрано из исходников - openmpi 3.1.4 mpi4py 3.0.3