Multiprocessing IOError: неверная длина сообщения

Вы создаете пул и отправляете все изображения сразу в func (). Если вы можете сразу работать с одним изображением, попробуйте что-то вроде этого, которое для меня работает до завершения с N = 10000 за 35 секунд с Python 2.7.10:

import numpy as np
import multiprocessing

def func(args):
    i = args[0]
    img = args[1]
    print "{}: {} {}".format(i, img.shape, img.sum())
    return 0

N=10000

images = ((i, np.random.random_integers(1,100,size=(500,500))) for i in xrange(N))
pool=multiprocessing.Pool(4)
pool.imap(func, images)
pool.close()
pool.join()

Ключевым моментом здесь является использование итераторов, чтобы вам не приходилось хранить все данные в памяти одновременно. Например, я преобразовал изображения из массива, содержащего все данные, в выражение генератора, чтобы создать изображение только при необходимости. Вы можете изменить это, чтобы загружать изображения с диска или чего-то еще. Я также использовал pool.imap вместо pool.map.

Если можете, попробуйте загрузить данные изображения в рабочую функцию. Прямо сейчас вам нужно сериализовать все данные и передать их другому процессу. Если ваши данные изображения больше, это может быть узким местом.

[обновите теперь, когда мы знаем, что func должен обрабатывать все изображения сразу]

Вы можете использовать итеративное средство для ваших изображений. Вот решение без использования многопроцессорности. Чтобы использовать многопроцессорность, вы можете разделить свои изображения на фрагменты и передать эти фрагменты в пул.

import numpy as np

N=10000
shape = (500,500)

def func(images):
    average = np.full(shape, 0)
    for i, img in images:
        average += img / N
    return average

images = ((i, np.full(shape,i)) for i in range(N))

print func(images)

Python, скорее всего, загрузит ваши данные в вашу оперативную память, и вам нужно, чтобы эта память была доступна. Вы проверили использование памяти вашего компьютера?

Также, как упоминал Патрик, вы загружаете 3 ГБ данных, убедитесь, что вы используете 64-битную версию Python, поскольку вы достигаете 32-битного ограничения памяти. Это может привести к сбою вашего процесса: 32 против 64 бит Python

Еще одно улучшение - использовать python 3.4 вместо 2.7. Реализация Python 3, похоже, оптимизирована для очень больших диапазонов, см. Производительность списка / генератора Python3 и Python2

При запуске вашей программы я получаю явную ошибку:

OSError: [Errno 12] Cannot allocate memory

Как уже упоминалось другими пользователями, решение вашей проблемы - просто добавить память (много) или изменить способ обработки изображений в вашей программе.

Причина, по которой он использует так много памяти, заключается в том, что вы выделяете свою память для своих изображений на уровне модуля. Поэтому, когда многопроцессор разветвляет ваш процесс, он также копирует все изображения (что не является бесплатным в соответствии с Объекты общей памяти в многопроцессорной обработке Python), в этом нет необходимости, потому что вы также даете изображения в качестве аргумента функции, которую модуль multiprocess также копирует с помощью ipc и pickle, это все равно, вероятно, приведет к отсутствию объем памяти. Попробуйте одно из решений, предложенных другими пользователями.

Вот что решило проблему: объявление изображений глобальными.

import numpy as np
import multiprocessing


N=1500       #N=1000 works fine

images=[]
for i in np.arange(N):
    images.append(np.random.random_integers(1,100,size=(500,500)))

def func(args):
    i=args[0]
    images=images
    print i
    return 0

iter_args=[]
for i in range(0,1):
    iter_args.append([i])

pool=multiprocessing.Pool()
print pool
pool.map(func,iter_args)