Цепник, почему моя модель ожидает **массив** изображений?

Я написал очень простую игрушечную модель цепи:

class Upscale(chainer.Chain):
def __init__(self):
    super(Upscale, self).__init__(
        d1=L.Deconvolution2D(3, 40, 4, stride=2),
        c1=L.Convolution2D(40, 3, 4)
        )


def __call__(self, x, test=False):
    h = self.c1(self.d1(x))
    return h

Я могу назвать это, и это, кажется, работает. Однако я должен вызвать его с помощью:

model = Upscale()
...
xp = cuda.cupy
...
image = xp.zeros((1, 3, 768, 1024), dtype=xp.float32)
image[0] = load_image("foo.jpg", xp)
...
y = model(image[0:1])

Для справки, load_image:

def load_image(path, xp):
image = Image.open(path).convert('RGB')
return xp.asarray(image, dtype=xp.float32).transpose(2, 0, 1)

Моя модель будет принимать форму массива (1, 3, 768, 1024), но не форму массива (3, 768, 1024). Я не понимаю, почему это так. В качестве альтернативы, как написать модель цепочки, которая принимает отдельные изображения, может помочь. Ошибка, которую я получаю:

Traceback (most recent call last):
  File "upscale.py", line 92, in <module>
    main()
  File "upscale.py", line 68, in main
    y0 = model(image, test=True)
  File "upscale.py", line 21, in __call__
    h = self.c1(self.d1(x))
  File "/usr/local/lib/python2.7/dist-packages/chainer/links/connection/deconvolution_2d.py", line 116, in __call__
    deterministic=self.deterministic)
  File "/usr/local/lib/python2.7/dist-packages/chainer/functions/connection/deconvolution_2d.py", line 332, in deconvolution_2d
    return func(x, W, b)
  File "/usr/local/lib/python2.7/dist-packages/chainer/function.py", line 189, in __call__
    self._check_data_type_forward(in_data)
  File "/usr/local/lib/python2.7/dist-packages/chainer/function.py", line 273, in _check_data_type_forward
    self.check_type_forward(in_type)
  File "/usr/local/lib/python2.7/dist-packages/chainer/functions/connection/deconvolution_2d.py", line 50, in check_type_forward
    x_type.shape[1] == w_type.shape[0]
  File "/usr/local/lib/python2.7/dist-packages/chainer/utils/type_check.py", line 487, in expect
    expr.expect()
  File "/usr/local/lib/python2.7/dist-packages/chainer/utils/type_check.py", line 449, in expect
    '{0} {1} {2}'.format(left, self.inv, right))
chainer.utils.type_check.InvalidType:
Invalid operation is performed in: Deconvolution2DFunction (Forward)

Expect: in_types[0].ndim == 4
Actual: 3 != 4

chainer
person Jeffrey    schedule 22.03.2017    source источник
comment
Возможно, вы могли бы добавить дополнительное измерение к своему изображению.   -  person Moses Koledoye    schedule 22.03.2017

Ответы (1)


arrow_upward
0
arrow_downward

В моей среде я подтвердил, что следующий код работает правильно. Пожалуйста, сообщите мне результат печати (image.shape), печати (image [0]. shape) и печати (image [0:]. shape). Также я хочу знать вашу версию цепи.

import cupy
from PIL import Image
import chainer.links as L
import chainer


def load_image(path):
    image = Image.open(path).convert('RGB')
    return cupy.asarray(image, dtype=cupy.float32).transpose(2, 0, 1)

image = cupy.zeros((1, 3, 768, 1024), dtype=cupy.float32)
image[0] = load_image("foo.png")
print(image[0].shape)  # (3, 768, 1024)
print(image.shape)  # (1, 3, 768, 1024)
print(image[0:1].shape)  # (1, 3, 768, 1024)

class Upscale(chainer.Chain):
    def __init__(self):
        super(Upscale, self).__init__(
            d1=L.Deconvolution2D(3, 40, 4, stride=2),
            c1=L.Convolution2D(40, 3, 4)
        )


    def __call__(self, x, test=False):
        h = self.c1(self.d1(x))
        return h

model = Upscale()
model.to_gpu()
y = model(image[0:1])  # work
person fukatani    schedule 25.03.2017
comment
Наверное, я был недостаточно точен. Но мой вопрос: почему с вашим образцом не работает y = model(image[0])? Chainer, похоже, требует массива, в котором подойдет изображение. - person Jeffrey; 27.03.2017
comment
В большинстве функций и слоев цепочки первое измерение входного массива должно быть размером мини-пакета. Форма входного массива слоя деконволюции должна быть (N, c, h, w). N=размер мини-пакета, c=размер канала, h=высота изображения, w=ширина изображения. Если вы хотите ввести 1 изображение, вы должны создать мини-пакет, включающий 1 изображение. - person fukatani; 29.03.2017
comment
Хорошо, соглашение состоит в том, чтобы получать мини-пакеты, а дополнительное измерение — это мини-пакеты. Справедливо. - person Jeffrey; 31.03.2017