Я пытаюсь реализовать технику, описанную в документе MSG-GAN:
https://arxiv.org/pdf/1903.06048.pdf
Но мне трудно понять некоторые вещи, например, как осуществляется связь от генератора к дискриминатору? Это соединения Conv2D буквально? (в таком случае, как мне вставить реальные изображения для обучения дискриминатора?) Или у дискриминатора есть несколько выходов (один прогноз для каждого разрешения, и генератор должен оптимизировать среднюю потерю разрешений)?
Как осуществляется подключение генератора к дискриминатору?
Генератор выводит их, а дискриминатор объединяет их с картами объектов из последнего слоя в соответствующем входном слое.
Это соединения Conv2D буквально?
Те просто вводят тензор с такой формой (размер партии, W, H, 3), как и обычный ввод изображения.
Имеет ли дискриминатор несколько выходов?
Нет, это сквозное обучение, обучение со всеми выходными данными разрешения одновременно, в противном случае это будет точно так же, как GAN с прогрессивным ростом, и нет причин для операции конкатенации на каждом входном слое (начале каждого блока) дискриминатора.
