Когда я внедряю пакетную нормализацию в python с нуля, я сбиваюсь с толку. См. документ, в котором приведены некоторые цифры о методах нормализации, я думаю, что это может быть неверно. Описание и рисунок неверны.
Описание из статьи:
Рисунок из статьи: Насколько я понимаю В связи с этим, представление пакетной нормализации в исходной статье неверно. Я размещаю здесь вопрос для обсуждения. Я думаю, что пакетная нормализация должна быть такой, как на следующем рисунке.
Ключевым моментом является расчет среднего и стандартного значений. С формой карты объектов как (batch_size, channel_number, width, height)
, mean = X.mean(axis=(0, 2, 3), keepdims=True)
или mean = X.mean(axis=(0, 1), keepdims=True)
Который правильный?