Мне нужно свести к минимуму потерю KL в tensorflow.
Я попробовал эту функцию tf.contrib.distributions.kl(dist_a, dist_b, allow_nan=False, name=None), но у меня не получилось.
Я попытался реализовать это вручную:
def kl_divergence(p,q):
return p* tf.log(p/q)+(1-p)*tf.log((1-p)/(1-q))
Это правильно?
У вас есть перекрестная энтропия, расхождение KL должно быть примерно таким:
def kl_divergence(p, q):
return tf.reduce_sum(p * tf.log(p/q))
Это предполагает, что p и q являются одномерными тензорами с плавающей запятой, одинаковой формы, и для каждого их значения в сумме равны 1.
Это также должно работать, если p и q являются мини-пакетами одномерных тензоров одинакового размера, которые подчиняются указанным выше ограничениям.
