зачем объяснять логит как «вероятность немасштабированного журнала» в sotfmax_cross_entropy_with_logits?

В документации по тензорному потоку (softmax_cross_entropy_with_logits) они сказали «logits: вероятность немасштабированного журнала». Что такое «логарифмическая вероятность»? Во-первых, я понимаю, что 'logits' — это 'output before normalization' или 'score for class'.

logits = tf.matmul(X,W) + b
hypothesis = tf.nn.softmax(logits)

Если я получил [1.5, 2.4, 0,7] на tf.matmul(X,W) + b, то [1.5, 2.4, 0,7] равно logits(score), и это не было масштабировано. Я могу понять это до этой стадии. Но я не могу понять, почему [1.5, 2.4, 0.7] это 'log probability'.


python machine-learning tensorflow probability-theory
person KiHyun Nam    schedule 28.01.2018    source источник
comment
Возможный дубликат Каково значение слова logits в ТензорФлоу?   -  person Maxim    schedule 28.01.2018
comment
Спасибо всем! Я нашел этот пост. Это почти решило мой вопрос. stats.stackexchange.com /вопросы/52825/   -  person KiHyun Nam    schedule 30.01.2018

Ответы (2)


arrow_upward
2
arrow_downward

Если вы интерпретируете вывод функции softmax как вероятности (как нам нравится делать), то легко увидеть, откуда берется «логарифмическая вероятность»:

Функция softmax

\exp{z_k}/\sum_i{\exp{z_i}},

с z_i в качестве компонентов ваших «логитов». Знаменатель просто заботится о нормализации, то есть гарантирует, что сумма всех выходных данных равна 1 (что имеет смысл, если мы хотим интерпретировать их как вероятности для набора взаимоисключающих классов). Итак, глядя на числитель, вывод функции softmax в основном просто exp(z). Если мы интерпретируем это как вероятность, то z («логиты») — это логарифм ненормализованной вероятности.

person rain city    schedule 28.01.2018
comment
Должно быть очевидно, что форматирование Tex здесь не поддерживается. Пожалуйста, отформатируйте свои уравнения соответствующим образом, используя доступные параметры. - person desertnaut; 28.01.2018
comment
Какие есть варианты? Не стесняйтесь редактировать, если вы знаете лучший способ! - person rain city; 28.01.2018
comment
Идея заключается не в том, чтобы я (или кто-то другой) редактировал, а в том, чтобы вы, как новый пользователь, ознакомились с доступными вариантами и адаптировали свои ответы к ним (вместо того, чтобы игнорировать их или делать вид, что они другие, чем они есть на самом деле)! Это поможет улучшить внешний вид и читабельность ваших сообщений... - person desertnaut; 29.01.2018

arrow_upward
1
arrow_downward

Спасибо всем!

Я нашел этот пост. Это почти решило мой вопрос.

https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean

person KiHyun Nam    schedule 30.01.2018