Получение информации против минимизации энтропии

В каком сценарии максимизация получения информации не эквивалентна минимизации энтропии? Более широкий вопрос: зачем нам нужна концепция получения информации? Разве недостаточно работать только с энтропией, чтобы определить следующий оптимальный атрибут дерева решений?


math entropy decision-tree information-gain
person Pradeep Vairamani    schedule 21.11.2015    source источник
comment
См. Принятый ответ здесь: stackoverflow.com/ questions / 1859554 /   -  person Lior Kogan    schedule 21.11.2015
comment
Information_Gain = Entropy_before - Энтропия_after   -  person Lior Kogan    schedule 21.11.2015
comment
Разве Entropy_before не константа? Разве это не значит, что мы должны только минимизировать Entropy_after?   -  person Pradeep Vairamani    schedule 22.11.2015
comment
да. Максимальное увеличение information_Gain и минимизация Entropy_after - это одно и то же.   -  person Lior Kogan    schedule 22.11.2015
comment
Согласен - разницы тоже не вижу. Но может быть разница, и sklearn даже масштабирует выигрыш с учетом доли наблюдения в каждом узле scikit-learn.org/stable/modules/generated/, который, на мой взгляд, просто умножается на константу, что не должно иметь никакого значения.   -  person CutePoison    schedule 10.05.2020

Ответы (1)


arrow_upward
0
arrow_downward

Максимизация IG (также известная как взаимная информация) дает тот же результат, что и минимизация энтропии.

По сути, если вы минимизируете энтропию, вы увеличиваете получение информации до максимума.

person Community    schedule 15.05.2018