Корреляция Пирсона всегда дает нулевую корреляцию

Я играю с рекомендательным кодом Тоби Сегарама. Найти здесь, чтобы вы могли попробовать.< /а>

Я заметил что-то странное в его корреляционном коде Пирсона, и я не уверен, ошибка это или естественная часть Пирсона. Возьмите эту строку его кода:

'Toby': {'Snakes on a Plane':4.5,'You, Me and Dupree':1.0,'Superman Returns':4.0}}

И измените его на:

'Toby': {'Snakes on a Plane':4.0,'You, Me and Dupree':4.0,'Superman Returns':4.0}}

(т. е. все оценки для Тоби идентичны.) Внезапно каждая отдельная корреляция становится нулевой, и вы не получаете никаких результатов. С чего бы это?

Я все еще играю с этим, поэтому я могу в конечном итоге ответить на свой вопрос, если никто другой не сможет.

Обновление: это потому, что Пирсон подходит к линии, и в этом случае Тоби заставляет линию быть вертикальной для всех? Как это исправить? Вы ставите немного шума на каждую оценку?


person Bruce Nielson    schedule 09.10.2019    source источник


Ответы (1)


Ответ на самом деле довольно очевиден в ретроспективе. Корреляция Пирсона использует линию. Но в этом случае все рейтинги идентичны, поэтому линия вертикальна, что означает, что ее наклон не определен.

Это естественная проблема корреляции Пирсона. Вместо этого я решил просто использовать евклидово расстояние, и это сработало отлично.

person Bruce Nielson    schedule 26.04.2020