Должен ли я очищать прослушиватели событий, если ссылка на объект будет потеряна?

Неа. Если вы смотрите на код, который делает это, вероятно, потому, что кто-то читал, что события вызывают утечку памяти, но не совсем понял, почему. (Это когда событие subscriber не может быть собрано, потому что событие publisher имеет ссылку на него. В вашем случае это publisher, который в любом случае получает право на сборку мусора, так что эта проблема не применяется.)