Количественная оценка недетерминизма в экспериментах CS

Всем привет,

Я работаю над магистерской диссертацией в области компьютерных наук. В частности, я занимаюсь исследованием эффектов настройки гиперпараметров семантических моделей распределения при использовании их в качестве признаков в анализаторах статистических зависимостей. Я использую word2vec, недетерминированное программное обеспечение для встраивания слов на основе нейронной сети. Чтобы иметь возможность подтвердить свои результаты, я должен количественно оценить степень недетерминизма в моих моделях.

Однако я думаю, что этот вопрос можно задать на более абстрактном уровне — какой тест я могу использовать для количественной оценки степени недетерминизма в статистической модели? Скажем, например, что я получаю следующие результаты, выполняя один и тот же эксперимент пять раз:

89.5, 89.7, 89.4, 89.5, 89.9

Как я могу определить, «насколько недетерминирована» моя система, и использовать это как основу для принятия или отклонения результатов будущих экспериментов?


person Henrik Hillestad Løvold    schedule 26.02.2017    source источник


Ответы (1)


Если под тестом вы подразумеваете проверку значимости или гипотезы, эти тесты бесполезны, и вы можете их игнорировать.

Надлежащий способ количественной оценки неопределенности при разборе языка или в чем-либо другом — выразить неопределенность как вероятность. В контексте синтаксического анализа языка это означает построение вероятностного распределения возможных способов анализа данного предложения.

Если вам нужно принимать решения, вам необходимо предоставить дополнительные данные, которые выражают предпочтения по сравнению с результатами (например, функции полезности). Вероятность и полезность объединяются с помощью так называемой гипотезы ожидаемой полезности: наилучшее действие — это то, которое максимизирует ожидаемую полезность.

Полезным введением в эти концепции с использованием примеров из многих областей является книга Роберта Клемена «Принятие трудных решений». Если говорить более конкретно о вашей проблеме, поиск в Интернете по вероятностному анализу языка дает много результатов.

Вы можете получить больше интереса к этому вопросу на stats.stackexchange.com. Возможно, там уже есть ответы на связанные вопросы.

person Robert Dodier    schedule 26.02.2017