Автор: Джесси Дж. Смит, Салима Амерши, Солон Барокас, Ханна Уоллах и Дженнифер Вортман Воган
Поскольку крайний срок NeurIPS быстро приближается, мы полагаем, что многие из вас вносят последние штрихи в свои документы — проводят последний раунд экспериментов или пытаются усилить последнюю теорему. Вы также можете пройти через Контрольный список документов NeurIPS, учитывая ограничения и потенциальное негативное влияние вашей работы на общество. Эти шаги имеют решающее значение для правильной интерпретации вашего исследования, но иногда трудно понять, с чего начать.
Давайте рассмотрим ограничения — недостатки в дизайне или проведении исследования, которые представляют собой возможную угрозу достоверности ваших выводов и утверждений. Все исследования имеют ограничения. Как исследователи, мы сталкиваемся с практическими ограничениями и неожиданными проблемами, пытаясь найти ответы на наши исследовательские вопросы. Мы также делаем всевозможные явные и неявные решения при планировании и проведении наших исследований. Все это влияет на выводы, которые мы можем сделать из нашей работы.
Во многих областях ограничения рассматриваются как неотъемлемая часть исследований, и ожидается, что исследователи будут раскрывать и обсуждать их. Это считается критически важным для поддержания целостности поля и содействия развитию коллективных знаний. Для сравнения, открытое обсуждение ограничений все еще относительно редко встречается в сообществе машинного обучения. Как мы обнаружили в ходе нашего исследования, это отчасти связано с тем, что процесс рецензирования машинного обучения придает большое значение обобщаемости и абстракции, а также опасениями, что статьи будут отклонены, если они не будут считаться достаточно обобщаемыми. Но еще одна причина — отсутствие руководства и обучения тому, как должным образом сообщать об ограничениях, особенно для исследователей, которые плохо знакомы с этой областью.
Вдохновленные этим пробелом, мы недавно выпустили REAL ML, набор пошаговых заданий, которые помогут исследователям машинного обучения распознать, изучить и сформулировать ограничения своих исследований. Как описано в предстоящей статье, которая будет опубликована на 5-й конференции ACM по вопросам справедливости, подотчетности и прозрачности (FAccT), мы разработали и протестировали НАСТОЯЩЕЕ машинное обучение с помощью итеративного процесса проектирования с участием 30 исследователей машинного обучения и смежных с ним исследователей, изучая исследователей машинного обучения. восприятия ограничений, а также практических и культурных проблем, с которыми они сталкиваются при распознавании, изучении и формулировании ограничений в своей работе.
REAL ML проведет вас через четыре шага:
- Ознакомьтесь с общими источниками и типами ограничений в исследованиях машинного обучения и начните думать о тех, с которыми вы могли столкнуться в своей работе.
- Начните признавать ограничения вашего исследовательского проекта.
- Изучите различные аспекты выявленных вами ограничений, которые могут быть важны для включения в вашу статью.
- Сформулируйте свои ограничения и набросайте раздел ограничений в своем документе.
Хотя создание культуры, которая полностью охватывает и поощряет честное обсуждение ограничений, потребует значительных изменений в нормах сообщества, мы надеемся, что такие инструменты, как REAL ML, помогут приблизить исследовательское сообщество ML на один шаг.
