«Трудно заставить человека что-то понять, если его зарплата зависит от того, что он этого не понимает». — Аптон Синклер

Открытие заявления об отказе от ответственности

(1) Я твердо убежден, что любые обвинения, будь то в преследовании или научном неправомерном поведении, должны быть выслушаны и расследованы с должным усердием.

(2) Я готов изменить любое из приведенных ниже утверждений в ответ на новые доказательства и отзывы.

(3) Некоторые утверждения в этой статье перефразированы из статьи Эндрю Гельмана Проблемы Google с воспроизводимостью.

Преамбула

Машинное обучение (ML) стало неотъемлемой частью нашего общества. Всплеск венчурных инвестиций в стартапы машинного обучения и суммы денег, которые крупные технологические компании вкладывают в исследования машинного обучения, беспрецедентны. Риск убийства этики присущ хаосу этой расы. Между тем, в мире после «Граждан, объединенных» наивно ожидать, что государственные регулирующие органы будут гарантировать непредвзятый, демократизированный и этичный прогресс в области ОД; Диаграмма Венна, показывающая спонсоров ОД и политиков, представляет собой круг. Следовательно, на сообществе лежит ответственность хотя бы за то, чтобы попытаться отрегулировать себя.

Кризис воспроизводимости в машинном обучении

Дискуссия о воспроизводимости в машинном обучении, как и в других областях науки, находится на пике, и на то есть веские причины. Воспроизводимость в какой-то степени является силой самокоррекции и уравновешивающей силой. С одной стороны, с воспроизводимым кодом ученые могут основываться на работе друг друга и проводить сравнения. С другой стороны, требования воспроизводимости могут служить дезинфицирующим солнечным светом Брандейза, делая ценные иголки более заметными в постоянно растущем стоге сена неряшливой науки.

От плохой науки к коррупции

Кризис воспроизводимости — лишь одна из сил, мутящих воду научного прогресса. Наивно ожидать, что хорошо финансируемые корпоративные лаборатории будут относиться к науке как к некоммерческой деятельности. Очевидно, это не означает, что корпоративные исследования должны прекратить свое существование, но настало время настаивать на более строгой системе сдержек и противовесов. Разница в открытости между академическими и корпоративными исследованиями хорошо задокументирована, причем последние часто вкладывают значительные ресурсы в то, чтобы держать нелестные отзывы в пресловутом подвале. Крупные компании неуклонно и успешно переманивают лучших ученых из научных кругов, используя их умственные способности в погоне за прибылью. Это чрезмерное влияние в последнее время достигло комических высот, эффективно сковывая голос научного сообщества, о чем говорил Моше Варди. Между строк, пронизанных обычной одержимостью Варди премией Тьюринга, скрывается эффект разорвавшейся бомбы: эта награда теперь сопровождается призом в размере 1 миллиона долларов США, поддерживаемым Google. Примечательно, что двое из недавних лауреатов премии Тьюринга (Джеффри Хинтон и Дэвид Паттерсон) являются сотрудниками Google, а еще один (Джон Хеннесси) является председателем совета директоров Alphabet. Рассказ о том, как большие технологии развращают науку, настолько груб, что его можно было бы отвергнуть как сценарий, и он не ограничивается главными призами. Топовые конференции по машинному обучению, на которых традиционно публикуются передовые работы, в настоящее время полностью зависят от корпоративных спонсоров. В результате научный дискурс превращается в машину, угодную истеблишменту.

Ссоры в социальных сетях упускают суть

Там, где есть деньги, будет борьба за власть. Недавняя публикация в New York Times «Еще одна стрельба среди сотрудников искусственного интеллекта Google. Brain Trust, and More Discord» документирует еще одну стычку между власть имущими Google и исследователями-диссидентами. Последнее соревнование по писсингу включает расплывчатые обвинения в домогательствах, что еще больше ухудшает этические правила игры. История такова. Сатраджит Чаттерджи и его команда оспорили знаменитую статью от Google Research (под руководством Джеффа Дина, старшего вице-президента Google и постоянного специалиста в этой области) на том основании, что продвигаемый в ней метод — обучение с подкреплением — уступает ручному размещению. в дизайне микросхем. Статья, опубликованная в журнале Nature, произвела фурор, когда намекнула на появление общего искусственного интеллекта: компьютеры делают компьютеры лучше, чем люди когда-либо могли. Как всегда, экстраординарные заявления требуют экстраординарных доказательств, которые Чаттерджи осмелился подвергнуть сомнению. В просочившейся статье Чаттерджи и др. показывают, что традиционные методы не уступают или даже более эффективны, чем обучение с подкреплением, при гораздо меньших вычислительных затратах. Это могло бы стать продуктивной научной дискуссией, но этого не произошло. Один из авторов общего разведывательного документа обвинил Чаттерджи в ведении враждебной кампании по дезинформации, в то время как Google обошел фургоны, закрыв доступ к полным результатам, сославшись на проблемы с интеллектуальной собственностью. Чаттерджи был уволен.

Уродство распространилось быстро. Маргарет Митчелл (которая была уволена из Google из-за последствий скандала с Тимнитом Гебру) ретвитнула пост NYT, сравнив увольнение Чаттерджи со своей ситуацией. Вскоре после этого Сара Хукер (недавний бывший сотрудник Google) написала в Твиттере в поддержку увольнения Чаттерджи, чтобы предотвратить крайнее токсичное преследование авторов. Впоследствии Маргарет Митчелл удалила свой твит. Сама Тимнит Гебру присоединилась к нахлынувшей волне твитов и комментариев, назвав это историей о гендерных домогательствах (ТОЛЬКО схема действий в отношении токсичных мужчин) и косвенно потворствуя увольнению. Гебру (который не работал в Google несколько месяцев) пошел еще дальше, открыто отрицая любые доказательства цензуры исследований. В ответ некоторые известные исследователи машинного обучения, в том числе Крис Олах (бывший сотрудник Google) и Джейкоб Стейнхардт (близкий сотрудник), подлили масла в огонь, повторили обвинения в домогательствах и назвали Чаттерджи хулиганом. Между тем Стейнхардт признался, что еще не читал просочившуюся газету.

Серьезность обвинений в домогательствах не следует преуменьшать, и их следует преследовать в рамках правовой системы. Тем не менее, на сегодняшний день неясно, что именно сделал Чаттерджи — помимо предположения, с почти патологической настойчивостью, в статье об обучении с подкреплением, опубликованной в Nature, имело место научное нарушение.

Гугл продолжал кружить по вагонам. Серхио Гуадаррама (недавно назначенный сотрудник Google) заявил, что его команда «независимо воспроизвела и проверила код из статьи Nature, и что такое воспроизведение было возможно, потому что код был с открытым исходным кодом. Его заявление о выпуске с открытым исходным кодом сомнительно. Выпуск github не включает в себя соответствующие части статьи Nature (моделированный отжиг — метод, который, по утверждению Чаттерджи, превосходит обучение с подкреплением), и не предоставляет тесты TPU, используемые в Nature бумага. В результате эти усилия не соответствовали истинной воспроизводимости.

Гуадаррама также предположил, что Чаттерджи «написал документ с несколькими утверждениями без каких-либо научных доказательств, который был отклонен, но это не связано с его увольнением». Неясно, как Гвадаррама мог быть причастен к делу Чаттерджи. увольнение — деликатный вопрос, который отдел кадров обычно решает конфиденциально.

В целом, дискуссия в соцсетях вокруг этого конфликта больше похожа на эпизод дурацкой Сплетницы, чем на научную дискуссию. Эксперты в сообществе автоматизации проектирования электроники (EDA) по-прежнему молчат о несоответствиях в статье Nature. Те немногие голоса, которые все-таки прозвучали, были, мягко говоря, скептичны в отношении утверждений. В соответствующей статье Reuters цитируется Патрик Мэдден — старший академик и эксперт по дизайну микросхем, который читал обе статьи — как заявивший, что следует воздерживаться от любого энтузиазма до тех пор, пока не появится значимая точка сравнения. Такого сравнения в настоящее время не существует, и Google недвусмысленно подавляет внутренние усилия по его предоставлению.

Исследование Google «Лидерство»

Любая рыба гниет с головы. В принципе ясно, что руководство Google Research несет некоторую ответственность за контрпродуктивное безобразие, но подробности никогда не станут известны, потому что Google по-прежнему молчит. Начиная с IPO и заканчивая скандалом с Gebru, общественное восприятие Google изменилось от милого ботаника из Силиконовой долины, который заботится о том, чтобы «не быть злым», к еще одной аморальной, богаче богаче корпорации. Недостатком таких впечатлений могут быть трудности с набором персонала; однако с такими глубокими карманами, как у Google, всегда найдется достаточно ML Fausts, готовых игнорировать такие надоедливые вещи, как этика.

В мире фантазий, где Google на самом деле заботится об этике, должно быть проведено справедливое расследование обвинений в домогательствах против Чаттерджи, а также расследование возможного научного нарушения в статье Nature. сильный>. Чтобы достичь последнего, Google должен опубликовать подтверждающие данные (в частности, кривые обучения) из статьи Nature и последующих опровержений, а не вести личные войны через прокси в социальных сетях. На самом деле участие в открытых научных дискуссиях с прозрачностью, которую мы привыкли ожидать от академического сообщества, было бы одним шагом в правильном направлении. Этого конкурса по измерению подписчиков в Твиттере нет.

Ответственность сообщества машинного обучения

К сожалению, обвинение Чаттерджи в домогательствах в Твиттере создало накаленную ситуацию, в которой поднятие законных научных вопросов может быть приравнено к игнорированию домогательств — явной и серьезной проблемы в сообществе ОД. Для решения обеих задач следует использовать надлежащие и отдельные каналы.

На данный момент ключевой обязанностью сообщества машинного обучения является:

(1) Обеспечить безопасную среду для всех исследователей, чтобы они могли свободно и уважительно оценивать утверждения в исследовательских работах.

(2) Религиозно требовать раскрытия кода, данных и ограничений исследовательских работ, особенно опубликованных организациями с явными финансовыми интересами в результате. Мы не должны принимать научные заслуги за чистую монету даже после публикации в престижном издании (ср.: список недавних опровержений от Nature).

Некоторые практики, которые следует учитывать, могут быть следующими:

  • Места публикации исследований ОД должны требовать соблюдения контрольных списков воспроизводимости, подобных тем, которые существуют в медицинских исследованиях.
  • Процесс рецензирования должен быть двойным слепым, чтобы уменьшить предвзятость (к сожалению, это не так в случае с Nature).
  • Сообщество ОД должно лоббировать дополнительные правительственные постановления об исследованиях ОД, учитывая их социальные последствия.
  • Университеты не должны принимать корпоративные исследовательские гранты, не гарантируя соблюдение принципов открытой науки (по общему признанию, сложная задача, учитывая давление со стороны ИС).

Без дежурных квалифицированных спасателей сообщество ОД может утонуть в созданном им же резервуаре.