В пятницу, 7 декабря 2018 г., Саломе Вильджоен представила нашу статью Право и состязательное машинное обучение на семинаре по безопасности и машинному обучению на конференции Neural Information Processing Systems (NeurIPS). В статье, написанной в соавторстве с Саломе, Дэвидом Р. О'Брайеном, Кендрой Альберт и мной, представлен обзор некоторых существующих средств правовой защиты от атак, которые были продемонстрированы в системах машинного обучения, и предложены некоторые потенциальные области исследований для машинного обучения. обучения исследователей с учетом существующего состояния правовой неопределенности.

Зачем смотреть на машинное обучение и закон?

Машинное обучение (ML) — это разновидность искусственного интеллекта, которая широко применяется во многих сферах, от чат-ботов до диагностики заболеваний. Но, несмотря на энтузиазм в отношении машинного обучения и его растущую интеграцию в критически важную инфраструктуру, оно часто небезопасно. С небольшими усилиями злоумышленники могут поставить под угрозу целостность и доступность систем машинного обучения с помощью целевых или массовых атак, продемонстрированных рядом исследователей в области машинного обучения с 2004 года.

Нападение на системы машинного обучения имеет последствия для реального мира: в 2016 году исследователи из Корнелла перепроектировали алгоритм, лежащий в основе нескольких популярных систем машинного обучения. Одна из пострадавших компаний ответила: «Иными словами, даже если бы украсть программное обеспечение было легко, все равно существовал бы важный фактор, препятствующий этому, поскольку это нарушало бы закон об интеллектуальной собственности».

В нашей статье утверждается, что точно неясно, верны ли такие заявления — некоторые комментаторы и многие организации предположили без дальнейшего анализа, что современные правовые режимы учитывают состязательные атаки с использованием машинного обучения, но, по крайней мере, для некоторых атак такая защита может быть неопределенной.

Какие атаки на системы машинного обучения мы анализировали?

Мы проанализировали следующий набор атак на системы машинного обучения, который можно неофициально определить как:

  • Инверсия модели. Злоумышленники восстанавливают обучающие данные, используемые системой машинного обучения.
  • Отравляющие атаки. Злоумышленники искажают входные данные для систем машинного обучения на этапе обучения, так что они обучаются неправильно и, следовательно, неправильно выполняют задачу.
  • Атаки возмущения — вместо того, чтобы искажать входные данные на этапе обучения, злоумышленники искажают запрос к системам машинного обучения на этапе оценки.
  • Кража модели — злоумышленники перепроектируют лежащий в основе алгоритм.

Выводы из бумаги:

  1. Закон о компьютерном мошенничестве и злоупотреблении правдоподобно охватывает некоторые атаки на цепочку поставок, возмущение и атаки с отравлением, если его формулировки закона интерпретируются определенным образом.
  2. Хотя кража моделей и атаки с инверсией модели могут показаться хорошими вариантами использования закона об интеллектуальной собственности, закон об авторском праве может обеспечить слабую защиту из-за защиты исходного кода как литературного произведения.
  3. Конечным пользователям может быть сложно применить закон об ответственности за продукцию против компаний за неспособность защитить от враждебных атак машинного обучения из-за отсутствия согласованных стандартов для безопасной разработки ML. Не существует установленного стандарта или общеотраслевой практики защиты от враждебных примеров.

Что дальше?

Поскольку новые технологии допускают новый потенциальный вред, судьи, законодательные органы и регулирующие органы готовы рационализировать закон с помощью технологий. Для состязательного машинного обучения этот процесс только начинается — у судей не было особых причин определять применимость существующего закона к атакам на машинное обучение, а также не были приняты конкретные законы для регулирования систем машинного обучения.

Как мы упоминали в разделе «Призыв к действию» в документе, мы особенно думаем о двойном использовании состязательных примеров. Враждебные примеры могут облегчить цензуру политических диссидентов: исследователи ОД должны предвидеть, что репрессивные правительства могут искать лазейки в системах потребительского ОД. В то же время есть и предполагаемые преимущества: диссиденты в тоталитарном государстве могут уклоняться от распознавания лиц с помощью напечатанных на 3D-принтере очков, как показано в недавнем исследовании.

Документ NeurIPS был лишь отправной точкой — есть много других типов атак, которые мы не предоставили юридических комментариев — например, взлом вознаграждения. Следующим шагом является более подробное изучение различных типов преднамеренных и непреднамеренных отказов машинного обучения.

Если вас интересует этот перекресток или вы хотите обсудить его подробнее, свяжитесь с нами по адресу [email protected] или @ram_ssk в Твиттере!