Предпосылка к названию этого поста довольно очевидна. Если вы являетесь предприятием или организацией, ориентированной на сознательное внедрение операций машинного обучения в свою практику обработки данных, вы одновременно выполняете ответственный ИИ. Теперь, когда это сказано, я хочу подчеркнуть, что выполнение ML Ops не означает, что практика ML Ops является полным выражением всего, что вы можете сделать, чтобы иметь ответственные системы ИИ, но это говорит мне о том, что вы уже думать о том, как заставить ваши системы работать с максимальной производительностью.
Потому что в этом и заключается этический ИИ, верно? Есть кричащие заголовки новостей с рассказами о крупных технологических компаниях, которые ломают свои системы искусственного интеллекта на основе зрения из-за расы или этнической принадлежности. Есть рассказы о компаниях, использующих машинное обучение для отбора кандидатов для найма, что приводит к тому, что меньшинства отсеиваются очень рано. Или неудачный алгоритм включенной системы iBuying в сфере недвижимости. У этого списка нет конца. Если оставить в стороне горячие политические дискуссии, мы, технические специалисты, можем согласиться вот с чем: каждый из этих примеров показывает сбой в самой системе ИИ — ИИ не выполнял свою работу должным образом. Это означает, что он был спроектирован и развернут неправильно.
Таким образом, хотя этика в ИИ может считаться социологической или политической проблемой, по сути, это технический недостаток, который необходимо исправить, чтобы системы ИИ действительно выполняли свою работу правильно.
Что такое ML-операции?
Я хотел бы позаимствовать определение и цели новой и многообещающей области операций машинного обучения с сайта ML-Ops.org, чтобы определить, что означает для нас ML Ops. Проверьте это:
А цели?
Большой. Теперь, если вы прокрутите вниз веб-сайт ML-Ops, вы увидите несколько любопытных разделов. Мы вернемся к ним позже, когда определим, что такое этичный/ответственный ИИ. Но возьмите на заметку здесь:
Теперь, когда у нас есть понимание того, что такое ML Ops как область, давайте определим, что для нас значит ответственный/этичный ИИ.
Как я определяю этический ИИ
Я беру свои определения практик этичного или ответственного ИИ (RAI) из двух документов в сфере национальной безопасности, а также из принципов этического ИИ от Google. Давайте посмотрим, что каждый из них определяет как этический ИИ:
Объединенный центр искусственного интеллекта Министерства обороны опубликовал руководство по ответственному искусственному интеллекту
- Ответственность. Персонал Министерства обороны будет проявлять надлежащий уровень суждений и осторожности, оставаясь при этом ответственным за разработку, развертывание и использование возможностей ИИ.
- Справедливый. Департамент предпримет преднамеренные шаги, чтобы свести к минимуму непреднамеренную предвзятость в возможностях ИИ.
- Отслеживаемый. Возможности ИИ Департамента будут разрабатываться и внедряться таким образом, чтобы соответствующий персонал обладал надлежащим пониманием технологий, процессов разработки и методов работы, применимых к возможностям ИИ, в том числе с использованием прозрачных и проверяемых методологий, источников данных и процедур проектирования и документация.
- Надежный. Возможности ИИ Департамента будут иметь явное, четко определенное использование, а безопасность, защищенность и эффективность таких возможностей будут подвергаться тестированию и проверке в рамках этих определенных видов использования на протяжении всего их жизненного цикла.
- Управляемый. Департамент разработает и спроектирует возможности ИИ для выполнения предусмотренных функций, обладая при этом способностью обнаруживать и предотвращать непредвиденные последствия, а также способностью отключать или деактивировать развернутые системы, которые демонстрируют непреднамеренное поведение. ["Источник"]
Руководство Управления национальной разведки по ответственному ИИ (RAI)
Принципы ответственного ИИ Google
Как ML Ops и RAI объединяются (нетехнические размышления)
Давайте вместе взглянем на все эти концепции RAI от различных оборонных и не оборонных организаций — я объединил их в похожие категории в своих размышлениях.
Ответственный, объективный и беспристрастный, беспристрастный, уважающий закон и действующий добросовестно, основанный на науке и технологиях
Почти все три фреймворка включали в себя что-то вроде построения ответственных систем, все три использовали работу «справедливую» в той или иной форме, форме или форме. Где инженеры данных и инженеры ML Ops могут сосредоточиться здесь, так это на «объективной» части — этот объективный подход к разработке моделей ML — это то, что предотвратит (теоретически) предвзятость модели и проблемы с моделями, которые делают сумасшедшие вещи, такие как неправильная классификация объектов в модели. наступательный способ. Инженеры ML Ops и инженеры по данным также оценят создание систем, основанных на науке и технологиях — всем нам, техническим специалистам, хотелось бы думать, что именно из этого исходит корень всей нашей работы. Если у вас есть ИИ, не связанный с наукой и технологиями, то у вас вообще нет системы ИИ.
Отслеживаемость, определение нескольких показателей для оценки обучения и мониторинга, прозрачность и подотчетность, когда это возможно, непосредственное изучение необработанных данных, понимание ограничений вашего набора данных и модели
Этот раздел должен быть очень полезен как инженерам данных, так и инженерам ML Ops. Создание отслеживаемых моделей означает, что вы знаете (насколько это возможно) все, от цепочки хранения данных до метрик объяснимости моделей и идей (подробнее об этом в техническом разделе). Все вышеперечисленное затрагивает важные важные моменты: создание моделей, которые тщательно отслеживаются на всех этапах цикла ИИ (начиная с изучения данных, которые будут использоваться в качестве обучающих данных) вплоть до изучения производительности модели и связанных с ней ограничений. Все это технические задачи (а также задачи, которые может контролировать кто-то вроде менеджера по продуктам AI или PM), и все они могут быть отнесены к конкретным техническим решениям, нацеленным на все вышеупомянутые области (подробнее в техническом разделе о том, какие типы решений мы можно было бы посмотреть).
Надежный, безопасный и отказоустойчивый
Что означает надежный с технической точки зрения для ML Ops Engineer или Data Engineer? Надежность означает, что модель будет работать с предельной точностью, полнотой, точностью, AUC и т. д. Модель будет давать несколько предсказуемые результаты, которые не будут повсюду, например, в угловых или крайних случаях использования. Это технические задачи и, откровенно говоря, технический долг, который берет на себя вся команда ИИ при обучении и создании модели, вплоть до долгосрочного обслуживания и мониторинга. Отказоустойчивость — это буквально технический термин, используемый для описания функций: отказоустойчивость модели и отказоустойчивость функций в настоящее время становится горячей темой многих технических публикаций.
Безопасность — это то, во что мы углубимся в техническом посте немного подробнее, но вот еще одна многообещающая область, которую я буду называть «инженерами безопасности ИИ» или даже «пен-тестерами систем ИИ». Это сосредоточено на таких вещах, как уверенность в том, что модели травления не испортятся, и что модель подвергается реинжинирингу или потенциальному вмешательству. Обеспечение невозможности взлома всего конвейера (от начала до конца). Обеспечение безопасности конечной точки модели (будь то API или любой другой способ обслуживания вашей модели) и невозможность взлома или подделки (например, DDoS-атака на конечную точку модели сделает ее недоступной или бомбардировка конечной точки кучей нерелевантных данных логического вывода может привести к искажению модели или ее полному прекращению.
Управляемый, Продолжайте отслеживать и обновлять систему после развертывания, Тестировать, Тестировать, Тестировать
Этот раздел (как мне кажется) больше всего посвящен техническому долгу и задачам, которые команда возьмет на себя после того, как модель будет обучена, протестирована и, наконец, развернута. Существует множество технических пакетов, инструментов и продуктов, предназначенных для этой области, о которых я расскажу в следующем посте. модель развертывается должным образом и продолжает выполнять функцию, для которой она была разработана. Мониторинг и управление моделями после того, как модель включена в рабочий процесс, выходят далеко за рамки технических битов и байтов, однако члены команды, такие как руководитель проекта, руководитель продукта и ИИ, должны быть в курсе более крупного бизнес-аппарата, чтобы обеспечить модель все еще актуальна для миссии, на которую она изначально была возложена. Или что модель по-прежнему соответствует масштабу продукта, в котором она развернута, будь то приложение или что-то еще. Если модель больше не нужна или масштаб изменился (пусть даже незначительно), то задачей руководящей группы ИИ является обеспечение того, чтобы техническая команда была предупреждена и знала, что делать дальше.
Ориентированная на человека разработка и использование, ориентированный на пользователя дизайн и подход
Как ни странно (но не удивительно), этот аспект RAI вообще не был включен или упомянут в «Принципах этики ИИ Министерства обороны США», опубликованных JAIC, но был упомянут ODNI и, конечно же, родоначальником дизайна, ориентированного на пользователя, — самой Google. Этот раздел наиболее важен на этапе определения масштаба создания системы ИИ, чтобы убедиться, что масштаб разработан с учетом потребностей человека, с реальными пользователями, которые получат выгоду от его результатов. Я не думаю, что традиционный подход к проектированию, ориентированный на пользователя, изначально предложенный Google, полностью соответствует этому разделу — кому-то нужно разработать основу для ориентированного на пользователя проектирования для систем ИИ, потому что область применения всегда немного отличается, а технические основы несколько отличаются. отличается тем, что мы не говорим здесь о традиционном потребительском продукте или полнофункциональном приложении.
В следующем посте я рассмотрю все эти разделы более подробно с технической точки зрения, углубившись в технические решения, доступные там, как они функционируют и работают, и как все эти технические задачи (обычно решаются ML Ops). инженеры и инженеры данных) в конечном итоге приводят к ответственным системам искусственного интеллекта. Следите за обновлениями!
