В новостях мы слышали о том, что чат-бот Microsoft в Твиттере стал расистским, Tesla на автопилоте убила двух человек или внутренний инструмент рекрутирования искусственного интеллекта Amazon, который был предвзятым в отношении женщин. Мы сами можем задаться вопросом, будут ли наши модели генеративного ИИ извергать нежелательный контент при развертывании?
Когда мы создаем сложные модели машинного обучения, есть ли способы уменьшить эти случаи и использовать человеческий интеллект для улучшения желаемых результатов наших моделей? «Человек в цикле» (HITL) может быть лучшим доступным нам ответом.
Что такое машинное обучение «Человек в цикле» (HITL)?
Человек в цикле (HITL) — это процесс непрерывного обучения, в котором люди могут помочь модели МО, когда она сталкивается с новыми для нее данными и должна сделать прогноз, в котором модель имеет очень мало уверенности.
Системы искусственного интеллекта превосходно учатся принимать оптимальные решения при наличии больших наборов высококачественных данных. Однако в реальном мире такие наборы данных встречаются редко, что часто ограничивает возможности машинного обучения. С другой стороны, человеческий интеллект умеет распознавать закономерности в небольших и некачественных наборах данных. Объединив эти различные наборы навыков в цикле обратной связи, машинное обучение HITL расширяет возможности машинного обучения.
Человек в цикле может относиться к разным людям и использоваться в разных контекстах. Обычно задействованными людьми являются специалисты, которые помогают снизить количество ошибок и контролируют процесс обучения машин. Эти эксперты могут занимать самые разные должности, включая аннотаторов данных, группы поддержки, сотрудников по обеспечению качества, специалистов по обработке данных и инженеров по машинному обучению.
Короче говоря, машинное обучение HITL относится к набору стратегий, которые объединяют человеческий и машинный интеллект в приложениях искусственного интеллекта. Цели этих стратегий обычно включают в себя:
- Повышение точности моделей машинного обучения
- Уменьшение времени достижения целевой точности модели ML
- Повысьте операционную эффективность моделей AI/ML
«Можем ли мы использовать больше данных или лучшие алгоритмы для достижения большей уверенности?»
За последние годы в области машинного обучения произошли замечательные технологические достижения. Тем не менее, кажется, что ничто не может сравниться с простым уравнением:
больше данных для тренировок = лучшая производительность
Однако получение чистых, репрезентативных и объективных данных обучения всегда является сложной задачей и требует человеческого опыта. Хотя доступно множество общедоступных наборов данных, они обычно не имеют отношения к вашим конкретным проблемам и должны быть созданы.
Чтобы не тратить годы на создание набора данных, вы можете начать обучение модели с помощью HITL и начать ее использовать раньше. Во многих случаях этот подход также приводит к значительному повышению производительности.
Процесс машинного обучения HITL
Процесс машинного обучения HITL обычно используется в два широких этапа; обучение и тестирование.
- Подготовка Обучающих данных, т. е. маркировки/аннотаций
Подготавливая данные для обучения модели ML, люди помечают как входные, так и соответствующие ожидаемые выходные данные обучения.
В контролируемом машинном обучении этот процесс предоставляет алгоритму точно размеченные данные, что позволяет ему эффективно делать прогнозы на будущее.
В машинном обучении без учителя с немаркированными наборами данных алгоритм предназначен для поиска и определения собственной структуры немаркированных данных. Затем человек может просмотреть классы, созданные алгоритмом, и внести необходимые изменения. Это подпадает под подход глубокого обучения HITL.
2. Тестирование и оценка
Как в контролируемом, так и в неконтролируемом машинном обучении HITL цель тестирования и оценки состоит в том, чтобы позволить людям исправить любые неточные результаты, которые алгоритм дает при представлении новых данных.
В целом можно выделить две категории неточных решений:
- Алгоритм имеет низкую уверенность в точности (крайние случаи) и
- Талгоритм уверен, но результат неверен.
Активное обучение – это процесс, в котором машинам передается обратная связь от людей для интерпретации результатов с низкой достоверностью. Цель тестирования и оценки — позволить алгоритму улучшить процесс принятия решений, чтобы он в конечном итоге не зависел от вмешательства человека.
Пример этого проиллюстрирован в автоответчике информационных запросов, который мы начали создавать в нашем предыдущем посте. Наша конечная цель — чтобы наша модель машинного обучения классифицировала и отвечала на все вопросы, связанные с оптовыми скидками и международной доставкой. Однако когда мы первоначально тестируем и внедряем нашу автоматизацию в производство, наша модель может столкнуться со сценариями, в которых она не совсем уверена в своем прогнозе. Например, если мы работаем с показателем достоверности 90 %, а модель предсказывает результат с показателем достоверности 80 %, мы можем гарантировать, что человек просмотрит его, прежде чем опубликовать. Мы можем хранить электронное письмо с автоматическим ответом клиенту в папке черновиков, и человек может проверить его перед тем, как нажать Отправить, чтобы избежать ложных срабатываний.
Объединение процессов обучения, тестирования и оценки создает непрерывный цикл обратной связи между людьми и моделью ML. Этот цикл повышает точность и согласованность алгоритма за счет уточнения и расширения области пограничных случаев.
Со временем модель машинного обучения сможет даже анализировать собственную производительность и выявлять области, в которых она менее эффективна. Затем данные отправляются людям, что повышает эффективность обратной связи и общее качество человеческого труда. Процесс машинного обучения in-the-loop (HITL).
Преимущества участия человека в процессе: почему люди важны?
Повышение качества
Бухгалтерские фирмы используют ИИ, чтобы справиться с необходимостью вручную проверять тысячи документов, чтобы клиенты соответствовали каждому новому постановлению. Они постоянно используют человек в цикле (и извлечение сущностей НЛП) для проверки результатов, чтобы убедиться, что их система искусственного интеллекта согласована и эффективна.
Использование экспертизы предметной области
Для создания конкурентоспособного алгоритма машинного обучения решающее значение имеет использование уникальных знаний экспертов в предметной области. Инструмент обнаружения Nasdaq, призванный улучшить управление торговой деятельностью, был создан с помощью специалистов-аналитиков. Этот подход с участием человека также охватывает крайние случаи, такие как редкие или недостаточные данные, и может служить препятствием для обучения моделей ML без присмотра человека. Фейсбук по-прежнему полагается на экспертов-людей для мониторинга социальной активности, поскольку сложно научить систему искусственного интеллекта всем нюансам общения.
.Повышение точности/снижение количества ошибок
Внедрение машинного обучения в рабочий процесс может значительно улучшить автоматизацию. Сочетание машинного обучения и человеческих усилий может дать наилучшие результаты за счет автоматизации человек в цикле. Ярким примером такого подхода является использование Google Deepmind для обнаружения рака молочной железы. Объединенная система с участием врачей привела к снижению количества ложноотрицательных результатов, продемонстрировав, как машины могут облегчить работу экспертов, повысить общую точность и снизить количество ошибок.
Недостатки «человека в цикле»: мы уникальные существа :)
Дорогой
Маркировка требует от людей аннотировать и классифицировать изображения, текст, аудио или другие файлы. Этот процесс можно выполнить собственными силами или передать на аутсорсинг, но в любом случае он потребует значительных затрат. Кроме того, обеспечение постоянной обратной связи с человеком на этапе обучения и оценки также увеличивает общие расходы.
Кропотливый
Процесс «Человек в цикле» (HITL) — это ручной процесс, требующий значительного времени и усилий. Выполнение заданий по аннотированию данных может занять несколько недель или даже месяцев. Дальнейший мониторинг тестирования и оценки моделей до тех пор, пока они не достигнут необходимой точности, сам по себе является гигантской задачей.
Используйте умный выбор в своих интересах в машинном обучении HITL
Один из способов смягчить недостатки HITL — разумный выбор. Чтобы оптимизировать производительность без больших затрат, важно распознавать и позволять людям обрабатывать только те данные и сценарии, которые окажут наибольшее влияние на модель.
Один из способов добиться этого – использовать методы разумного отбора. Вместо обработки всех немаркированных данных выберите наиболее релевантные данные, которые могут повысить точность, и отбросьте любые данные, которые потенциально могут нанести вред модели и снизить точность. Такой подход приводит к повышению точности модели и одновременному снижению затрат.
Как работает умный выбор?
Благодаря интеллектуальному выбору вы можете определить наиболее ценные блоки обучающих данных для аннотаций, выполняемых человеком. Этот анализ данных действительно может максимизировать повышение точности вашей модели.
Умный выбор учитывает четыре различных критерия:
- Низкая достоверность — любые данные или сценарий, к которым модель имеет низкую достоверность.
- Неопределенность — сценарии, которые модель не может предсказать.
- Новизна — любые новые данные, на которых модель никогда не обучалась.
- Важность класса. Определите классы данных, которые важны для вашей модели, и данным, связанным с этими классами, будет присвоен более высокий приоритет с повторным обучением модели с использованием этих типов наборов данных.
Человек в курсе событий с помощью умного выбора помогает нам повысить точность наших моделей без значительного увеличения стоимости. Использовали ли вы когда-нибудь машинное обучение HITL в своей работе?
Спасибо за прочтение. Увидимся в следующем посте.
