Стандартный подход к машинному обучению заключается в том, чтобы научиться выполнять конкретную задачу с соответствующим набором данных. Модель обучается с использованием набора данных и способна выполнять только эту одну задачу. Это резко контрастирует с животными, которые продолжают учиться на протяжении всей жизни, накапливая и переназначая знания и навыки. Это ограничение было широко признано и устранялось по-разному и с использованием разнообразной терминологии, что может сбивать с толку. Я хотел кратко рассмотреть эти подходы и дать точное определение непрерывного обучения, которое мы хотим внедрить в нашем стремлении к ОИИ.
Переносное обучение – это термин, который в последнее время часто используется в контексте глубокого обучения. На самом деле впервые это обсуждалось в статье Pratt in 1993. Методы трансферного обучения используют знания для связанных задач с теми же или похожими наборами данных. Классический пример — научиться распознавать автомобили, а затем применить модель к задаче распознавания грузовиков. Или научиться распознавать другой аспект объектов в одном и том же наборе данных, например научиться распознавать лепестки вместо листьев в наборе данных, содержащем множество растений.
Одним из видов трансферного обучения является адаптация предметной области. Это относится к идее изучения одной области или распределения данных, а затем применения модели и ее оптимизации для связанного распределения данных. Обучение модели на различных распределениях данных часто называют обучением в нескольких областях. В некоторых случаях распределения похожи, но в других случаях они намеренно не связаны.
Термин обучение на протяжении всей жизни появляется примерно в то же время, что и трансферное обучение, в статье Thrun in 1994. Он описывает это как подход, который обращается к ситуациям, в которых учащийся сталкивается с рядом различных учебных задач, обеспечивая возможность синергии между ними. Он пересекается с трансферным обучением, но акцент делается на сборе знаний общего назначения, которые передаются через несколько последовательных задач на всю жизнь. Трун продемонстрировал результаты с реальными роботизированными системами.
Curriculum Learning by Bengio — это особый случай обучения на протяжении всей жизни или трансферного обучения, целью которого является оптимизация выполнения конкретной задачи, а не разных задач. Он делает это, упрощая одну и ту же задачу и постепенно усложняя ее.
Алгоритмы онлайн-обучения обучаются итеративно с новыми данными, в отличие от обучения на основе прохождения всего набора данных, как это обычно делается при обычном обучении с учителем и без учителя, называемом пакетным обучением. Пакеты также могут относиться к частям набора данных.
Онлайн-обучение полезно, когда весь набор данных не помещается в памяти сразу. Или, что более актуально для AGI, в сценариях, где новые данные наблюдаются с течением времени. Например, когда новые выборки генерируются пользователями системы, агентом, исследующим свою среду, или для случаев, когда моделируемые явления меняются. Другой способ описать это состоит в том, что базовое распределение входных данных не является статическим, то есть нестационарным распределением, поэтому они называются нестационарными проблемами.
Системы онлайн-обучения могут быть подвержены «забвению». То есть становится менее эффективным при моделировании старых данных. В худшем случае происходит полный и внезапный сбой, известный как Катастрофическое забывание или Катастрофическое вмешательство.
Пошаговое обучение, как следует из названия, заключается в постепенном обучении, расширении модели и повышении производительности с течением времени. Инкрементное обучение явно обрабатывает уровень забывания прошлых данных. Таким образом, это тип онлайн-обучения, который позволяет избежать катастрофического забывания.
В однократном обучении алгоритм может учиться на одном или нескольких примерах. Обучение на примерах — один из способов добиться этого, создавая гипотезы непосредственно на основе обучающих примеров.
Родственной концепцией является мультимодальное обучение, при котором модель обучается на разных типах данных для одной и той же задачи. Например, научиться классифицировать буквы по тому, как они выглядят с помощью визуальных данных, и по тому, как они звучат, с помощью аудио.
Теперь, когда у нас есть более четкое представление об этих терминах, мы понимаем, что все они являются важными элементами того, что мы считаем непрерывным обучением для успешного агента AGI. Я думаю, будет поучительно выразить это в терминах признаков в контексте автономного агента. Я сопоставил эти черты с соответствующими концепциями алгоритма машинного обучения в скобках.
Использует полученную информацию, чтобы помочь с последующими задачами. Опирается на свои знания. Обеспечивает более сложное поведение и более быстрое обучение. (переводное обучение, обучение по учебной программе)
По мере постепенного изменения характеристик задачи она будет адаптироваться. Это не приведет к катастрофическому забыванию. (Адаптация предметной области, нестационарные входные распределения, итеративное обучение)
Может изучать совершенно новые задачи. Это не приведет к катастрофическому забыванию старых задач. Кроме того, он может выучить эти новые задачи так же хорошо, как если бы это была первая выученная задача, т. е. изучение задачи не препятствует способности выучить последующие задачи. (Итеративное обучение)
Узнает важные аспекты задачи на очень небольшом количестве примеров. Он способен быстро обучаться, когда это необходимо. (однократное обучение)
Продолжает учиться по мере сбора дополнительных данных. (онлайн-обучение)
Сочетает сенсорные модальности для изучения задачи. (Мультимодальное обучение)
Обратите внимание, что при непрерывном обучении, если есть фиксированные ресурсы и вы работаете на пределе своих возможностей, должна быть некоторая забывчивость, но, как указано в таблице, это не должно быть "катастрофическое забывание".
Первоначально опубликовано в Project AGI.
