Использование моделей машинного обучения первого уровня для создания функций для модели второго уровня

Я узнал о конкретных моделях, но хочу узнать больше об определенной части решения проблем машинного обучения. Мне не удалось найти об этом документов, отчасти из-за того, что я не знал, как это называется.

У меня большой набор данных. Я обучил на нем множество моделей бинарных классификаторов. Я хочу поместить прогнозы этих моделей в модель «второго уровня». Здесь я также хочу добавить другие функции, такие как «все ли модели согласны с этим классом» и тому подобное.

Я не уверен, насколько у меня есть свобода действий при добавлении функций в эту модель второго уровня. Можно ли взять характеристики данных из модели «первого уровня» и поместить их на «второй уровень»? Есть ли такое название для процесса складывания моделей, на которое кто-нибудь мог бы пролить свет? Могу я повторить процесс еще раз и сделать «третий уровень»?

Спасибо


person Gabe    schedule 19.04.2017    source источник
comment
Этот вопрос больше подходит для stats.stackexchange.com. То, что вы ищете, называется упаковкой.   -  person acidtobi    schedule 20.04.2017
comment
Также ищите о наложении в ансамблевом обучении.   -  person Vivek Kumar    schedule 20.04.2017


Ответы (1)


Мне кажутся ваши вопросы связанными с бэггингом, бустингом и ансамблями, ищите их, например, "все ли модели согласны с этим классом" звучит как "ансамбли большинства голосов", и "я обучил на нем много моделей бинарных классификаторов. Я хочу чтобы превратить прогнозы этих моделей в модель «второго уровня» ». звучит для меня как: adaboost, в котором ваше обучение будет давать каждому классификатору вес (аналогично тому, как в ML вы даете веса каждой функции), а выходом классификатора будут «функции», поэтому каждый выход классификатора будет взвешен по весам также изучается во время тренировок. Также, если вы планируете использовать глубокое обучение, существует «трансферное обучение», в котором вы используете один классификатор как средство извлечения признаков, и эти функции используются для обучения другого.

person Luis Leal    schedule 19.04.2017