- Почему инициализация параметров может считаться предшествующей по сравнению с параметрами?
ANS:- - [Santos '96] показывает, что градиентный спуск с ранней остановкой == вывод MAP (который максимизирует вероятность обучающих данных) по гауссовскому априорному (по пространству параметров) со средним значением в точке инициализации. **
- Таким образом, обучение MAML == нахождение оценки MAP для ϕ на основе текущего θ и задачи с последующим вычислением потерь на тестовых данных задачи. [Как и VAE, есть вывод (кодирование), за которым следует оценка (насколько хороша реконструкция?)] Даже уравнения похожи: -
- [Ким и др. др. Auto-Meta] Использует поиск нейронной архитектуры, чтобы найти сеть, подходящую для внутренней оптимизации.
- Основная концепция непараметрических подходов заключается в использовании непараметрических подходов для классификации во внутреннем цикле подходов, основанных на оптимизации, чтобы избежать обучения с использованием SGD во внутреннем цикле. Дополнительным преимуществом является то, что непараметрические подходы лучше работают в режимах с низким объемом данных, поэтому они подходят и здесь.
- Мы используем параметрические метаобучения, которые дают хороших непараметрических обучаемых.
- Непараметрические методы: -
1.) Сиамские сети: - Возьмите 2 изображения в качестве входных данных и попытайтесь предсказать двоичную метку, указывающую, принадлежат ли они к одному и тому же классу.
2. ) Соответствующие сети: — Они были введены для устранения несоответствия между процедурой обучения и тестирования сиамских сетей. Их структура следующая: -
3.) Прототипные сети: - Если имеется более одного обучения, все изображения отправляются вместе в g_{θ} . А вложения изображений, соответствующие одному классу, усредняются для получения «прототипного вложения» каждого класса. Как следует: -
4.) Другие идеи для непараметрического обучения: -
Сравнение трех подходов
Присоединяйтесь к DA Labs в нашем стремлении понять, как работают машины и как они учатся! Удивляйтесь и бродите по прекрасному полю, то есть Глубокому обучению! Любые отзывы/вопросы всегда приветствуются и приветствуются 😇 Чтобы присоединиться к нам в наших проектах/исследованиях, взаимодействовать с нами или писать нам, просто звоните на наш дискорд-сервер https://discord.gg/UwFdGVN ! :)
