Как подробно описано в моих заметках в репозитории GitHub нашей исследовательской группы здесь, в прошлом месяце мы собрались, чтобы завершить обзор Стэнфордского CS231n. Этот курс, который вел Фей-Фей Ли, но в 2016 году в основном преподавали Андрей Карпати и Джастин Джонсон, был посвящен алгоритмам глубокого обучения, которые позволяют использовать современные приложения машинного зрения, такие как беспилотные автомобили и инструменты распознавания лиц теперь является обычным явлением, например, в операционных системах Apple и Facebook. Самое забавное использование этих подходов, с которым я когда-либо сталкивался, — это Быстро, рисуй! игра — играть бесплатно можно здесь.

Это была наша третья из трех сессий, посвященных CS231n, и наше внимание было обращено на последние несколько лекций курса. В первую очередь мы исследовали:

  • использование сверточных нейронных сетей для категоризации и описания движения (т. е. видео)
  • методы неконтролируемого обучения, облегчаемые алгоритмами глубокого обучения
  • автоэнкодеры (то есть традиционный вариант, когда-то широко использовавшийся для создания признаков для контролируемых моделей, а также вариационный вариант, который пересекает глубокое обучение с байесовским статистика для генерации образцов, скажем, изображений)
  • Ограниченные машины Больцмана: жадные автоэнкодеры обучали один слой за раз из-за ограничений обработки середины 2000-х.
  • Генеративно-состязательные сети: были популяризированы Яном Гудфеллоу в NIPS в 2014 году, и с тех пор, как из года в год совершаются огромные технологические скачки, GAN используют две нейронные сети: одну для создания суррогатных образцов, а другую для оценки их сходства с реальные образцы — для создания убедительных симуляций изображений

Помимо завершения CS231n, мы были рады услышать презентации от двух членов нашей исследовательской группы:

  1. Рафаэла Сапире о своем опыте работы венчурным капиталистом в Blue Seed Capital, особенно о ее понимании рынка стартапов с машинным и глубоким обучением (слайды здесь )
  2. Катя Василаки о своем исследовании Регуляризации L2, популярного метода, позволяющего избежать переобучения в широком диапазоне моделей, в том числе в моделях глубокого обучения (слайды здесь)

После этой февральской встречи мы углубились в другой курс Стэнфорда 2016 года, на этот раз CS224d Ричарда Сочера по глубокому обучению для обработки естественного языка. На следующей неделе у меня будет два поста в блоге, включая подробные заметки.

Уделяя все больше внимания глубокому обучению, я предоставляю ресурсы по науке о данных здесь.