Как ReUp использует прогнозное моделирование для улучшения успеваемости учащихся.

Прогнозирующее моделирование на благо впервые появилось в Шотландии более 200 лет назад.

Фактически, люди использовали вероятностное моделирование для предсказания будущего и информирования о том, как мы действуем в настоящем, с момента зарождения современной статистики в середине 18 века. Одно из первых приложений, Фонд вдов, было создано двумя шотландскими министрами. За счет скромного регулярного взноса фонд гарантировал, что после смерти министра его семья получит соответствующую сумму денег на жизнь. Способность хорошо разбирающихся в математике министров предсказывать уровни смертности, а также финансовые потребности с течением времени сделала возможной эту самовоспроизводящуюся модель. Созданный ими фонд стал, по сути, первой в мире компанией по страхованию жизни. (Он остается беспрецедентным успехом и активен по сей день).

Со времени этого замечательного происхождения использование статистических моделей для решения больших проблем быстро распространилось. Сегодня достижения в области машинного обучения и искусственного интеллекта все больше проникают в нашу жизнь.

В секторе образования растущее распространение науки о данных означает новые способы воздействия на успеваемость учащихся. Прогнозная аналитика, в частности, является мощным механизмом для изменений, и в ReUp Education мы разработали собственный механизм прогнозной аналитики, чтобы лучше обслуживать наших партнеров и студентов.

Зачем пытаться предсказывать будущее?

Цель технической службы ReUp - найти миллионы студентов, которые бросили учебу в колледже, и помочь им найти путь к получению степени. Это делает работу со студентами абсолютно необходимой для нашей работы. Итак, если мы выявим 30 000 студентов, которые покинули один из наших партнерских университетов с некоторым зачетом и без ученой степени, как мы определим, к кому обратиться в первую очередь? Когда обращаться? И как именно протянуть руку, чтобы оказать наибольшее влияние? Вот где блистает предиктивная аналитика.

В рамках нашей платформы мы разработали способность прогнозировать ключевые модели поведения учащихся. Это позволяет нам расставлять приоритеты в нашей работе, персонализировать нашу поддержку и лучше прогнозировать наши результаты. Это делает нашу работу более эффективной и действенной .

Это похоже на управление самолетом с помощью радиолокационной системы, а не только вручную; у нас есть представление о том, что нас ждет, и мы можем скорректировать свой путь для достижения максимальных результатов.

Что прогнозировать?

Несмотря на то, что существуют десятки вариантов поведения учащихся, которые можно предсказать, жизненно важно определить конкретные модели поведения, которые в наибольшей степени влияют на успех. На основе этого подхода, основанного на сильных сторонах, мы создаем и проверяем гипотезы о том, как лучше всего повлиять на каждое поведение с помощью различных аспектов нашего сервиса. В случае поддержки отчислений мы разработали три основные модели, чтобы понять каждого студента:

  1. Вероятность занятия коучингом
  2. Вероятность повторного поступления в школу
  3. Вероятность сохраниться еще раз

Вместе эти прогнозы говорят нам о моделях поведения учащихся среди населения. Это позволяет нам оптимизировать каждый этап жизненного цикла учащегося от первого знакомства до выпуска.

Как предсказать?

Хотя это может показаться очевидным, прежде чем пытаться делать высококачественные прогнозы, идеальной отправной точкой являются высококачественные исторические данные. Лучше понимая, что происходило в прошлом, мы лучше можем предсказать, что может случиться в будущем. И хотя существуют тактики, которые можно использовать в качестве обходного пути для случайных данных, ничто не сравнится с наличием большого объема тщательно собранных исторических данных. ReUp обслуживает крупнейшую в стране базу данных студентов, не посещающих школу, с миллионами точек данных, собранных за последние три года работы. Этот постоянно растущий массив данных о прошлых достижениях подпитывает процесс разработки и ускоряет нашу обратную связь.

Но о каких именно данных мы говорим? Мы включаем справочную, академическую, демографическую, поведенческую и психографическую информацию - как структурированную, так и неструктурированную - при разработке нашей модели. Что касается выбора и калибровки алгоритма, наша платформа позволяет нам одновременно тестировать несколько стратегий моделирования и применять выигрышный подход.

Глобальный или локальный

Другой типичный недостаток разработки прогнозных моделей - задержка сбора данных. Эта задержка возникает из-за того, что требуется время, чтобы собрать минимальный порог данных, необходимый для точного прогнозирования. В сфере обслуживания студентов это часто означает работу с университетским партнером в течение как минимум 1-2 полных академических семестров (например, осенью и весной), прежде чем можно будет создать надежные модели и использовать их в производстве.

Одно из преимуществ работы с десятками партнеров по образованию заключается в том, что - вместо ожидания до двух сроков - ReUp использовал весь набор данных для наша работа по формированию глобализированного набора моделей. Это означает, что по мере того, как мы начинаем работу с новыми партнерами, мы можем делать прогнозы и оптимизировать наши услуги, прежде чем мы обратимся к одному учащемуся. Затем, когда мы завершаем наши первый и второй триместры, глобальные модели получают дополнительные обучающие данные, что еще больше повышает точность для всех партнеров.

Совокупная прогностическая сила наших глобальных моделей намного превосходит те, которые ограничиваются локальными максимумами одного университета.

Включение и исключение

Когда дело доходит до того, как мы используем сгенерированные прогнозы, наша философия противоречит нормам. В частном секторе многих отраслей (таких как здравоохранение и финансы) модели прогнозирования риска часто используются либо хищническим, либо исключающим образом -, чтобы воспользоваться преимуществами одних групп, отказываясь при этом служить другим. Сами предсказания могут быть верными, а могут и не быть, но они выполняются без участия человека. Эти компании заинтересованы в выявлении наиболее прибыльных возможностей независимо от последствий для переработки и сбыта.

В ReUp мы используем наши прогнозы с целью облегчить включение - никогда не исключать . Мы можем гарантировать это, потому что ценность включения в нашей ДНК; мы получаем компенсацию за нашу работу только при повторном зачислении учащихся и по мере их обучения в школе. С этой целью мы используем прогнозную аналитику, чтобы настроить наше взаимодействие со всеми учащимися.

Вот практический пример:

  • Мы обнаружили, что учащиеся с высокой вероятностью возвращения в школу также обычно более подготовлены к возвращению и имеют меньше препятствий на своем пути. Мы можем расставить приоритеты в нашей работе с ближайшим академическим семестром и направить их на более быстрый путь поддержки с повышенной автоматизацией и меньшим человеческим участием.
  • Студенты со средней вероятностью возвращения представляют собой особую группу, поскольку мы обнаружили, что именно здесь человеческая сторона наших услуг по коучингу может иметь решающее значение, давая возможность студенту вернуться и снабжая его инструментами, чтобы снова добиться успеха.
  • А для студентов с низкой вероятностью возвращения мы обнаруживаем, что у них обычно есть более фундаментальные препятствия на пути и самая низкая общая готовность вернуться, поэтому мы отправляем их в более длительный путь, чтобы лучше понять, что они ценят и что им может понадобиться, прежде чем брать следующий шаг.

Благодаря такому инклюзивному и индивидуальному подходу мы можем поддержать каждого учащегося, оптимизируя при этом наш сервис в целом.

С течением времени или разовый

Время может иметь огромное значение при прогнозировании поведения человека. У каждого человека есть уникальный набор факторов, влияющих на его жизнь, которые развиваются и меняются с течением времени, поэтому, когда модели прогнозирования применяются только в определенный момент времени, они обычно неэффективны.

Чтобы учесть это, платформа ReUp включает в себя время как переменную в наших моделях, поэтому наши прогнозы столь же динамичны, как и жизни людей.

Это означает, что каждый день все учащиеся, которых мы обслуживаем, получают новый набор прогнозов, основанный на последних доступных нам данных. Это гарантирует, что действия, которые мы предпринимаем для поддержки студентов, актуальны, что делает их гораздо более точными, полезными и эффективными.

Настройка на равенство

При работе с недостаточно обслуживаемыми или подверженными риску группами населения чрезвычайно важно инвестировать время и энергию, необходимые для понимания этических последствий использования технологий при предоставлении услуг. В случае с ReUp мы относимся к этой ответственности с максимальной осторожностью, гарантируя, что каждая разрабатываемая нами модель оценивается на предмет предвзятости или дискриминации и соответствующим образом настраивается.

Здесь мы руководствуемся принципом ускорения справедливости, а не повторения несправедливости. На национальном уровне мы знаем, что 30,8% взрослых чернокожих и 22,6% взрослых латиноамериканцев имеют степень бакалавра или более, по сравнению с 47,1% взрослых белых в возрасте от 25 до 64 лет, согласно последним отчетам. Эти известные разрывы в капитале побуждают нас отдавать предпочтение алгоритмам, которые легко интерпретировать, вместо того, чтобы использовать методы черного ящика, которые могут быть очень точными, но не могут быть полностью объяснены. Каждый N-of-1 имеет значение, и мы не желаем жертвовать своим пониманием личности ради потенциальной незначительной выгоды в производительности.

(И вся наша платформа соответствует требованиям NIST и FERPA, чтобы гарантировать защиту и безопасность всех данных учащихся.)

Доказательство в пудинге

Весной 2019 года ReUp помог более 8 500 ученикам вернуться в школу и вернул нашим партнерам 25 миллионов долларов в виде доходов от обучения. За последние 18 месяцев количество наших партнерских отношений увеличилось с 3 до 43, и в настоящее время мы работаем с более чем 150 000 студентов -, которые, по нашим прогнозам, превысят четверть к концу 2019 года. В качестве прямого побочного продукта развития нашей технологической платформы мы удвоили эффективность нашей тренерской команды, одновременно увеличив в четыре раза нашу эффективность.

Заглядывая в будущее, мы будем тестировать и улучшать нашу платформу, прогнозировать дополнительные модели поведения (например, таяние) и глубже погружаться в мир персонализации. Благодаря инновациям и итерациям мы надеемся еще больше объединить искусство коучинга с наукой о данных. Вместе мы считаем, что сможем создать более динамичную и справедливую экосистему, в которой все учащиеся будут иметь доступ к поддержке, необходимой им для достижения своих целей и процветания.

Мы надеемся, что это обсуждение помогло осветить некоторые способы использования науки о данных для улучшения результатов студентов в высшем образовании. Если у вас есть мысли, вопросы или отзывы, мы будем рады услышать от вас!