ExxonMobil использует краудсорсинговые онлайн-соревнования как метод генерирования идей для разработки новых проектов. Через ограниченные во времени, конкретные…

ExxonMobil использует краудсорсинговые онлайн-соревнования как метод генерирования идей для разработки новых проектов. Благодаря ограниченным по времени специальным краудсорсинговым конкурсам компания использует принципы открытых инноваций для расширения традиционных программ исследований и разработок.

В период с 2015 по 2017 год ExxonMobil провела более 20 внутренних конкурсов идей по краудсорсингу, в результате которых в общей сложности было представлено более 5000 идей. Спонсор каждого конкурса предоставил постановку вопроса, цели и критерии для определения «лучших» идей. Отобранные идеи вошли в конвейер инноваций для более тщательной оценки НИОКР. В среднем конкурс идей генерирует от 300 до 700 идей, и спонсоры обычно просматривают корпус идей в течение шести месяцев после конкурса.

Относительно длительный период оценки после конкурса заставил многих участников конкурса почувствовать, что их предложения не используются, что негативно сказывается на моральном духе сотрудников. Авторы утверждают, что можно разработать систему поддержки принятия решений, чтобы сократить время, необходимое для сортировки представленных идей, и при этом использовать преимущества нетрадиционных идей посредством краудсорсинга.

Литература об открытых инновациях, разработке новых продуктов и краудсорсинге свидетельствует о том, что все большее число компаний, в том числе и моя, используют онлайн-краудсорсинг как парадигму открытых инноваций, а меры по снижению затрат применяются в различных корпорациях (Brabham, 2010; Poetz & Schreier, 2012; Zuchowski, Posegga, Schlagwein, & Fischbach, 2016).

В то время как объем идей, генерируемых с помощью краудсорсинга, больше, чем объем идей, полученных с помощью методов личного общения, таких как групповой мозговой штурм, количество идей, которые получают одобрение руководства для превращения в проекты, меньше, чем количество идей, полученных с помощью методов личного общения. Идеи, которые были пересмотрены, отредактированы и усовершенствованы в процессе формирования идей, считаются более инновационными (Kohn, Paulus, & Choi, 2011). Это говорит о том, что методы, основанные на представленных идеях, приведут к более качественным идеям.

Поскольку дополнительное время тратится на методы, которые производят меньше идей, одобренных руководством, сосредоточение внимания на краудсорсинге может привести к неэффективному распределению ресурсов. Система поддержки принятия решений для краудсорсинговых конкурсов позволяет техническому менеджеру определить связь между участием сообщества и одобрением руководства спонсора, чтобы улучшить отбор проектов и, возможно, управление конкурсами.

Краудсорсинг как метод открытых инноваций применялся во многих областях, включая биологию, сохранение и разработку новых продуктов. Большая часть литературы посвящена внешнему и клиентскому краудсорсингу для определения и уточнения идей. Внутренние краудсорсинговые конкурсы по генерации идей — это метод расширения корпоративных исследований и разработок новых продуктов (Jones, 2016, 2018).

Обучение и тестирование моделей

Цель этого исследования состояла в том, чтобы рассмотреть классификационную модель, которую можно использовать для оценки предложений на конкурсах идей. Выбранная модель решения должна снизить нагрузку на спонсора конкурса и требовать только входных данных, раскрываемых в процессе формирования идей. Модель не должна требовать знаний о том, как конкретная заявка вписывается в общий портфель НИОКР. Модель должна позволять лицам, принимающим решения, принимать обоснованные решения при выборе конкретных идей.

Цели исследования были двоякими: определить текущие применимые модели и методы классификации для использования в анализе решений и разработать модель для классификации представленных идей, чтобы сократить время и уровень усилий, необходимых для рассмотрения и выбора идей для дальнейшей оценки. Это исследование и предложенная модель предназначены для того, чтобы помочь спонсору конкурса принять решение.

В исследовании применялись пять методов классификации к набору данных внутренних краудсорсинговых соревнований, проводившихся в ExxonMobil в период с 2015 по 2017 год. Применялись следующие классификационные упоминания:

Классификатор дерева решений (DT): модели дерева решений определяют использование сочетания функций, то есть ветвей, для получения классификационных меток. В отличие от логистической регрессии деревья решений могут идентифицировать нелинейные отношения между переменными. Деревья решений широко используются, потому что их легко интерпретировать, что является еще одним отличием от логистической регрессии (Ali, Khan, Ahmad, & Maqsood, nd; Dicdican & Haimes, 2005; Song & Lu, 2015).
Классификатор случайного леса (RF): случайный лес — это метод ансамбля нескольких деревьев решений. Объединение нескольких слабых классификаторов обычно дает более сильный классификатор.
Классификатор AdaBoost (AB): Как и Random Forest, классификатор Ada-boost объединяет слабые алгоритмы классификатора для формирования сильного классификатора (Schapire, 1999).
Наивный байесовский классификатор: (Koc, Mazzuchi, & Sarkani, 2012).
Многослойный классификатор персептрона (MLP): многослойный персептрон — это метод классификации нейронной сети. Преимущество нейронной сети заключается в использовании «скрытых слоев» между функциями и целевой переменной. Хотя эти скрытые слои могут быть мощными классификаторами, они также создают модель «черного ящика», в которой нелегко определить относительные веса входных признаков.
Точность: точность является мерой качества модели. Насколько полезны результаты. Из числа вещей, классифицированных как правильные, сколько на самом деле правильных? Количество истинных положительных результатов из этих вещей идентифицируется как положительное.

3. СБОР ДАННЫХ

Для обучения моделей в этом исследовании используются три переменные, выявленные во время краудсорсинга: количество комментариев, количество голосов и средний балл толпы. Были протестированы дополнительные переменные, и было установлено, что они не являются статистически значимыми (Jones, 2018).

75 % значений используются для обучения моделей, а оставшиеся 25 % значений используются для тестирования, чтобы обеспечить возможность обобщения.

Перед обучением моделей значения нормализуются путем вычитания среднего значения набора данных из каждого значения, а затем деления его на соответствующее стандартное отклонение, то есть предварительной обработки данных стандартным скаляром.

Определение точности моделей
K-кратная перекрестная проверка разделяет тестовые данные на «кратности» и тестирует модели, используя девять кратностей, а также тестирует модель на десятой контрольной выборке. Это имитирует случайность, ожидаемую в нескольких случаях проведения одного и того же эксперимента (Arlot, Celisse, & others, 2010; Kohavi, 1995; Picard & Cook, 1984).

Используя k-кратную перекрестную проверку (k = 10), параметры модели настраиваются с использованием поиска по сетке для оптимизации точности. В отличие от большинства приложений биоинформатики, в этом случае последствия включения некоторых ложных срабатываний меньше, чем исключение некоторых истинных положительных результатов.
Эти оптимизированные параметры используются для обучения и тестирования окончательных моделей. Модели сравниваются с использованием нескольких показателей оценки.

В качестве моделей классификации не существует единого метода, подобного R2, для определения степени соответствия модели. Эти методы основаны на матрице путаницы, созданной каждой моделью (Fawcett, 2005; Powers, 2011).

Отзыв: Отзыв, также называемый чувствительностью, измеряет полноту результатов. Сколько из всех правильных ответов было возвращено? Оптимизация отзыва сводит к минимуму ложноотрицательные результаты (Davis & Goadrich, 2006).
Оценка F1: Оценка F1 находит среднее гармоническое между точностью и полнотой. Это предполагает равное значение точности и полноты, что может быть не так (Powers, 2011).
Селективность. Количество истинно отрицательных результатов. Из тех вещей, которые определены как «Не часть класса», сколько не было частью класса?
Точность: количество правильно классифицированных экземпляров, деленное на общее количество экземпляров. Значения варьируются от 0 до 1. Более высокие значения указывают на большую точность, а идеальная система классификации будет иметь оценку 1.
Каппа Коэна: Каппа является мерой согласия между экспертами. В отличие от точности, он учитывает возможность совпадения из-за случайного изменения. Значения варьируются от -1 до 1 (Cohen, 1968; McHugh, 2012; Tang, Hu, Zhang, Wu, & He, 2015).
Коэффициент корреляции Мэтью (MCC): коэффициент корреляции Мэтью используется для сравнения моделей. В отличие от полученных рабочих характеристик, MCC можно использовать, когда классы распределены неравномерно. Значения варьируются от -1 до 1, где 1 соответствует идеальному классификатору (Chicco, 2017).
Область рабочих характеристик приемника под кривой: график рабочих характеристик приемника измеряет взаимосвязь между чувствительностью (частота ложноположительных результатов) и специфичностью (частота ложноотрицательных результатов). Площадь под кривой представляет собой показатель для сравнения различных моделей. Значения варьируются от 0 до 1, где 1 — это модель, которая идеально классифицирует каждый экземпляр. ROC предполагает, что классы имеют одинаковый размер, так что существует 50-процентная вероятность того, что случайно выбранный экземпляр должен быть либо положительным, либо отрицательным (Bradley & P., 1997; DeLong, DeLong, & Clarke-Pearson, 1988; Fawcett, 2005; Хэнли и Макнейл, 1982).
Али, Дж., Хан, Р., Ахмад, Н., и Максуд, И. (nd). Случайные леса и деревья решений.
Арлот С., Целисс А. и другие. (2010). Обзор процедур перекрестной проверки для выбора модели. Статистические обзоры, 4, 40–79.
Брэбэм, округ Колумбия (2010). Движение толпы в Threadless: мотивация для участия в краудсорсинговом приложении. Информация, связь и общество, 13 (8), 1122–1145. https://doi.org/10.1080/13691181003624090
Брэдли, А. П., и П., А. (1997). Использование площади под ROC-кривой при оценке алгоритмов машинного обучения. Распознавание образов, 30 (7), 1145–1159. https://doi.org/10.1016/S0031-3203(96)00142-2
Чикко, Д. (2017). Десять быстрых советов по машинному обучению в вычислительной биологии. BioData Mining, 10(1), 35. https://doi.org/10.1186/s13040-017-0155-3
Коэн, Дж. (1968). Взвешенная каппа: согласование номинальной шкалы с оговоркой о масштабируемом несоответствии или частичном зачете. Psychological Bulletin, 70(4), 213–20.
Дэвис, Дж., и Гоадрич, М. (2006). Взаимосвязь между Precision-Recall и кривыми ROC. Материалы 23-й Международной конференции по машинному обучению.
Делонг, Э. Р., Делонг, Д. М., и Кларк-Пирсон, Д. Л. (1988). Сравнение площадей под двумя или более коррелированными кривыми рабочих характеристик приемника: непараметрический подход. Биометрия, 837–845.
Дикдикан, Р. Ю., и Хеймс, Ю. Ю. (2005). Связь многокритериальных деревьев решений с методом многокритериального анализа воздействия риска. Системная инженерия, 8 (2), 95–108. https://doi.org/10.1002/SYS.20024
Фосетт, Т. (2005). Введение в ROC-анализ. https://doi.org/10.1016/j.patrec.2005.10.010
Гарсон, Г. Д. (2014). Логистическая регрессия: бинарная и полиномиальная. Statistical Associates Publishing.
Хэнли, Дж. А., и Макнейл, Б. Дж. (1982). Значение и использование области под кривой рабочей характеристики приемника (ROC). Radiology, 143(1), 29–36.
Хосмер, Д. В., Лемешоу, С., и Стердивант, Р. Х. (2013). Прикладная логистическая регрессия. Том. 398. John Wiley & Sons.
Джонс, К. Т. (2016). Дополнение корпоративных исследований и разработок объединенными в сеть микроинновационными командами. IEEE Engineering Management Review, 44(4), 30–32. https://doi.org/10.1109/EMR.2016.2623691
Джонс, К. Т. (2018). Управление инновациями и краудсорсинг: количественный анализ оценок спонсоров и толпы. Университет Джорджа Вашингтона.
Кок, Л., Маццучи, Т., и Саркани, С. (2012). Система обнаружения сетевых вторжений на основе многоклассового классификатора Hidden Naïve Bayes. Экспертные системы с приложениями, 39, 13492–13500.
Кохави, Р. (1995). Изучение перекрестной проверки и начальной загрузки для оценки точности и выбора модели. Международная конференция по искусственному интеллекту.
Кон, Н. В., Паулюс, П. Б., и Чой, Ю. (2011). Основываясь на идеях других: изучение процесса объединения идей. Журнал экспериментальной социальной психологии, 47 (3), 554–561. https://doi.org/10.1016/j.jesp.2011.01.004
Макхью, М. Л. (2012). Межэкспертная надежность: статистика каппа. Biochemia Medica, 22(3), 276–82.
Пикард, Р. Р., и Кук, Р. Д. (1984). Перекрестная проверка регрессионных моделей. Source Journal of the American Statistical Association, 799137(387), 575–583.
Poetz, M.K., & Schreier, M. (2012). Ценность краудсорсинга: могут ли пользователи действительно конкурировать с профессионалами в создании идей для новых продуктов? Журнал управления инновациями в продуктах, 29 (2), 245–256. https://doi.org/10.1111/j.1540-5885.2011.00893.x
Powers, DMW (2011). Оценка: от Точности, Отзыва и F-меры к ROC, Информированности, Маркировке и Корреляции. Журнал технологий машинного обучения, 2(1), 37–63.
Шапир, Р. Э. (1999). Краткое введение в бустинг.
Сонг Ю.-Ю. и Лу Ю. (2015). Методы дерева решений: приложения для классификации и прогнозирования. Шанхайский архив психиатрии, 27 (2), 130–5. https://doi.org/10.11919/j.issn.1002-0829.215044
Steyerberg, EW, Borsboom, GJJJM, van Houwelingen, HC, Eijkemans, MJC, & Habbema, JDF (2004). Проверка и обновление прогнозирующих моделей логистической регрессии: исследование размера и сокращения выборки. Статистика в медицине, 23, 2567–2586. https://doi.org/10.1002/sim.1844
Тан, В., Ху, Дж., Чжан, Х., Ву, П., и Хе, Х. (2015). Коэффициент Каппа: популярная мера согласия оценщиков. Шанхайский архив психиатрии, 27 (1), 62–7. https://doi.org/10.11919/j.issn.1002-0829.215010
Zuchowski, O., Posegga, O., Schlagwein, D., & Fischbach, K. (2016). Внутренний краудсорсинг: концептуальная основа, структурированный обзор и программа исследований. Журнал информационных технологий, 31 (2), 166–184. https://doi.org/10.1057/jit.2016.14

4. РЕЗУЛЬТАТЫ

Были собраны данные восьми краудсорсинговых соревнований. Данные включали представленные идеи и комментарии, размещенные по поводу представленных материалов. Индивидуальное участие варьировалось между конкурсами. Нет никаких доказательств того, что неслучайные вариации были гетероскедастичными.

3.1. Участники
В общей сложности приняли участие 807 сотрудников, которые представили 2004 уникальных идеи. Участие было добровольным, и участники не получали никакого вознаграждения за участие.

5. ОБСУЖДЕНИЕ

На изображении 1 показаны границы решения, разработанные для каждой модели. Используя одно и то же подмножество успешных и неудачных идей, изображение показывает области с большей уверенностью, показанные более темными цветами.

5.3. Краткое содержание

Цель этого исследования состояла в том, чтобы определить метод улучшения сортировки и отбора идей, представленных через краудсорсинговые открытые конкурсы инноваций. Random Forest был выбран из-за его простой интерпретации и простоты применения для лиц, принимающих решения.

Это не означает, что случайный лес — единственная модель решения, используемая для классификации или отбора идей, представленных на конкурс идей. Альтернативные модели классификации приведены в Таблице I. В этой статье было проведено краткое введение пяти моделей классификации: логистическая регрессия, дерево решений, случайный лес, Adaboost и многослойный персептрон.

Хотя в этом тематическом исследовании было краткое сравнение пяти моделей классификации (LR, DT, RF, AB, NB и MLP), сравнение производительности моделей не было в центре внимания этого исследования. Эту модель можно использовать для выбора ключевых характеристик эффективности идей, представленных на онлайн-конкурсах идей. Эффективность этих моделей ограничена различиями в способах сбора данных во время краудсорсинговых мероприятий.

Авторы признают, что всегда есть скрытые и экзогенные факторы, которые не включены в модель. Например, в данном исследовании не рассматривается взаимосвязь генератора идей с выбором спонсора. Лица, принимающие решения, продолжают использовать методы классификации в качестве систем поддержки принятия решений для усиления интуиции. Дальнейшие исследования должны изучить методы кластеризации, чтобы помочь выявить скрытые функции в данных.

Логистическая регрессия (LR): логистическая модель определяет логарифмические шансы вероятности того, что результат представляет собой линейную комбинацию признаков. Коэффициенты логистической регрессии часто трудно интерпретировать (Garson, 2014; Hosmer, Lemeshow, & Sturdivant, 2013; Steyerberg, Borsboom, van Houwelingen, Eijkemans, & Habbema, 2004).

Подходы многоядерного машинного обучения к прогнозированию результатов внутреннего краудсорсинга…